STATERA Library · Series 08 · Volume 15 · Chapter 09 · KR
Source: https://github.com/Statera-Library/08_Vol_15_Motion_Planning_and_Navigation/blob/main/Chapter_09_AI_Based_Planning/Chapter_09_AI_Based_Planning_KR.md
Volume 15. Motion Planning and Navigation
Chapter 09. AI Based Planning
09.01. Learning Based Motion Planning Overview
학습 기반 모션 플래닝(Learning-based Motion Planning)은 충돌이 없고 동역학적으로 실행 가능하며 작업 목적에 적합한 로봇 움직임을 생성하는 과정에 데이터 기반 모델(Data-driven Model)을 도입하는 접근법이다. 명시적인 기하학 모델(Geometric Model), 탐색 알고리즘(Search Algorithm), 최적화 목적함수(Optimization Objective)에 주로 의존하는 기존 플래너(Planner)와 달리, 학습 기반 방법은 시연(Demonstration), 시뮬레이션(Simulation), 과거의 플래닝 경험 또는 환경과의 상호작용으로부터 유용한 플래닝 지식을 학습한다. 그 목적은 반드시 고전적 플래닝(Classical Planning)을 대체하는 것이 아니라, 복잡한 환경에서 플래닝의 효율성과 적응성, 대응 능력을 향상시키는 데 있다.
전통적인 모션 플래닝(Motion Planning)은 일반적으로 내비게이션(Navigation)이나 매니퓰레이션(Manipulation)을 구성 공간(Configuration Space) 또는 상태 공간(State Space)에서의 탐색 문제로 정식화한다. A*, 다익스트라(Dijkstra), PRM, RRT, RRT*, 궤적 최적화(Trajectory Optimization), 모델 예측 제어(Model Predictive Control)와 같은 알고리즘은 사전에 정의된 모델과 수학적 규칙을 기반으로 동작한다. 이러한 접근법은 높은 해석 가능성과 잘 이해된 동작 특성을 제공하지만, 로봇의 자유도(Degree of Freedom)가 증가하거나 환경에 동적 장애물이 존재하고 복잡한 상호작용 제약조건까지 고려해야 하는 경우 계산 복잡도가 빠르게 증가할 수 있다.
학습 기반 플래닝(Learning-based Planning)은 이전 문제들로부터 축적된 경험을 활용함으로써 이러한 문제의 정식화를 변화시킨다. 모든 플래닝 문제를 처음부터 완전히 새롭게 해결하는 대신, 학습된 모델(Learned Model)은 현재 상황과 이전에 관찰된 상황 사이의 구조적 유사성을 인식할 수 있다. 또한 구성 공간에서 유망한 영역을 예측하거나 유용한 경유점(Waypoint)을 추정하고, 후보 궤적을 평가하거나 목표까지의 비용(Cost-to-go)을 근사하며, 직접 움직임 후보를 생성할 수도 있다. 따라서 플래닝은 온라인에서 수행되는 계산과 오프라인에서 획득한 지식을 결합하는 과정으로 발전한다.
지도 학습(Supervised Learning)은 플래닝 지식을 획득하는 대표적인 방법 중 하나이다. 전문가 시연(Expert Demonstration), 고전적 플래너(Classical Planner), 최적화 알고리즘(Optimization Algorithm), 인간 조작자(Human Operator)가 생성한 궤적으로 데이터셋을 구성할 수 있다. 이후 신경망(Neural Network)은 관측 정보와 목표 조건으로부터 행동(Action), 경유점(Waypoint), 궤적(Trajectory), 플래닝 휴리스틱(Planning Heuristic)을 생성하는 매핑 관계를 학습한다. 모방 학습(Imitation Learning)은 이러한 개념을 확장하여 전문가의 행동을 재현함으로써 모든 의사결정 규칙을 명시적으로 설계하지 않고도 로봇이 유용한 움직임 정책(Motion Policy)을 획득하도록 한다.
강화 학습(Reinforcement Learning)은 모션 플래닝을 순차적 의사결정(Sequential Decision Making)으로 표현하는 또 다른 중요한 프레임워크이다. 로봇은 상태(State)를 관측하고 행동(Action)을 선택하며 보상(Reward)을 받은 후, 반복적인 경험을 통해 기대 누적 보상을 최대화하는 정책(Policy)을 학습한다. 보상은 목표를 향한 진행 정도, 충돌 회피(Collision Avoidance), 에너지 효율(Energy Efficiency), 부드러운 움직임, 작업 완료 등을 나타낼 수 있다. 이러한 정식화는 효과적인 행동을 해석적으로 명시하기 어렵지만 반복적인 상호작용이나 시뮬레이션을 통해 발견할 수 있는 경우 특히 유용하다.
심층 강화 학습(Deep Reinforcement Learning)은 강화 학습과 고차원 관측 정보를 처리할 수 있는 신경망 표현(Neural Representation)을 결합한다. 이에 따라 카메라 영상, 라이다(LiDAR) 측정값, 점유 지도(Occupancy Map), 로봇 상태, 의미론적 정보(Semantic Information)를 플래닝 정책에 직접 통합할 수 있다. 그러나 순수하게 학습된 정책은 학습 데이터의 분포를 벗어난 상황에서 예측하기 어려운 행동을 보일 수 있다. 따라서 안전이 중요한 로보틱스(Safety-critical Robotics)에서는 학습 기반 플래닝 구성요소를 기하학적 제약조건, 충돌 검사(Collision Checking), 안전 필터(Safety Filter), 기존 로컬 플래너(Local Planner)와 결합하는 경우가 많다.
학습은 샘플링 기반 모션 플래닝(Sampling-based Motion Planning)을 대체하기보다 기존 방법의 성능을 향상시키는 데 활용될 수도 있다. 기존 PRM이나 RRT는 특정 문제를 해결하는 데 어떤 영역이 중요한지 사전에 알지 못한 상태에서 구성 공간을 샘플링하는 경우가 많다. 학습된 샘플러(Learned Sampler)는 실행 가능하거나 품질이 높은 경로가 존재할 가능성이 높은 영역을 추정하고 해당 영역에 샘플을 집중시킬 수 있다. 신경망 모델은 확장 방향, 연결 후보, 중간 상태를 예측하여 불필요한 탐색을 줄이는 동시에 고전적인 플래닝 구조를 유지할 수 있다.
그래프 기반 플래너(Graph-based Planner) 역시 학습된 휴리스틱(Learned Heuristic)과 비용 함수(Cost Function)를 활용할 수 있다. 단순히 유클리드 거리(Euclidean Distance)나 사람이 설계한 이동 비용에만 의존하는 대신, 신경망 모델을 사용하여 특정 상태에서 목표까지 도달하는 데 필요한 예상 난이도를 추정할 수 있다. 이러한 추정값은 그래프 탐색(Graph Search)을 보다 유망한 영역으로 유도한다. 또한 학습된 비용 모델은 단순한 기하학적 거리로 표현하기 어려운 지형 주행 가능성(Terrain Traversability), 인간의 선호도, 의미론적 제약, 상호작용 위험, 과거의 운용 경험 등을 반영할 수 있다.
궤적 최적화(Trajectory Optimization)는 학습과 고전적 플래닝을 결합할 수 있는 또 다른 자연스러운 인터페이스를 제공한다. 신경망이 초기 궤적(Initial Trajectory)을 생성하고, 이후 수치 최적화(Numerical Optimization)를 통해 충돌, 운동학(Kinematics), 동역학(Dynamics), 액추에이터(Actuator) 제약조건을 만족하도록 궤적을 정제할 수 있다. 이러한 구조는 경험을 기반으로 한 빠른 예측과 엄격한 제약조건 처리를 분리한다. 최적화 품질은 초기값에 크게 영향을 받기 때문에 학습된 궤적 후보를 사용하면 수렴 시간을 줄이고 좋지 않은 국소해(Local Solution)에 빠질 가능성을 감소시킬 수 있다.
월드 모델(World Model)은 후보 행동 이후 환경과 로봇의 상태가 어떻게 변화할지를 예측함으로써 학습 기반 플래닝을 확장한다. 단순한 관측-행동(Observation-to-Action) 매핑만을 학습하는 대신, 시스템은 동역학 표현(Dynamics Representation)을 학습하고 이를 사용하여 가능한 미래를 평가한다. 플래닝은 학습된 잠재 공간(Latent Space)에서 수행될 수 있으며, 실제 행동을 실행하기 전에 여러 행동 시퀀스를 내부적으로 예측할 수 있다. 이러한 원리는 모션 플래닝을 모델 기반 강화 학습(Model-based Reinforcement Learning), 예측 제어(Predictive Control), 그리고 새롭게 발전하는 피지컬 AI(Physical AI) 아키텍처와 연결한다.
모바일 로봇(Mobile Robot)의 경우 학습 기반 플래너는 단순한 기하학적 장애물 경계 이상의 정보를 활용할 수 있다. 실외에서 동작하는 로봇은 잔디, 자갈, 진흙, 경사면, 연석, 불규칙한 노면 등이 서로 다른 주행 위험과 에너지 비용을 발생시킨다는 것을 학습할 수 있다. 실내 로봇은 보행자의 이동 패턴, 출입구, 교차 지점, 엘리베이터, 혼잡한 복도와 관련된 특성을 학습할 수 있다. 이에 따라 플래닝은 최단 경로 거리뿐만 아니라 주행 가능성(Traversability), 사회적 행동(Social Behavior), 불확실성(Uncertainty), 실제 운용 경험까지 함께 고려할 수 있다.
동적 환경(Dynamic Environment)은 미래의 장애물 움직임을 플래닝 과정에서 고려해야 하기 때문에 학습 기반 플래닝이 특히 중요한 응용 분야이다. 학습된 모델은 보행자 궤적, 차량 움직임 또는 상호작용 패턴을 추정하고 이러한 예측 정보를 플래너에 제공할 수 있다. 플래너는 장애물이 현재 어디에 존재하는지만 판단하는 것이 아니라 앞으로 어디로 이동할 가능성이 있는지도 평가할 수 있다. 이에 따라 순수한 공간적 플래닝(Spatial Planning)은 시공간 플래닝(Spatiotemporal Planning)으로 확장되며, 미래 충돌 확률과 상호작용의 불확실성을 고려하는 궤적을 생성할 수 있다.
학습 기반 플래닝은 여러 아키텍처 계층(Architectural Level)에서 동작할 수 있다. 가장 낮은 계층에서는 학습된 구성요소가 로컬 행동(Local Action)이나 짧은 시간 구간의 궤적을 추정할 수 있다. 중간 계층에서는 하위 목표(Subgoal), 경유점, 모션 프리미티브(Motion Primitive)를 제안할 수 있다. 상위 계층에서는 학습 기반 추론 시스템(Learned Reasoning System)이 내비게이션 전략을 선택하거나 플래닝과 작업 목표를 조정할 수 있다. 따라서 계층적 아키텍처(Hierarchical Architecture)는 데이터 기반 적응이 가장 큰 효과를 제공하는 영역에 선택적으로 학습 기술을 적용할 수 있다는 점에서 특히 유용하다.
일반화(Generalization)는 학습 기반 플래닝의 주요 과제 중 하나이다. 제한된 환경에서 학습된 플래너는 평가 환경에서는 우수한 성능을 보이더라도 익숙하지 않은 기하학적 구조, 센서 조건, 로봇 동역학 또는 장애물 행동을 만났을 때 실패할 수 있다. 따라서 학습 데이터셋은 충분한 다양성을 포함해야 하며, 평가 과정에서는 학습 중 경험하지 않았던 환경을 포함해야 한다. 도메인 랜덤화(Domain Randomization), 시뮬레이션 증강(Simulation Augmentation), 전이 학습(Transfer Learning), 온라인 적응(Online Adaptation)은 강건성을 향상시킬 수 있지만, 어느 하나의 방법만으로 신뢰성 높은 동작을 완전히 보장할 수는 없다.
시뮬레이션(Simulation)은 실제 로봇을 불필요한 위험에 노출시키지 않으면서 대규모 플래닝 경험을 생성할 수 있기 때문에 핵심적인 역할을 한다. 다양한 지도, 장애물, 로봇 구성, 마찰 조건, 센서 잡음, 동적 에이전트(Dynamic Agent)를 학습 과정에서 무작위화할 수 있다. 그러나 시뮬레이션과 실제 시스템의 차이로 인해 시뮬레이션-현실 격차(Sim-to-Real Gap)가 발생한다. 실제 환경에 배치하기 위해서는 현실적인 센서 오차, 액추에이터 한계, 지연 시간(Latency), 위치 추정 불확실성, 환경 변화에 대한 검증이 필요하다.
안전성(Safety)은 하이브리드 플래닝 아키텍처(Hybrid Planning Architecture)를 채택해야 하는 가장 중요한 이유 중 하나이다. 학습된 모델은 강력한 근사 능력을 제공하지만 일반적으로 명시적인 제약 기반 알고리즘이 제공하는 것과 동일한 수준의 결정론적 보장(Deterministic Guarantee)을 제공하지는 못한다. 따라서 실제 로봇에서는 학습 모델이 궤적을 제안하고 독립적인 모듈이 충돌 여유거리, 속도 제한, 안정성 제약조건, 정지 거리, 액추에이터 실행 가능성을 검증하도록 구성할 수 있다. 안전하지 않은 후보는 로봇 명령으로 전달되기 전에 거부하거나 수정하거나 대체 플래너(Fallback Planner)로 전달할 수 있다.
불확실성(Uncertainty) 역시 명시적으로 표현되어야 한다. 인지 오류(Perception Error), 불완전한 위치 추정, 불확실한 동역학, 예측하기 어려운 장애물 행동으로 인해 하나의 결정론적 궤적만으로는 충분한 안전성을 확보하기 어려울 수 있다. 확률적 예측(Probabilistic Prediction), 불확실성 인지 비용 함수(Uncertainty-aware Cost Function), 위험 민감 강화 학습(Risk-sensitive Reinforcement Learning), 신념 공간 플래닝(Belief-space Planning)은 이러한 문제를 처리하는 데 도움을 줄 수 있다. 플래너는 학습된 예측의 신뢰성이 높은 상황과 불확실성 때문에 감속, 재계획(Replanning), 보수적 행동이 필요한 상황을 구분할 수 있어야 한다.
따라서 학습 기반 모션 플래닝의 평가는 단순한 성공률(Success Rate)을 넘어야 한다. 주요 평가 지표에는 충돌 빈도, 경로 길이, 궤적 부드러움, 계산 시간, 플래닝 지연 시간, 에너지 소비, 최소 장애물 여유거리, 외란에 대한 강건성, 미경험 환경에 대한 일반화 성능 등이 포함된다. 실시간 로보틱스(Real-time Robotics)에서는 플래닝 결정의 지연이 안전에 직접적인 영향을 미칠 수 있으므로 평균 추론 속도보다 최악 조건 또는 높은 백분위 지연 시간(High-percentile Latency)이 더 중요한 평가 기준이 될 수 있다.
가장 실용적인 발전 방향은 고전적 플래닝과 학습이 상호 보완적인 능력을 제공하는 하이브리드 아키텍처(Hybrid Architecture)이다. 고전적 알고리즘은 기하학적 일관성, 명시적 제약조건, 검증 메커니즘(Verification Mechanism), 예측 가능한 대체 동작을 제공한다. 반면 학습은 경험, 의미론적 이해(Semantic Understanding), 예측, 적응형 휴리스틱(Adaptive Heuristic), 빠른 근사 능력을 제공한다. 이러한 능력을 결합하면 기존의 검증된 플래닝 원리를 유지하면서 사람이 직접 규칙으로 표현하기 어려운 정보까지 활용할 수 있다.
피지컬 AI(Physical AI) 시스템에서 모션 플래닝은 궁극적으로 인지-예측-추론-행동(Perception--Prediction--Reasoning--Action)으로 이어지는 더 큰 폐루프(Closed-loop)의 일부가 된다. 인지 시스템은 로봇과 환경의 표현을 구성하고, 학습된 모델은 미래 상태와 상호작용 가능성을 예측하며, 플래닝은 후보 행동을 평가하고, 안전 메커니즘은 실제 실행을 제약한다. 이후 실행된 행동에서 얻은 경험은 다시 학습 과정으로 전달될 수 있다. 이러한 폐루프 구조는 모션 플래닝을 독립적인 알고리즘에서 벗어나 인지(Perception), 월드 모델(World Model), 제어(Control), 물리적 상호작용(Physical Interaction)을 지속적으로 연결하는 적응형 의사결정 구성요소로 발전시킨다.
09.02. Imitation Learning for Navigation Policy [w/Code]
내비게이션 정책 학습(Navigation Policy Learning)을 위한 모방 학습(Imitation Learning)은 모든 의사결정을 수작업으로 설계된 규칙에서 도출하는 대신, 시연된 궤적(Demonstrated Trajectory)으로부터 로봇이 내비게이션 행동을 학습하도록 한다. 전문가(Expert), 인간 조작자(Human Operator), 고전적 플래너(Classical Planner) 또는 검증된 기존 내비게이션 시스템이 관측 정보(Observation), 상태(State), 행동(Action), 결과 궤적(Resulting Trajectory)의 사례를 제공한다. 이후 학습 모델(Learning Model)은 인지된 환경, 내비게이션 목표, 로봇 상태와 원하는 움직임 사이의 관계를 근사한다. 학습된 정책(Learned Policy)은 이후 이전에 경험하지 않은 상황에서도 내비게이션 행동을 생성할 수 있다.
기본적인 정식화에서는 내비게이션을 관측 및 상태 정보에서 행동 또는 단기 모션 명령(Short-horizon Motion Command)으로의 매핑(Mapping)으로 다룬다. 입력에는 카메라 영상(Camera Image), 라이다 스캔(LiDAR Scan), 점유 격자(Occupancy Grid), 의미론적 지도(Semantic Map), 위치 추정(Localization Estimate), 속도(Velocity), 진행 방향(Heading), 목표물까지의 상대 위치(Relative Target Position) 등이 포함될 수 있다. 출력은 조향 명령(Steering Command), 선속도 및 각속도(Linear and Angular Velocity), 경유점 시퀀스(Waypoint Sequence), 로컬 궤적(Local Trajectory), 또는 상위 수준의 내비게이션 결정(Navigation Decision)이 될 수 있다. 어떤 출력 표현을 사용할지는 로봇 플랫폼과 학습 정책이 담당해야 하는 제어 수준에 따라 결정된다.
행동 복제(Behavior Cloning)는 가장 직접적인 형태의 모방 학습이다. 시연 데이터는 관측 정보와 전문가 행동의 쌍 또는 시퀀스로 수집되며, 지도 학습 모델(Supervised Learning Model)은 예측된 행동과 시연된 행동 사이의 차이를 최소화하도록 학습된다. 내비게이션의 경우 데이터셋에는 복도, 교차로, 창고, 도로 또는 실외 산업 환경을 통과하는 주행 궤적이 포함될 수 있다. 이렇게 학습된 정책은 장애물 회피(Obstacle Avoidance), 복도 추종(Corridor Following), 목표 접근(Goal Approach), 회전(Turning), 양보(Yielding), 일반적인 상황에서의 복구(Recovery)와 같은 행동 패턴을 학습한다.
모방 학습의 중요한 장점은 명시적인 수학적 규칙으로 표현하기 어려운 행동 지식을 학습할 수 있다는 것이다. 숙련된 조작자는 장애물과 적절한 거리를 자연스럽게 유지하고, 보행자의 움직임을 예상하며, 실용적인 경로를 선택하거나 환경 상황에 따라 속도를 조절할 수 있다. 이러한 행동은 모든 의사결정 기준을 명시적으로 모델링하지 않고도 시연 데이터에 포함될 수 있다. 따라서 학습된 정책은 기존의 기하학적 플래닝(Geometric Planning)을 보완할 수 있는 내비게이션 경험의 압축된 표현으로 기능한다.
그러나 단순한 행동 복제에는 공변량 변화(Covariate Shift)라는 중요한 한계가 있다. 학습 과정에서 로봇은 일반적으로 전문가 정책(Expert Policy)이 생성한 상태를 관측하지만, 실제 운용에서는 학습된 정책이 작은 오류를 발생시키면서 학습 데이터에 존재하지 않았던 상태로 진입할 수 있다. 이러한 익숙하지 않은 상태에서 정책이 다시 오류를 발생시키면 로봇은 의도된 궤적에서 점점 더 크게 벗어날 수 있다. 이러한 누적 오류(Compounding Error) 문제는 작은 편차가 결국 큰 위치 또는 행동 차이로 이어질 수 있는 장기 내비게이션(Long-horizon Navigation)에서 특히 중요하다.
따라서 데이터 수집(Data Collection)은 핵심적인 엔지니어링 문제가 된다. 유용한 내비게이션 데이터셋은 성공적인 정상 궤적뿐만 아니라 다양한 환경 조건, 로봇 속도, 장애물 구성, 위치 추정 오류, 복구 상황을 포함해야 한다. 시연 데이터는 교차로, 좁은 통로, 막다른 길, 동적 장애물, 도킹 접근(Docking Approach), 경로 변경, 비정상 조건 등을 포함해야 한다. 산업용 AMR의 경우 다양한 적재량(Payload), 바닥 상태, 교통 밀도, 조명 조건, 운용 제약조건도 표현해야 하며, 이를 통해 정책이 하나의 특정 환경에 지나치게 특화되는 것을 방지할 수 있다.
여러 가지 기법을 사용하면 모방 학습의 품질과 데이터 범위를 향상시킬 수 있다. DAgger와 같은 데이터셋 집계(Dataset Aggregation) 방법은 학습된 정책이 실제 환경과 상호작용하는 동안 전문가가 계속해서 교정 행동(Corrective Action)을 제공하도록 한다. 이를 통해 학습 과정과 실제 운용 과정의 상태 분포 차이를 줄일 수 있다. 이외에도 궤적 교란(Trajectory Perturbation), 합성 데이터 생성(Synthetic Data Generation), 시뮬레이션 기반 시연(Simulation-based Demonstration), 능동적 데이터 수집(Active Data Collection), 실패 사례 중심 데이터 기록(Targeted Failure Recording) 등을 활용할 수 있다. 이러한 방법은 로봇이 실제로 경험하게 될 상태를 보다 잘 반영하도록 학습 분포를 구성한다.
내비게이션 정책의 표현 방식은 일반화 성능에 큰 영향을 미친다. 원시 영상(Raw Image)만을 사용하는 정책은 유용한 시각적 상관관계를 학습할 수 있지만 조명, 카메라 위치 또는 장면 외관이 변경되면 어려움을 겪을 수 있다. 라이다, 점유 지도, 위치 추정, 로봇 속도와 같은 기하학적 정보를 통합하면 보다 강한 공간적 구조를 제공할 수 있다. 의미론적 표현(Semantic Representation)을 추가하면 보행자, 차량, 벽, 문, 적재 영역, 제한 구역 및 기타 중요한 객체를 구분할 수 있다. 따라서 멀티모달 정책 입력(Multimodal Policy Input)은 기하학적 정보, 의미론적 정보, 시간적 정보를 함께 활용할 수 있도록 한다.
내비게이션에서는 하나의 관측만으로 올바른 행동을 결정하기 어려운 경우가 많기 때문에 시간적 문맥(Temporal Context)이 특히 중요하다. 순환 신경망(Recurrent Network), 시간 트랜스포머(Temporal Transformer), 연속 관측 정보(Stacked Observation), 궤적 인코더(Trajectory Encoder), 메모리 메커니즘(Memory Mechanism)은 이전 상태와 행동에 대한 정보를 제공할 수 있다. 시간적 모델링은 정책이 객체가 접근하고 있는지, 로봇이 이미 회전 중인지, 장애물이 이동했는지, 또는 이전 조작이 실패했는지를 인식하는 데 도움을 준다. 이를 통해 정책은 단순한 반응형 제어기(Reactive Controller)에서 단기적인 내비게이션 이력을 활용할 수 있는 행동 모델(Behavior Model)로 발전한다.
모방 학습은 기존 내비게이션 아키텍처를 대체하지 않고 고전적 내비게이션 구조와 결합할 수도 있다. 학습된 정책이 후보 경유점 또는 로컬 궤적을 생성하고 기존 플래너가 전역 경로를 생성하도록 구성할 수 있다. 또는 정책이 학습된 휴리스틱(Heuristic), 선호 방향(Preferred Direction), 샘플링 분포(Sampling Distribution), 궤적 초기값(Trajectory Initialization)을 제공하도록 할 수도 있다. 충돌 검사(Collision Checking), 운동학적 제약조건(Kinematic Constraints), 속도 제한(Velocity Limits), 안전 검증(Safety Verification)은 결정론적 구성요소로 유지할 수 있다. 이러한 하이브리드 구조는 학습된 행동 지식이 적응성을 향상시키는 동시에 명시적인 제약조건 처리 및 고장 대응 메커니즘을 유지할 수 있도록 한다.
동적 환경(Dynamic Environment)에서는 모방 학습이 전문가가 이동하는 객체에 어떻게 대응하는지를 보여주는 시연 데이터를 활용할 수 있다. 정책은 보행자 주변에서 감속하고, 교차로에서 양보하며, 적절한 추종 거리를 유지하고, 일시적으로 막힌 구역을 피해 대체 경로를 선택하는 등의 행동을 학습할 수 있다. 그러나 과거의 행동을 모방한다고 해서 모든 미래 상호작용을 정확하게 예측할 수 있는 것은 아니다. 따라서 강건한 시스템은 학습된 행동 예측을 실시간 인지(Real-time Perception), 동적 장애물 추적(Dynamic Obstacle Tracking), 위험 추정(Risk Estimation), 지속적인 재계획(Continuous Replanning)과 결합해야 한다. 학습된 정책은 환경이 시연 데이터와 정확히 동일하게 변화한다고 가정하기보다 의사결정을 유도하는 역할을 수행해야 한다.
물리적 로봇에 모방 정책을 적용할 때는 안전성과 검증(Safety and Validation)이 필수적이다. 정책은 정의된 행동 범위 내에서 작동해야 하며 독립적인 안전 메커니즘에 의해 감시되어야 한다. 충돌 예측(Collision Prediction), 비상 정지(Emergency Stop), 장애물 여유거리(Obstacle Clearance), 속도 제한, 위치 추정 신뢰도(Localization Confidence), 액추에이터 제약조건(Actuator Constraints)은 학습 모델과 독립적으로 평가할 수 있다. 신뢰도가 낮거나 정책이 위험한 행동을 제안하면 시스템은 감속하거나 명령을 거부하고, 기존 플래너를 호출하거나 복구 행동(Recovery Behavior)으로 전환할 수 있다. 이렇게 하면 학습이 적응성을 제공하는 동시에 결정론적 메커니즘이 안전에 대한 권한을 유지하는 계층형 구조(Layered Architecture)를 구성할 수 있다.
모방 기반 내비게이션 정책의 평가는 전문가 시연과의 유사성만으로 판단해서는 안 된다. 중요한 평가 지표에는 내비게이션 성공률, 충돌 빈도, 인간 개입 빈도, 경로 효율성, 궤적 부드러움, 목표 도달 정확도, 계산 지연 시간, 복구 성능, 미경험 환경에 대한 일반화 성능 등이 포함된다. 전문가 궤적과의 단순 비교는 여러 개의 궤적이 동일하게 유효할 수 있기 때문에 오해를 불러일으킬 수 있다. 따라서 정책은 학습 분포와 다른 조건에서도 운용 목표를 안전하고 효율적이며 일관되게 달성할 수 있는지를 기준으로 평가해야 한다.
시뮬레이션(Simulation)과 디지털 트윈(Digital Twin)은 모방 학습 개발을 대규모로 확장하기 위한 효과적인 환경을 제공한다. 다양한 지도와 시나리오에서 전문가 궤적을 생성하면서 장애물, 로봇 파라미터, 센서 잡음, 교통 패턴, 환경 조건을 체계적으로 변경할 수 있다. 이렇게 생성된 데이터는 실제 환경에서 수집한 시연 데이터와 결합하여 더욱 광범위한 학습 분포를 구성할 수 있다. 다만 실제 시스템에는 휠 슬립(Wheel Slip), 센서 특성, 통신 지연, 액추에이터 포화(Actuator Saturation), 불완전한 위치 추정과 같은 효과가 존재하므로 시뮬레이션-현실 검증(Sim-to-Real Validation)은 여전히 필요하다.
고도화된 피지컬 AI(Physical AI) 아키텍처에서 모방 학습은 단순한 행동 복제에서 벗어나 보다 광범위한 학습 및 플래닝 시스템의 구성요소로 발전할 수 있다. 시연 데이터는 행동 사전지식(Behavioral Prior)을 제공하고, 월드 모델(World Model)은 예측 표현(Predictive Representation)을 제공하며, 학습 기반 플래너는 가능한 미래 행동을 생성하고, 고전적 모듈은 물리적 실행 가능성을 검증한다. 정책은 로컬 속도 생성부터 경유점 선택 및 상위 수준 내비게이션 전략에 이르기까지 다양한 추상화 수준에서 동작할 수 있다. 실제 운용 중 수집된 경험은 이후 분석되어 다음 학습 과정에 다시 반영될 수 있으며, 이를 통해 지속적인 개선 루프(Continuous Improvement Loop)를 형성할 수 있다.
실질적인 목표는 전문가를 맹목적으로 모방하는 내비게이션 정책을 만드는 것이 아니라, 경험으로부터 유용한 내비게이션 지식을 추출하고 이를 명시적인 플래닝, 예측, 안전 메커니즘과 결합하는 시스템을 구축하는 것이다. 모방 학습은 전문가 행동에 포함된 복잡한 상황별 지식(Contextual Knowledge)을 수작업으로 규칙화하기 어려운 경우 특히 유용하다. 인지(Perception), 위치 추정(Localization), 월드 모델링(World Modeling), 고전적 플래닝(Classical Planning), 궤적 최적화(Trajectory Optimization), 런타임 안전 감독(Runtime Safety Supervision)과 결합될 경우, 모방 학습은 AMR, 자율주행 차량, 사족보행 로봇, 기타 피지컬 AI 플랫폼을 위한 강건한 자율 내비게이션을 구현하는 효과적인 학습 계층(Learning Layer)이 될 수 있다.
09.03. Reinforcement Learning for End to End Navigation [w/Code]
종단간 내비게이션(End-to-End Navigation)을 위한 강화 학습(Reinforcement Learning)은 자율 로봇의 내비게이션을 순차적 의사결정(Sequential Decision-making) 문제로 다룬다. 로봇은 환경 관측 정보를 직접 내비게이션 행동으로 변환하는 방법을 학습하며, 모든 의사결정을 수작업으로 설계된 규칙으로 구성된 인지-플래닝-제어 파이프라인에서 명시적으로 도출할 필요가 없다. 시스템은 환경과의 상호작용을 통해 정책(Policy)을 학습한다. 정책은 카메라 영상, 라이다 측정값, 로봇 상태, 목표 정보 등을 입력으로 받아 안전하지 않은 상황을 회피하면서 로봇을 원하는 목적지로 점진적으로 이동시키는 행동을 생성한다.
핵심 개념은 학습된 목적함수에 따라 관측된 상태를 행동으로 매핑하는 내비게이션 정책(Navigation Policy)이다. 상태(State)는 원시 센서 관측값 또는 점유 지도(Occupancy Map), 의미론적 정보(Semantic Information), 위치 추정(Localization), 속도(Velocity), 상대적 목표 위치(Relative Goal Position)와 같은 구조화된 표현을 포함할 수 있다. 행동(Action)은 선속도 및 각속도(Linear and Angular Velocity), 조향 명령(Steering Command), 가속도(Acceleration), 경유점(Waypoint), 단기 궤적(Short-horizon Trajectory) 등으로 표현할 수 있다. 정책은 미리 정의된 전문가 궤적을 단순히 모방하는 것이 아니라 누적 보상(Cumulative Reward)을 기준으로 최적화된다. 이를 통해 로봇은 전체적인 내비게이션 목표를 달성하면서 기존 플래닝 방법과 다른 행동을 스스로 발견할 수 있다.
강화 학습의 내비게이션 정식화는 상태(State), 행동(Action), 상태 전이(Transition), 보상(Reward)을 정의한다. 매 시간 단계에서 로봇은 현재 상태를 관측하고 정책에 따라 행동을 선택한 후 환경으로부터 피드백을 받는다. 환경은 그 행동에 따라 새로운 상태로 전이된다. 학습의 목적은 시간에 따른 기대 누적 보상(Expected Cumulative Reward)을 최대화하는 것이다. 따라서 보상 설계(Reward Design)가 매우 중요하다. 보상은 정책이 어떤 행동을 바람직한 것으로 판단하는지를 결정하며, 내비게이션에서는 목표 접근 정도, 충돌 회피(Collision Avoidance), 경로 효율성(Path Efficiency), 움직임의 부드러움(Motion Smoothness), 에너지 소비, 성공적인 미션 완료 등을 함께 고려할 수 있다.
종단간 내비게이션(End-to-End Navigation)은 정책이 고차원 센서 정보(High-dimensional Sensory Information)를 직접 처리할 수 있을 때 특히 매력적인 접근법이 된다. 심층 신경망(Deep Neural Network)은 카메라 영상, 라이다 표현 또는 멀티모달 관측 정보를 처리하고 별도의 모든 중간 표현을 명시적으로 생성하지 않은 상태에서 내비게이션 명령을 출력할 수 있다. 합성곱 신경망(Convolutional Network), 트랜스포머(Transformer), 순환 구조(Recurrent Architecture), 멀티모달 인코더(Multimodal Encoder) 등은 장애물, 자유 공간(Free Space), 랜드마크(Landmark), 환경 상황에 대한 표현을 학습할 수 있다. 결과적으로 정책은 시간적 정보와 내비게이션 목표를 함께 고려하면서 인지와 행동 사이의 직접적인 관계를 학습할 수 있다.
이 접근법의 주요 장점은 인지(Perception), 의사결정(Decision Making), 행동 선택(Action Selection)을 서로 연결된 하나의 학습 문제로 최적화할 수 있다는 점이다. 기존 시스템에서는 인지, 위치 추정, 플래닝, 제어 사이의 인터페이스를 세밀하게 조정해야 하는 경우가 많다. 종단간 강화 학습은 내비게이션 행동과 함께 유용한 내부 표현을 공동으로 발견할 수 있다. 이는 보행자를 회피하거나 불규칙한 지형에 적응하거나 시각적으로 복잡한 환경에서 적절한 행동을 선택하는 것처럼 센서 관측과 효과적인 행동 사이의 관계를 해석적으로 모델링하기 어려운 경우 특히 유용하다.
그러나 종단간 강화 학습에는 상당한 기술적 과제도 존재한다. 물리적 로봇이 시행착오(Trial and Error)를 통해 직접 학습한다면 매우 많은 상호작용이 필요하며 충돌과 장비 손상의 위험도 발생할 수 있다. 따라서 일반적으로 실제 로봇에 배치하기 전에 시뮬레이션에서 대규모 학습을 수행한다. 시뮬레이션 환경에서는 수많은 내비게이션 에피소드를 생성하면서 지도, 장애물, 로봇 동역학, 센서 잡음, 조명, 지형, 교통 조건 등을 다양하게 변경할 수 있다. 이후 학습된 정책은 체계적인 시뮬레이션-현실 전이(Sim-to-Real Transfer) 과정을 거쳐 물리적 로봇에 적용할 수 있다.
보상 설계(Reward Design)는 내비게이션 강화 학습에서 가장 어려운 부분 중 하나이다. 보상이 목표 달성만 지나치게 강조하면 로봇이 바람직하지 않은 지름길이나 공격적인 행동을 발견할 수 있다. 반대로 충돌에 대한 벌점(Collision Penalty)이 지나치게 크면 로봇이 지나치게 보수적으로 행동하여 실제로 필요한 진행을 하지 못할 수 있다. 경로 길이에 대한 벌점이 지나치게 크면 좁거나 위험한 경로를 선택할 수도 있다. 따라서 실제 보상은 진행, 안전, 효율성, 부드러움, 승차감 또는 상호작용 품질, 에너지, 운용 제약조건 사이에서 균형을 이루어야 한다. 보상 형성(Reward Shaping)은 학습을 유도하되 지나치게 경직된 내비게이션 전략을 직접 규정하지 않도록 설계되어야 한다.
희소 보상(Sparse Reward)은 최종 목표에 도달하기 전에 장기간에 걸쳐 많은 올바른 의사결정을 수행해야 하는 내비게이션에서 또 다른 어려움을 만든다. 로봇이 목적지에 도착했을 때만 의미 있는 피드백을 받는다면 학습 효율이 매우 낮아질 수 있다. 밀집 보상(Dense Reward)은 목표를 향한 진행과 행동 품질에 대한 중간 피드백을 제공하며, 커리큘럼 학습(Curriculum Learning)은 과제의 난이도를 단계적으로 증가시킬 수 있다. 예를 들어 장애물이 없는 단순한 환경에서 시작하여 정적 장애물, 좁은 통로, 동적 에이전트, 위치 추정 불확실성, 복잡한 다중 구역 내비게이션 시나리오를 순차적으로 추가할 수 있다.
탐색(Exploration)은 강화 학습의 핵심이다. 로봇은 장기적인 결과를 향상시키는 행동을 발견해야 하기 때문이다. 과도한 탐색은 위험하고 비효율적인 행동을 만들 수 있는 반면, 탐색이 부족하면 정책이 제한된 전략에 조기에 수렴할 수 있다. PPO, SAC, TD3 및 관련 액터-크리틱(Actor-Critic) 계열 알고리즘은 탐색과 활용(Exploitation) 사이의 균형을 조절하는 다양한 방법을 제공한다. 적절한 알고리즘은 행동이 이산형인지 연속형인지, 관측 정보의 차원, 학습 안정성 요구사항, 사용 가능한 계산 자원 등에 따라 달라진다.
내비게이션 정책은 강화 학습을 시작하기 전에 시연 데이터와 사전 지식(Prior Knowledge)을 활용할 수도 있다. 모방 학습(Imitation Learning)을 통해 전문가 궤적을 기반으로 초기 정책을 구성한 다음 강화 학습을 통해 환경과의 상호작용으로 정책을 개선할 수 있다. 이러한 방법은 완전히 무작위적인 탐색의 필요성을 줄이고 학습 수렴을 가속할 수 있다. 고전적 플래너(Classical Planner) 역시 초기 궤적, 휴리스틱 정보(Heuristic Information), 보상 참조값 등을 제공할 수 있다. 따라서 모방 학습과 강화 학습을 결합하는 방식은 구조화된 초기 행동에서 시작하여 안전하고 효율적인 행동을 점진적으로 학습해야 하는 경우 특히 유용하다.
동적 환경에서 종단간 내비게이션을 수행하려면 시간적 추론(Temporal Reasoning)이 더욱 중요해진다. 단일 카메라 프레임이나 하나의 라이다 스캔만으로는 장애물이 정지해 있는지, 접근하고 있는지, 멀어지고 있는지를 판단하기 어려울 수 있다. 순환 신경망과 시간 트랜스포머(Temporal Transformer)는 관측 및 행동의 시퀀스를 처리하여 움직임 패턴과 환경 변화를 추론할 수 있다. 정책은 이를 기반으로 접근하는 보행자에 대해 감속하고, 교통 흐름이 정리될 때까지 기다리며, 안전한 추종 거리를 유지하거나 통로가 차단되었을 때 대체 경로를 선택하는 등의 행동을 학습할 수 있다.
강화 학습이 저수준 내비게이션 행동을 생성하는 경우 로봇의 물리적 동역학도 고려해야 한다. 이상적인 점 로봇(Point Robot)을 기반으로 학습된 정책은 실제 조향 제약, 휠 슬립(Wheel Slip), 액추에이터 지연, 적재량 변화, 제동 한계를 가진 AMR에서 안정적으로 실행할 수 없는 명령을 생성할 수 있다. 물리 기반 시뮬레이션(Physics-based Simulation)과 동역학 랜덤화(Dynamics Randomization)는 학습 과정에서 이러한 효과를 다양하게 경험하도록 할 수 있다. 또는 강화 학습이 경유점이나 단기 궤적을 생성하도록 하고, 기존 제어기가 물리적으로 실행 가능한 동작을 보장하도록 구성할 수도 있다.
따라서 안전성(Safety)은 보상 패널티만으로 구현하기보다 독립적인 계층으로 구현하는 것이 바람직하다. 보상 함수는 안전한 행동을 유도할 수 있지만 개별 행동이 위험하지 않다는 것을 보장할 수는 없다. 런타임 안전 메커니즘(Runtime Safety Mechanism)은 충돌 예측, 속도 제한, 비상 정지, 위치 추정 신뢰도 모니터링, 궤적 검증 등을 수행할 수 있다. 학습 정책이 위험한 행동을 제안하면 안전 계층(Safety Layer)이 이를 수정하거나 거부하거나 재정의할 수 있다. 이를 통해 학습은 적응형 의사결정을 제공하고 결정론적 메커니즘은 핵심 운용 경계를 강제하는 제약형 종단간 아키텍처(Constrained End-to-End Architecture)를 구성할 수 있다.
실제 환경에 배치하기 위해서는 불확실성 추정(Uncertainty Estimation)도 중요하다. 학습된 정책은 학습 분포와 크게 다른 센서 조건, 환경 구조, 장애물 행동을 만날 수 있다. 신뢰도 또는 불확실성 메커니즘은 정책이 공격적으로 행동해서는 안 되는 상황을 식별할 수 있다. 시스템은 이러한 상황에서 속도를 줄이거나 추가적인 센싱을 수행하거나 고전적 플래너로 전환하거나 안전하게 정지하거나 복구 행동(Recovery Behavior)을 시작할 수 있다. 이는 장시간 운용되는 산업용 AMR에서 특히 중요하며, 장기간 운용에서는 드물고 이전에 경험하지 못한 조건이 필연적으로 발생할 수 있기 때문이다.
따라서 일반화(Generalization)는 체계적으로 평가되어야 한다. 학습 지도에서 높은 성능을 보인 정책도 새로운 창고, 공장, 캠퍼스, 도로 또는 실외 시설에 배치되면 실패할 수 있다. 평가에는 미경험 레이아웃, 다양한 장애물 분포, 조명 변화, 센서 잡음, 위치 추정 오류, 동적 에이전트, 로봇 적재량 변화, 노면 조건 변화 등이 포함되어야 한다. 도메인 랜덤화(Domain Randomization)와 다양한 환경 구성은 일반화 성능을 향상시킬 수 있지만, 시뮬레이션으로 모든 물리 현상과 실제 운용 상호작용을 재현할 수 없기 때문에 실제 환경 검증은 여전히 필수적이다.
종단간 강화 학습은 계층적 내비게이션(Hierarchical Navigation)과도 결합할 수 있다. 상위 수준의 플래너가 미션 또는 목적지의 순서를 결정하고 학습 정책이 로컬 내비게이션을 담당하도록 구성할 수 있다. 또는 강화 학습이 추종(Follow), 양보(Yield), 회피(Avoid), 복구(Recover), 도킹(Dock)과 같은 행동을 선택하고 기존 플래너가 상세 궤적을 생성하도록 할 수도 있다. 이러한 계층적 구조는 학습 부담을 줄이고 적응형 행동이 가장 큰 가치를 제공하는 의사결정에 강화 학습을 집중시킬 수 있다. 동시에 결정론적으로 해결하기 쉬운 작업에는 기존 플래닝 메커니즘을 유지할 수 있다.
월드 모델(World Model)은 강화 학습의 데이터 효율성을 높이는 또 다른 방법을 제공한다. 환경과 직접 상호작용하면서 학습하는 것에만 의존하는 대신 시스템은 미래 상태를 예측하는 모델을 학습하고 이를 사용하여 후보 행동을 내부적으로 평가할 수 있다. 정책은 실제 로봇에서 행동을 실행하기 전에 내부적으로 가상 롤아웃(Imagined Rollout)을 수행할 수 있다. 이를 통해 비용이 높은 실제 환경에서의 시행착오를 줄이고 미래 결과를 예측할 수 있다. 월드 모델 기반 강화 학습(World-model-based Reinforcement Learning)은 인지, 예측, 플래닝, 행동을 하나의 학습 루프로 연결하기 때문에 피지컬 AI(Physical AI)에 특히 중요한 의미를 가진다.
산업용 AMR에서 종단간 강화 학습은 전체 자율주행 아키텍처의 하나의 구성요소로 취급할 때 가장 실용적이다. 전역 미션 플래닝(Global Mission Planning), 위치 추정, 매핑(Mapping), 플릿 협조(Fleet Coordination), 안전 제어(Safety Control), 결정론적 비상 기능은 기존 방식으로 유지하고, 강화 학습은 적응형 로컬 내비게이션 행동을 담당할 수 있다. 이러한 역할 분담은 학습 정책이 환경 경험을 활용하면서도 전체 운용 시스템이 하나의 신경망에 전적으로 의존하지 않도록 한다. 또한 통제된 배치, 단계적 검증, 운용 모니터링, 자율성 수준의 점진적 확대를 지원할 수 있다.
내비게이션을 위한 강화 학습의 장기적인 의미는 로봇이 수작업으로 정의된 규칙에만 의존하지 않고 경험을 통해 행동을 개선할 수 있다는 데 있다. 시뮬레이션, 전문가 시연, 실제 운용 로그, 다수 로봇에서 수집된 플릿 경험(Fleet Experience)은 지속적으로 정책 개선에 기여할 수 있다. 운용 데이터는 실패 패턴, 어려운 시나리오, 이전에 인식하지 못했던 환경 조건을 발견하는 데 활용될 수 있으며, 이러한 상황은 다시 시뮬레이션에서 재현되어 후속 학습에 반영될 수 있다. 이를 통해 경험이 정책을 개선하고, 개선된 정책이 새로운 경험을 생성하며, 검증을 통해 실제 배치 가능성을 판단하는 폐루프 학습 구조(Closed-loop Learning Structure)를 구축할 수 있다.
피지컬 AI 아키텍처에서 종단간 강화 학습은 기존 내비게이션 알고리즘을 단순히 대체하는 기술이라기보다 적응형 의사결정 능력을 획득하기 위한 학습 메커니즘으로 이해하는 것이 적절하다. 특히 내비게이션이 인지, 예측, 환경 동역학, 장기 목표 사이의 복잡한 상호작용에 의존하는 상황에서 강력한 역할을 수행할 수 있다. 강화 학습을 시뮬레이션, 모방 학습, 월드 모델, 고전적 플래닝, 궤적 제어, 불확실성 추정, 독립적인 안전 감독과 결합하면 경험을 통해 학습하면서도 물리적 제약을 준수하고 운용 과정에서 검증 가능한 자율 내비게이션 시스템으로 발전시킬 수 있다.
09.04. Neural Motion Planning MPinets [w/Code]
신경망 기반 모션 플래닝(Neural Motion Planning)은 로봇 상태(Robot State), 환경 표현(Environmental Representation), 실행 가능한 움직임(Feasible Motion) 사이의 관계를 딥러닝으로 학습하여 충돌이 없는 로봇 움직임을 생성하는 방법이다. MPNets(Motion Planning Networks)는 이러한 방향의 중요한 접근법으로, 매번 처음부터 비용이 높은 탐색을 반복하는 대신 기존에 해결된 모션 플래닝 문제로부터 플래닝 행동을 학습한다. 학습된 모델은 빠른 움직임 후보를 제공하면서 실행 가능성(Feasibility)과 충돌 인지 플래닝(Collision-aware Planning)이라는 개념을 유지할 수 있다.
MPNets의 핵심 개념은 모션 플래너(Motion Planner)의 신경망 근사(Neural Approximation)를 학습하는 것이다. 기존 플래너는 RRT, RRT*, PRM 또는 최적화 기반 방법을 사용하여 구성 공간(Configuration Space)을 탐색한다. 이러한 알고리즘은 일반적이고 수학적으로 구조화되어 있지만, 특히 고차원 로봇과 복잡한 환경에서는 반복적인 플래닝에 상당한 계산 비용이 발생할 수 있다. MPNets는 이미 해결된 플래닝 문제의 집합으로부터 학습함으로써 과거의 플래닝 경험에서 얻은 정보를 활용하여 이후 문제의 해결을 가속할 수 있다.
모션 플래닝 문제는 로봇의 구성(Configuration), 목표 구성(Goal Configuration), 주변 환경(Environment)으로 표현할 수 있다. 모바일 로봇의 경우 구성은 위치와 방향을 포함할 수 있으며, 관절형 로봇은 많은 관절 변수를 필요로 할 수 있다. 환경은 장애물, 포인트 클라우드(Point Cloud), 점유 정보(Occupancy Information), 부호 있는 거리 표현(Signed Distance Representation) 또는 기타 기하학적 특징으로 표현할 수 있다. 신경 플래너(Neural Planner)는 이러한 표현을 입력으로 받아 로봇을 목표까지 이동시키는 데 유용한 중간 구성(Intermediate Configuration)이나 모션 구간(Motion Segment)을 예측한다.
학습 데이터(Training Data)는 일반적으로 기존의 모션 플래너 또는 신뢰할 수 있는 다른 플래닝 절차를 통해 생성된다. 각각의 학습 사례는 환경과 시작 상태(Start State), 목표 상태(Goal State), 하나 이상의 실행 가능한 해(Feasible Solution)를 포함한다. 이러한 사례는 플래너가 구성 공간을 성공적으로 탐색하는 방법에 대한 시연을 제공한다. 신경망은 환경의 기하학적 구조, 로봇 구성, 성공적인 움직임 사이의 통계적 관계를 학습한다. 따라서 데이터셋의 품질과 다양성은 학습된 플래너의 일반화 능력(Generalization Capability)을 결정하는 핵심 요소가 된다.
MPNets의 중요한 특징은 학습된 모델이 반드시 하나의 예측만으로 전체 궤적을 생성할 필요가 없다는 것이다. 대신 로봇을 목표를 향해 점진적으로 이동시키는 일련의 중간 상태를 제안할 수 있다. 이후 충돌 검사(Collision Checking)와 실행 가능성 검증(Feasibility Verification)을 통해 제안된 움직임이 유효한지를 판단할 수 있다. 예측이 거부되면 다른 예측이나 기존 플래닝 메커니즘을 호출할 수 있다. 따라서 학습 구성요소는 통제되지 않은 직접 행동 정책(Direct-action Policy)이 아니라 빠른 플래닝 후보를 제안하는 메커니즘으로 기능할 수 있다.
이 접근법은 특히 고차원 구성 공간(High-dimensional Configuration Space)에서 유용하다. 산업용 매니퓰레이터(Industrial Manipulator), 휴머노이드 로봇(Humanoid Robot), 모바일 매니퓰레이터(Mobile Manipulator)는 많은 자유도(Degrees of Freedom)를 가질 수 있기 때문에 전체 공간을 탐색하는 데 매우 큰 계산량이 필요하다. 신경 플래너는 자주 발생하는 구성 공간의 구조를 학습하고 유용한 해가 존재할 가능성이 높은 영역을 식별할 수 있다. 모든 플래닝 문제를 완전히 새로운 문제로 취급하는 대신, 네트워크는 과거 성공적인 해와 연관된 구성을 학습된 표현을 통해 찾아 탐색을 해당 영역으로 유도할 수 있다.
MPNets는 학습된 인코더(Learned Encoder)를 통해 다양한 로봇 및 환경 표현을 처리할 수도 있다. 기하학적 정보는 장애물 구조와 관련된 공간적 관계를 포착하는 잠재 표현(Latent Representation)으로 변환될 수 있다. 이후 로봇의 현재 구성과 목표를 이 표현과 결합하여 모션 후보를 생성할 수 있다. 환경 표현과 움직임 생성을 분리하는 이러한 구조는 공통적인 플래닝 지식을 유지하면서도 동일한 플래닝 프레임워크를 다양한 환경에 적용할 수 있도록 하는 데 중요하다.
이 개념은 신경 플래닝을 기존의 샘플링 기반 방법(Sampling-based Method)과 결합할 때 특히 강력해진다. 학습된 네트워크가 유망한 샘플, 확장 방향(Expansion Direction), 중간 상태를 예측하고 RRT, PRM 또는 다른 플래너가 완전한 실행 가능 경로의 생성과 검증을 담당하도록 할 수 있다. 신경 모델은 기존 탐색 메커니즘을 제거하지 않고 불필요한 탐색을 줄이는 역할을 한다. 이러한 하이브리드 아키텍처(Hybrid Architecture)는 기존 플래너가 학습된 예측이 부정확한 경우에도 복구할 수 있는 능력을 유지하면서 플래닝 속도를 향상시킬 수 있다.
충돌 검사(Collision Checking)는 신경망이 본질적으로 기하학적 유효성을 보장하지 못하기 때문에 여전히 핵심 구성요소이다. 신경망이 예측한 구성은 통계적으로 합리적으로 보이더라도 로봇의 일부 링크가 장애물 내부에 위치하거나 관절 제약조건(Joint Constraint)을 위반할 수 있다. 따라서 플래닝 시스템은 후보 움직임을 실제 환경과 로봇 모델을 기준으로 평가해야 한다. 충돌 검출(Collision Detection), 역기구학(Inverse Kinematics), 관절 제한(Joint Limits), 동역학 제약조건(Dynamic Constraints), 기타 실행 가능성 검사는 학습된 플래너를 둘러싼 독립적인 검증 계층(Verification Layer)을 제공한다.
학습 목적함수(Training Objective)는 단순한 궤적 모방을 넘어 다양한 요소를 포함할 수 있다. 신경 모션 플래너는 실행 가능한 구성, 목표까지의 거리, 충돌이 없는 영역 내의 위치, 고품질 해의 특성 등을 예측하도록 학습할 수 있다. 추가적인 손실 함수(Loss Term)는 움직임의 부드러움, 연속성, 효율성을 높이도록 설계할 수 있다. 이러한 목적함수의 설계에 따라 네트워크가 학습 데이터의 통계적 구조를 단순히 모방할지, 아니면 새로운 실행 가능한 해를 생성하는 데 유용한 표현을 학습할지가 결정된다.
일반화(Generalization)는 신경 모션 플래닝에서 가장 중요한 과제 중 하나이다. 제한된 장애물 구성으로 학습된 네트워크는 유사한 환경에서는 높은 성능을 보이더라도 기하학적 구조, 로봇 구성 또는 목표 위치가 크게 달라지면 실패할 수 있다. 따라서 학습 과정에서는 장애물의 형태, 공간적 배치, 시작 상태, 목표 상태, 로봇 구성을 충분히 다양하게 포함해야 한다. 무작위화된 환경(Randomized Environment)과 절차적으로 생성된 학습 데이터(Procedurally Generated Training Data)를 사용하면 수작업으로 수집한 사례만 사용하는 것보다 훨씬 넓은 범위의 플래닝 상황을 네트워크에 제공할 수 있다.
학습 기반 플래닝과 기존의 최적성(Optimality) 사이의 관계도 신중하게 고려해야 한다. 신경 플래너는 빠르게 실행 가능한 경로를 생성할 수 있지만 해당 경로가 전역 최적(Global Optimum)이라는 것을 보장하지는 않는다. RRT*와 같은 기존 알고리즘은 더 강한 점근적 최적성(Asymptotic Optimality) 특성을 제공할 수 있지만 더 많은 계산량을 요구할 수 있다. 실제 로보틱스에서는 수학적인 최적 경로보다 충분히 좋은 실행 가능 궤적을 빠르게 생성하는 것이 더 중요한 경우가 많다. 신경 플래닝은 이러한 속도를 제공하고, 필요한 경우 고전적 최적화(Classical Optimization)를 통해 제안된 궤적을 추가로 개선할 수 있다.
모바일 로봇에서 신경 모션 플래닝은 여러 수준에서 동작할 수 있다. 네트워크는 로컬 경유점(Local Waypoint), 후보 궤적, 샘플링 영역(Sampling Region), 선호 이동 방향(Preferred Motion Direction)을 예측할 수 있다. 이러한 출력은 이후 기존 로컬 플래너(Local Planner)나 제어기로 전달될 수 있다. 매니퓰레이터의 경우 중간 관절 구성(Intermediate Joint Configuration)이나 엔드이펙터(End-effector) 모션 구간을 예측할 수 있다. 모바일 매니퓰레이터와 휴머노이드에서는 베이스, 팔, 전신 움직임을 동시에 고려해야 하기 때문에 발생하는 대규모 구성 공간을 처리하는 데 신경 플래닝을 활용할 수 있다.
런타임 성능(Runtime Performance)은 신경 모션 플래닝을 사용하는 주요 이유 중 하나이다. 신경망이 학습된 이후에는 GPU 기반 엣지 컴퓨터(GPU-enabled Edge Computer)에서 추론을 빠르게 수행할 수 있다. 이는 자주 사용하는 작업 스테이션 사이를 이동하거나 서로 다른 방향에서 물체에 접근하거나 지속적으로 변화하는 장애물이 있는 환경에서 반복적으로 플래닝해야 하는 로봇에 유용하다. 그러나 추론 속도만으로 전체 플래닝 성능을 판단해서는 안 된다. 전처리(Preprocessing), 충돌 검사, 궤적 검증, 대체 플래닝(Fallback Planning), 통신 지연, 실행 검증까지 전체 플래닝 과정의 성능을 함께 고려해야 한다.
불확실성(Uncertainty) 역시 고려해야 한다. 신경망의 예측은 본질적으로 근사값이며, 학습 분포에서 벗어난 상황에서는 부정확할 수 있다. 플래너는 학습된 모델이 학습 분포 밖에서 동작하거나 낮은 신뢰도의 후보를 생성하는 상황을 식별할 수 있어야 한다. 이러한 경우 시스템은 기존 탐색의 비중을 높이거나 추가 샘플을 요청하거나 로봇 속도를 낮추거나 기존 플래너로 완전히 전환할 수 있다. 이를 통해 신경 모델은 익숙한 조건에서는 빠른 플래닝을 제공하고 불확실한 조건에서는 결정론적 플래닝 메커니즘이 강건성을 제공하는 실용적인 구조를 구성할 수 있다.
시뮬레이션(Simulation)은 MPNets의 학습과 평가를 위한 효과적인 기반을 제공한다. 장애물의 기하학적 구조, 로봇 구성, 시작 및 목표 상태, 플래닝 제약조건을 무작위화하여 대규모 환경을 생성할 수 있다. 기존 플래너는 이러한 문제를 오프라인에서 해결하여 학습 데이터셋을 생성할 수 있다. 이후 신경망은 동일한 규모의 물리적 로봇 실험을 수행하지 않고도 축적된 플래닝 경험으로부터 학습할 수 있다. 학습 이후에는 미경험 환경과 실제 로봇 실험을 포함하여 센서 불확실성, 모델 불일치(Model Mismatch), 액추에이터 한계, 환경 변화의 영향을 평가해야 한다.
보다 광범위한 피지컬 AI(Physical AI) 아키텍처에서 MPNets는 환경 이해(Environment Understanding)와 궤적 생성(Trajectory Generation) 사이에 위치할 수 있다. 인지(Perception)와 매핑(Mapping)은 환경에 대한 기하학적 및 의미론적 표현을 제공하고, 위치 추정(Localization)은 로봇의 상태를 제공한다. 신경 플래너는 이러한 표현을 이용하여 후보 움직임을 생성하고, 고전적인 검증 및 최적화 계층(Classical Verification and Optimization Layer)은 실행 가능성을 평가한다. 이후 제어기가 선택된 궤적을 추종하고 실행 상태를 모니터링한다. 성공하거나 실패한 플래닝 에피소드에서 얻은 피드백은 다시 학습 데이터로 활용될 수 있으며, 이를 통해 지속적인 개선 루프(Continuous Improvement Loop)를 구성할 수 있다.
따라서 신경 모션 플래닝의 가장 실용적인 역할은 고전적 플래닝을 제거하는 것이 아니라 플래닝 계산을 어디에, 어떻게 집중해야 하는지를 학습하는 것이다. MPNets는 축적된 플래닝 경험을 빠른 신경망 기반 후보 제안 메커니즘으로 변환한다는 점에서 이러한 원리를 보여준다. 충돌 검사, 샘플링 기반 플래닝, 최적화, 불확실성 추정, 시뮬레이션, 런타임 안전 감독(Runtime Safety Supervision)과 결합하면 신경 모션 플래닝은 신뢰할 수 있는 물리적 로봇에 필요한 검증 메커니즘을 유지하면서 계산량을 크게 줄일 수 있다. 이러한 하이브리드 접근법(Hybrid Approach)은 고전적 알고리즘 플래닝과 학습 기반 피지컬 AI 사이를 연결하는 실용적인 방법을 제공한다.
09.05. Diffusion Policy for Robot Navigation [w/Code]
확산 정책(Diffusion Policy)은 무작위 잡음(Random Noise)을 점진적으로 구조화된 움직임으로 변환하는 과정을 학습하는 신경망을 통해 로봇 내비게이션을 생성하는 생성형 접근법(Generative Approach)이다. 현재 관측으로부터 하나의 결정론적 행동(Deterministic Action)만을 예측하는 대신, 모델은 가능한 행동들의 분포(Distribution)를 학습한다. 이는 동일한 환경과 목표에 대해서도 여러 개의 유효한 궤적(Trajectory)이 존재할 수 있는 내비게이션 문제에 특히 유용하다. 따라서 정책은 행동의 다양성을 표현하면서도 로봇, 환경, 작업 조건을 고려하여 적절한 행동을 생성할 수 있다.
기본적인 확산 과정(Diffusion Process)은 전문가 궤적에 점진적으로 잡음을 추가하는 순방향 과정(Forward Process)과, 잡음이 포함된 표현을 다시 의미 있는 궤적으로 복원하는 학습된 역방향 과정(Reverse Process)으로 구성된다. 학습 과정에서는 전문가 궤적에 다양한 수준의 잡음을 단계적으로 추가하고, 신경망은 잡음이 포함된 궤적을 어떻게 제거해야 하는지를 학습한다. 추론(Inference) 과정에서는 잡음에서 시작하여 반복적으로 표현을 정제하고 최종적으로 완전한 행동 시퀀스(Action Sequence) 또는 모션 궤적(Motion Trajectory)을 생성한다. 이러한 반복적 생성 방식은 복잡하고 다양한 내비게이션 행동을 모델링할 수 있는 유연한 메커니즘을 제공한다.
로봇 내비게이션에서 확산 모델(Diffusion Model)은 카메라 영상, 라이다 스캔, 점유 지도(Occupancy Map), 의미론적 지도(Semantic Map), 로봇 위치, 속도, 목표 위치 등의 관측 정보를 조건(Condition)으로 사용할 수 있다. 이러한 입력은 현재 상황에 적합한 궤적이 생성되도록 생성 과정을 유도한다. 학습된 인코더(Learned Encoder)는 멀티모달 관측 정보를 하나의 표현으로 변환하고, 이 표현이 확산 네트워크(Diffusion Network)의 조건 정보로 사용된다. 출력은 로봇 플랫폼과 제어 아키텍처에 따라 선속도 및 각속도, 경유점(Waypoint), 로컬 자세(Local Pose), 조향 명령(Steering Command), 단기 궤적(Short-horizon Trajectory) 등의 형태로 표현할 수 있다.
확산 기반 정책(Diffusion-based Policy)의 가장 중요한 장점 중 하나는 다중 모드 행동(Multimodal Behavior)을 표현할 수 있다는 것이다. 예를 들어 여러 출구가 존재하는 복도에서는 작업 목적, 주변 에이전트, 향후 내비게이션 요구사항에 따라 여러 궤적이 모두 유효할 수 있다. 기존의 회귀 기반 정책(Regression Policy)은 이러한 여러 가능성을 평균화하여 그 사이의 바람직하지 않은 궤적을 생성할 수 있다. 반면 확산 정책은 서로 다른 여러 행동 모드를 표현하고, 특정한 실행 가능한 내비게이션 전략에 해당하는 일관된 궤적을 생성할 수 있다.
확산 정책은 궤적 분포(Trajectory Distribution)를 직접 학습할 수 있기 때문에 시연 데이터(Demonstration Data)로부터 학습하는 데 특히 적합하다. 시연 데이터는 전문가 조작자, 고전적 플래너(Classical Planner), 자율 내비게이션 시스템, 시뮬레이션 환경 등에서 수집할 수 있다. 각각의 궤적은 관측 정보, 로봇 상태, 행동 사이의 시간적 관계를 포함한다. 확산 모델은 개별 행동을 단순히 기억하는 것이 아니라 이러한 궤적의 통계적 구조를 학습한다. 따라서 다양한 환경 조건에 적응하면서도 시연된 행동의 특성을 유지하는 새로운 움직임 시퀀스를 생성할 수 있다.
내비게이션의 시간적 구조(Temporal Structure)를 학습할 수 있다는 것도 중요한 장점이다. 내비게이션 행동은 일반적으로 이후에 이어지는 행동과 독립적으로 결정되지 않는다. 복도로 회전하거나 장애물을 통과하거나 도킹 스테이션에 접근하거나 보행자에게 양보하는 행동은 서로 연결된 일련의 움직임을 필요로 한다. 확산 정책은 일정한 시간 범위에 대한 전체 행동 청크(Action Chunk) 또는 궤적을 생성할 수 있기 때문에 인접한 행동들이 서로 일관성을 유지하도록 할 수 있다. 이는 매 순간 하나의 행동을 독립적으로 예측하면서 반복적인 의사결정 오류가 누적될 수 있는 순수 반응형 정책(Reactive Policy)과 차이가 있다.
행동 청킹(Action Chunking)은 계산 및 제어 측면에서도 실질적인 장점을 제공한다. 확산 모델을 각각의 개별 제어 명령마다 호출하는 대신 짧은 미래 행동 시퀀스를 생성하고 그 일부를 실행한 후 재계획할 수 있다. 이를 통해 비용이 높은 정책 추론의 빈도를 줄이면서도 이동 구간마다 새로운 계획을 수립하는 리시딩 호라이즌(Receding Horizon) 방식의 동작을 유지할 수 있다. 로봇은 지속적으로 환경을 관측하고 새로운 궤적을 생성한 다음 가장 적절한 일부를 실행하고 다시 계획하는 과정을 반복할 수 있다. 이러한 구조는 확산 정책을 모델 예측 제어(Model Predictive Control) 및 로컬 궤적 플래닝(Local Trajectory Planning)과 자연스럽게 연결한다.
조건화 메커니즘(Conditioning Mechanism)은 환경 및 작업 정보가 생성되는 궤적에 얼마나 강하게 영향을 미치는지를 결정한다. 정책은 현재 로봇 상태, 내비게이션 목표, 로컬 지도, 의미론적 정보, 이전 행동, 광범위한 미션 문맥 등을 조건으로 사용할 수 있다. 교차 어텐션(Cross-attention)과 트랜스포머(Transformer) 아키텍처는 이러한 입력 사이의 공간적 및 시간적 정보를 결합할 수 있다. 모바일 로봇의 경우 이러한 구조를 통해 단순히 공간을 차지하는 장애물과 의미적 정체성 또는 예측된 행동이 궤적 선택에 영향을 미쳐야 하는 객체를 구분할 수 있다.
동적 장애물 내비게이션(Dynamic Obstacle Navigation)은 중요한 응용 분야이다. 확산 정책은 보행자, 차량, 다른 로봇, 변화하는 장애물에 전문가나 플래너가 대응하는 상황을 포함한 시연 데이터로 학습할 수 있다. 현재 장애물의 위치만을 기반으로 궤적을 생성하는 대신 시간적 관측 정보를 활용하여 움직임 패턴을 추론하고 미래 상호작용을 고려하는 궤적을 생성할 수 있다. 정책은 감속, 양보, 적절한 방향으로 통과, 대기, 대체 경로 선택 등의 행동을 학습할 수 있다. 그러나 학습된 예측은 실시간 충돌 검사(Real-time Collision Checking)와 안전 제약조건(Safety Constraint)의 적용을 받아야 한다.
확산 정책은 독립적인 행동 회귀(Action Regression)로는 얻기 어려운 부드럽고 일관된 움직임 특성도 학습할 수 있다. 학습 데이터에는 선호되는 가속 프로파일, 회전 패턴, 장애물과의 거리, 접근 행동, 정지 특성 등이 포함될 수 있다. 따라서 생성된 궤적은 연속적인 행동 사이의 상관관계를 반영한다. 추가적인 조건이나 최적화 목적함수(Optimization Objective)를 통해 속도, 가속도, 곡률(Curvature), 저크(Jerk) 프로파일의 부드러움을 높일 수 있다. 이는 산업용 AMR에서 특히 중요하며, 궤적 품질은 기계적 응력, 적재물 안정성, 에너지 소비, 탑승자 또는 주변 인간의 편안함에 영향을 미친다.
가장 큰 한계 중 하나는 계산 비용(Computational Cost)이다. 확산 생성은 일반적으로 여러 번의 디노이징(Denoising) 단계를 필요로 하며, 각 단계에서 신경망 추론이 수행된다. 따라서 하나의 궤적을 생성하는 데 기존의 단일 순전파(Single Forward Pass) 기반 정책보다 더 많은 계산이 필요할 수 있다. 실시간 로보틱스에서는 추론 지연 시간(Inference Latency)을 정확하게 측정하고 최적화해야 한다. 디노이징 단계 축소, 잠재 확산(Latent Diffusion), 지식 증류(Distillation), 효율적인 트랜스포머 구조, 병렬 계산, 하드웨어 가속 등을 통해 이러한 부담을 줄일 수 있다. 필요한 최적화 수준은 플래닝 시간 범위와 제어 주기에 따라 크게 달라진다.
또 다른 문제는 확산 정책이 물리적 실행 가능성(Physical Feasibility)을 자동으로 보장하지 않는다는 점이다. 생성된 궤적이 장애물과 교차하거나 로봇의 최소 회전 반경을 위반하거나 속도 및 가속도 제한을 초과하거나 액추에이터가 물리적으로 수행할 수 없는 동작을 요구할 수 있다. 따라서 확산 모델은 보다 광범위한 플래닝 아키텍처 안에서 동작해야 한다. 충돌 검사, 운동학적 제약조건(Kinematic Constraint), 동역학적 제약조건(Dynamic Constraint), 궤적 검증(Trajectory Validation), 안전 모니터링(Safety Monitoring)은 생성된 움직임을 실행하기 전에 독립적으로 평가할 수 있다. 유효하지 않은 궤적은 거부하거나 수정하거나 제약조건을 강화하여 다시 생성할 수 있다.
가이던스 메커니즘(Guidance Mechanism)은 생성 과정에 명시적인 목표를 반영하는 방법을 제공한다. 생성 과정은 특정 목표, 비용 함수(Cost Function), 의미론적 영역, 선호 행동을 향하도록 조건화할 수 있다. 내비게이션 시스템은 목적지 방향으로 궤적을 유도하면서 충돌 위험이나 과도한 움직임을 억제할 수 있다. 또한 고전적 플래너, 학습된 가치 함수(Value Function), 비용 모델(Cost Model), 안전 평가기(Safety Evaluator)로부터 외부 가이던스를 제공할 수도 있다. 이를 통해 전체 플래너를 대체하지 않고도 기호적 또는 기하학적 플래닝 지식이 생성 모델에 영향을 미치도록 할 수 있다.
확산 정책은 대규모 궤적을 생성하고 제어할 수 있는 시뮬레이션 환경에서 주로 학습할 수 있다. 지도, 장애물 배치, 로봇 동역학, 센서 잡음, 조명, 보행자 행동, 목표 위치 등을 다양하게 변경하여 광범위한 학습 분포를 만들 수 있다. 이후 실제 환경에서 수집한 시연 데이터를 추가하여 물리적 행동과의 일치성을 향상시킬 수 있다. 시뮬레이션은 규모와 다양성을 제공하고, 실제 데이터는 액추에이터 지연, 위치 추정 오류, 휠 슬립(Wheel Slip), 센서 특성, 실제 환경의 세부 요소 등 시뮬레이션에서 정확하게 모델링하기 어려운 정보를 제공한다.
일반화(Generalization)는 여전히 핵심적인 연구 및 엔지니어링 과제이다. 확산 정책은 학습 분포와 유사한 환경에서는 현실적인 궤적을 생성할 수 있지만 익숙하지 않은 상황에서는 예기치 않은 행동을 보일 수 있다. 따라서 강건한 학습을 위해서는 기하학적 구조, 장애물 밀도, 목표 구성, 로봇 동역학, 환경 외관 등에 충분한 다양성을 포함해야 한다. 평가에서는 미경험 지도, 특이한 장애물 구성, 센서 성능 저하, 동적 에이전트, 적재량 또는 노면 조건 변화 등을 별도로 시험해야 한다. 그럴듯한 궤적을 생성하는 능력만으로는 충분하지 않으며, 학습 분포 밖에서도 생성된 움직임이 안전하고 실제 운용에 유용해야 한다.
불확실성(Uncertainty)은 확산 정책이 하나의 결정론적 회귀 출력보다 생성 정책으로서 자연스럽게 표현할 수 있는 요소이다. 모델이 가능한 궤적의 분포를 표현하기 때문에 여러 개의 후보 궤적을 생성할 수 있다. 그러나 여러 궤적이 존재한다는 사실만으로 안전에 대한 보정된 신뢰도(Calibrated Safety Confidence)가 자동으로 제공되는 것은 아니다. 시스템은 생성된 후보를 명시적인 위험 지표(Risk Measure)와 환경 제약조건을 사용하여 평가해야 한다. 불확실성이 높은 경우 로봇은 속도를 줄이거나 플래닝 시간 범위를 단축하거나 장애물 여유거리를 증가시키거나 추가 센싱을 요청하거나 기존 플래너로 전환하거나 안전하게 정지할 수 있다. 따라서 생성 다양성(Generative Diversity)은 안전 감독(Safety Supervision)을 대체하기보다 보완해야 한다.
AMR 내비게이션에서 실용적인 아키텍처는 확산 정책을 로컬 모션 생성(Local Motion Generation) 계층에 배치할 수 있다. 전역 플래닝(Global Planning)은 미션 경로와 주요 경유점을 결정하고, 확산 모델은 현재 센서 관측과 로컬 지도를 사용하여 지역적으로 적절한 궤적을 생성한다. 궤적 검증기(Trajectory Validator)는 충돌과 동역학적 실행 가능성을 검사하고, 저수준 제어기(Low-level Controller)는 선택된 궤적을 추종한다. 로봇이 이동하는 동안 시스템은 지속적으로 재계획한다. 이러한 역할 분담은 확산 모델이 학습된 행동 패턴을 활용하면서도 전역 경로 생성, 위치 추정, 플릿 협조(Fleet Coordination), 비상 안전 기능까지 동시에 해결하도록 요구하지 않는다.
확산 정책은 모방 학습(Imitation Learning), 강화 학습(Reinforcement Learning), 월드 모델(World Model)과도 결합할 수 있다. 시연 데이터는 초기 행동 분포를 구성하고, 강화 학습은 작업별 보상에 따라 행동을 개선하며, 월드 모델은 미래 상태를 예측하여 궤적을 평가하는 데 사용할 수 있다. 학습된 가치 함수나 비용 함수는 생성된 후보를 평가하고, 고전적 플래너는 추가적인 제약조건이나 대체 해(Fallback Solution)를 제공할 수 있다. 이러한 결합은 각 방법이 내비게이션 전체를 독점적으로 제어하는 대신 서로 다른 능력을 보완하는 광범위한 학습 기반 플래닝 아키텍처를 구성한다.
피지컬 AI(Physical AI) 시스템에서 확산 기반 내비게이션은 인지, 월드 모델링, 플래닝, 제어를 연결하는 생성형 모션 계층(Generative Motion Layer)으로 이해할 수 있다. 인지 시스템은 관측 정보를 제공하고, 위치 추정은 로봇 상태를 결정하며, 월드 모델은 공간적 및 시간적 문맥을 제공한다. 확산 정책은 가능한 여러 모션 미래(Motion Future)를 생성하고, 플래너와 안전 모듈은 이러한 미래를 평가하고 제약한다. 이후 제어기는 선택된 궤적을 실행하고 새로운 관측 정보를 플래닝 루프로 다시 전달한다. 이를 통해 학습된 생성 행동이 물리적 제약조건에 의해 지속적으로 검증되는 연속적인 인지-행동 루프(Perception-to-Action Loop)를 구성할 수 있다.
확산 정책의 실질적인 가치는 하나의 결정론적 반응만 생성하는 것이 아니라 실행 가능한 복잡한 행동의 분포를 모델링할 수 있다는 데 있다. 여러 개의 유효한 전략, 강한 시간적 의존성, 사람이 직접 규칙으로 표현하기 어려운 미세한 행동 패턴이 존재하는 내비게이션에서 특히 유용하다. 그러나 계산 비용, 확률적 특성(Probabilistic Nature), 본질적인 안전 보장 부족 때문에 독립적인 자율 제어기로 취급해서는 안 된다. 효율적인 추론, 고전적 플래닝, 충돌 검사, 궤적 최적화(Trajectory Optimization), 불확실성 처리, 런타임 안전 감독을 결합하면 확산 정책은 강건한 로봇 내비게이션과 더 넓은 피지컬 AI 모션 플래닝을 위한 강력한 생성형 구성요소(Generative Component)가 될 수 있다.
09.06. Transformer Based Planning Perceiver IO [w/Code]
Perceiver IO(Perceiver IO)는 대규모의 이질적이고 멀티모달(Multimodal)인 입력을 처리하면서 서로 다른 구조와 의미를 가진 출력을 생성하도록 설계된 트랜스포머 기반 아키텍처(Transformer-based Architecture)이다. 핵심 원리는 모든 입력 요소에 대해 전체 셀프 어텐션(Full Self-attention)을 직접 적용하는 것을 피하는 것이다. 대신 시스템은 먼저 고차원 관측 정보를 상대적으로 작은 잠재 표현(Latent Representation)으로 투영하고, 대부분의 계산량이 필요한 처리를 이 잠재 공간(Latent Space)에서 수행한다. 이러한 특성은 카메라 영상, 라이다 포인트, 지도, 로봇 상태, 시간 이력, 의미론적 정보가 매우 크고 불규칙한 입력 공간을 형성하는 로봇 플래닝에 특히 적합하다.
Perceiver IO 아키텍처는 입력 처리(Input Processing), 잠재 추론(Latent Reasoning), 출력 생성(Output Generation)을 분리한다. 원시 관측 정보(Raw Observation)는 먼저 특징 표현(Feature Representation)으로 변환되고, 교차 어텐션(Cross-attention)을 통해 고정된 크기의 잠재 배열(Latent Array)에 입력된다. 이후 잠재 변수(Latent Variable)들은 트랜스포머 방식의 셀프 어텐션을 통해 서로 상호작용하면서 정보를 통합한다. 마지막으로 출력 쿼리(Output Query)가 잠재 표현에서 어떤 정보를 추출할지를 결정한다. 이러한 분리 구조를 통해 전체 네트워크를 각각의 작업에 맞게 다시 설계하지 않고도 동일한 핵심 아키텍처가 서로 다른 출력 형태를 지원할 수 있다.
로봇 내비게이션에서 입력 공간은 RGB 영상, 깊이 관측(Depth Observation), 라이다 포인트 클라우드(LiDAR Point Cloud), 점유 격자(Occupancy Grid), 의미론적 지도(Semantic Map), 위치 추정값(Localization Estimate), 속도, 로봇의 크기, 이전 행동, 내비게이션 목표 등을 포함할 수 있다. 이러한 데이터는 서로 다른 구조와 해상도를 가지기 때문에 기존 트랜스포머 토큰화(Transformer Tokenization)와 전체 어텐션(Full Attention)을 적용하면 계산 비용이 매우 커질 수 있다. Perceiver IO는 이러한 이질적인 정보를 공통된 메커니즘을 통해 하나의 공유 잠재 표현(Shared Latent Representation)으로 인코딩할 수 있도록 한다. 따라서 각 센서 모달리티가 동일한 토큰 구조를 가질 필요 없이 시각 정보, 기하학 정보, 시간 정보, 상태 정보를 함께 추론할 수 있다.
잠재 병목(Latent Bottleneck)은 이 아키텍처의 가장 중요한 특징 중 하나이다. 모든 입력 토큰이 서로 직접 어텐션을 수행하도록 하는 대신, 고정된 수의 잠재 벡터(Latent Vector)가 교차 어텐션을 통해 입력으로부터 정보를 수신한다. 이후 잠재 벡터들은 셀프 어텐션을 통해 반복적으로 서로 정보를 교환한다. 잠재 벡터의 수는 입력 요소의 수보다 훨씬 작게 유지할 수 있기 때문에 매우 큰 입력을 처리할 때 발생하는 계산 부담을 크게 줄일 수 있다. 이러한 특성은 밀집 포인트 클라우드, 고해상도 영상, 긴 관측 이력을 처리해야 하는 로봇에 특히 유용하다.
교차 어텐션(Cross-attention)은 대규모 입력 공간과 압축된 잠재 표현을 연결하는 핵심 메커니즘이다. 각각의 잠재 벡터는 입력 관측 정보를 질의(Query)하여 전역적인 내부 표현(Global Internal Representation)을 형성하는 데 필요한 정보를 추출한다. 위치 정보와 모달리티 정보(Modality Information)를 추가하여 모델이 공간적 위치, 센서 유형, 타임스탬프(Timestamp), 기타 구조적 특성을 구분하도록 할 수 있다. 내비게이션 시스템에서는 이를 통해 장애물, 자유 공간, 로봇 상태, 목표 위치, 이동 에이전트 사이의 관계를 인코딩하고 각각의 관측을 독립적으로 처리하는 것을 넘어선 상황 표현을 구성할 수 있다.
잠재 셀프 어텐션(Latent Self-attention)은 주요 추론 연산을 수행한다. 정보가 잠재 공간으로 압축되면 트랜스포머 계층(Transformer Layer)은 여러 잠재 요소가 반복적으로 정보를 교환하도록 한다. 이를 통해 서로 멀리 떨어진 장애물, 로봇과 목적지, 이전에 관측된 상태, 동적 에이전트 사이의 관계를 표현할 수 있다. 따라서 모델은 현재 내비게이션 상황에 대한 통합된 표현(Integrated Representation)을 형성할 수 있다. 반복적인 잠재 처리 구조는 원시 센서 요소 전체에 대해 완전한 어텐션을 수행하지 않고도 시간적 문맥과 학습된 월드 지식을 통합할 수 있는 자연스러운 위치를 제공한다.
Perceiver IO의 출력 구조 역시 중요하다. 플래닝에는 하나의 보편적인 출력 형식이 존재하지 않기 때문이다. 출력 쿼리는 공유된 잠재 상태(Shared Latent State)에서 특정한 표현을 요청할 수 있다. 응용 분야에 따라 쿼리는 로컬 경유점(Local Waypoint), 포즈 시퀀스(Pose Sequence), 선속도 및 각속도, 궤적, 충돌 확률, 행동 분류(Behavior Classification), 플래닝 관련 가치(Value)를 생성할 수 있다. 따라서 출력 쿼리가 잠재 표현에서 어떤 정보를 추출할 것인지를 결정한다. 이러한 유연한 입력-출력 구조는 Perceiver IO의 대표적인 특징 중 하나이다.
내비게이션 플래닝에서는 여러 개의 출력 쿼리를 사용하여 구조화된 궤적 정보를 생성할 수 있다. 하나의 쿼리 집합은 미래의 각 시간 단계에 대응하도록 구성하여 특정 시간 지점에서의 로봇 상태를 예측할 수 있다. 또 다른 쿼리 집합은 서로 다른 행동이나 궤적 모드를 표현할 수 있다. 추가적인 쿼리는 안전 여유거리(Safety Margin), 장애물 상호작용(Obstacle Interaction), 신뢰도(Confidence)를 추정할 수 있다. 따라서 하나의 잠재적 월드 표현이 여러 종류의 플래닝 출력과 보조 예측(Auxiliary Prediction)을 동시에 지원할 수 있다. 이러한 구조는 모션 생성과 상황 평가를 동시에 요구하는 내비게이션에서 유용하다.
이 아키텍처는 잠재 공간이 공통 정보 영역(Common Information Domain)으로 기능하기 때문에 멀티모달 융합(Multimodal Fusion)에도 적합하다. 카메라 특징은 외관 및 의미론적 정보를 제공하고, 라이다는 정확한 기하학 정보를 제공하며, 지도는 대규모 공간적 문맥을 제공하고, 로봇 상태 센서는 움직임과 위치 추정 정보를 제공할 수 있다. 모든 모달리티를 동일한 표현으로 강제하는 대신 각각의 특성에 맞게 인코딩한 후 공유 잠재 시스템에 입력할 수 있다. 이때 잠재 표현은 피지컬 AI 내비게이션을 위한 학습된 센서 융합 계층(Learned Sensor Fusion Layer)으로 기능한다.
시간적 내비게이션(Temporal Navigation)은 현재 센서 프레임 하나만 사용하는 대신 관측 시퀀스를 입력으로 포함하여 구현할 수 있다. 이전의 카메라 특징, 라이다 관측, 로봇 상태, 행동, 로컬 지도에 시간적 위치 정보(Temporal Positional Information)를 추가하여 표현할 수 있다. 이후 잠재 트랜스포머(Latent Transformer)가 시간에 따른 정보를 통합할 수 있다. 이를 통해 플래너는 정지된 장애물과 움직이는 보행자를 구분하거나, 로봇이 이미 회전을 시작했음을 인식하거나, 이전에 막혀 있던 통로가 다시 이용 가능해졌음을 추론할 수 있다. 이러한 시간적 문맥은 순수 반응형 플래닝(Reactive Planning)에서 예측형 행동(Predictive Behavior)으로 발전하는 데 도움을 준다.
Perceiver IO는 서로 다른 출력 쿼리 그룹을 사용하여 계층적 플래닝(Hierarchical Planning)을 지원할 수도 있다. 상위 수준 쿼리는 내비게이션 의도(Navigation Intent)나 하위 목표(Subgoal)를 추정하고, 중간 수준 쿼리는 경유점이나 행동 선택을 생성하며, 하위 수준 쿼리는 단기 궤적이나 속도 명령을 생성할 수 있다. 이러한 출력은 로봇을 직접 제어하기보다 기존 플래너와 제어기에 연결할 수 있다. 이러한 계층 구조는 학습 모델에 부여되는 책임을 줄이고 하나의 아키텍처 안에서 서로 다른 플래닝 주기(Planning Frequency)가 함께 동작할 수 있도록 한다.
가변 크기 환경(Variable-size Environment)에서의 플래닝은 중요한 응용 분야이다. 로봇이 운용되는 동안 장애물의 수, 탐지된 에이전트, 지도 요소, 포인트 클라우드 특징의 수가 지속적으로 변할 수 있다. 기존의 고정 차원 네트워크(Fixed-dimensional Network)는 입력 전처리 과정에서 객체 수를 제한하거나 경직된 표현을 요구할 수 있다. Perceiver IO는 고정된 잠재 처리 용량을 유지하면서 크기가 변하는 구조화된 입력을 처리하도록 설계되었다. 따라서 한 플래닝 주기에서 다른 플래닝 주기로 넘어갈 때 관련 객체의 수가 달라지는 환경에 개념적으로 적합하다.
아키텍처는 모방 학습(Imitation Learning), 강화 학습(Reinforcement Learning), 지도 기반 궤적 예측(Supervised Trajectory Prediction) 또는 이들을 결합한 방식으로 학습할 수 있다. 전문가 시연 데이터는 숙련된 조작자나 기존 플래너가 내비게이션 궤적을 생성하는 방식을 학습하도록 한다. 이후 강화 학습은 진행 정도, 안전성, 효율성, 에너지, 작업 완료 등을 기준으로 행동을 최적화할 수 있다. 지도 기반 보조 학습(Auxiliary Learning)은 객체 움직임, 자유 공간 구조, 충돌 위험, 미래 로봇 상태 등을 예측하도록 하여 내부 표현을 개선할 수 있다. 이러한 상호 보완적인 학습 목적은 단순히 센서 데이터의 표면적 상관관계를 재현하는 것이 아니라 플래닝에 유용한 정보를 잠재 표현에 포함하도록 유도할 수 있다.
학습 데이터의 다양성은 잠재 표현이 다양한 환경과 센서 조건에서 일반화되어야 하기 때문에 특히 중요하다. 데이터셋에는 서로 다른 지도 구조, 장애물 밀도, 보행자 행동, 조명 조건, 센서 잡음 수준, 로봇 속도, 적재량, 위치 추정 불확실성 등을 포함해야 한다. 시뮬레이션은 대규모 멀티모달 데이터를 생성할 수 있으며, 실제 환경 데이터는 정확하게 재현하기 어려운 물리적 효과를 제공할 수 있다. 따라서 시뮬레이션과 실제 데이터를 결합하면 내비게이션 상태 공간(Navigation State Space)의 더 넓은 범위를 학습할 수 있다.
모델은 의미론적 정보(Semantic Information)를 플래닝에 통합할 수도 있다. 의미론적 라벨을 통해 벽, 보행자, 차량, 문, 적재 구역, 제한 구역, 충전 스테이션 등 서로 다른 운용 의미를 가진 객체를 구분할 수 있다. Perceiver 기반 플래너는 이러한 의미론적 특징을 기하학적 및 시간적 정보와 함께 잠재 표현 안에서 결합할 수 있다. 이에 따라 플래닝 결정은 단순한 기하학적 거리만으로 이루어질 필요가 없다. 모델은 충전 스테이션에 접근하거나 보행자 구역을 통과하거나 출입구를 지나거나 제한 구역에 진입하는 경우 서로 다른 행동이 필요하다는 것을 학습할 수 있다.
Perceiver IO가 강력한 플래닝 표현을 제공하더라도 안전성(Safety)은 독립적인 구성요소로 유지되어야 한다. 잠재 모델은 그럴듯해 보이지만 충돌, 운동학적, 동역학적 또는 운용상의 제약조건을 위반하는 궤적을 예측할 수 있다. 따라서 별도의 안전 계층(Safety Layer)이 충돌 검사, 여유거리 평가, 속도 및 가속도 검증, 비상 정지, 궤적 검증을 수행해야 한다. 안전하지 않은 출력은 거부하거나 수정하거나 기존 플래너로 대체할 수 있다. 이러한 분리를 통해 트랜스포머는 유연한 추론 능력을 제공하고 결정론적 메커니즘은 중요한 안전 조건에 대한 권한을 유지할 수 있다.
불확실성 추정(Uncertainty Estimation) 역시 중요하다. 압축된 잠재 표현은 학습 분포 밖의 상황을 만날 수 있기 때문이다. 신뢰도 추정값을 궤적 출력과 함께 생성하거나 여러 후보 예측과 보조 불확실성 모델(Auxiliary Uncertainty Model)을 활용하여 산출할 수 있다. 신뢰도가 낮아지는 경우 로봇은 속도를 낮추거나 안전 여유거리를 증가시키거나 플래닝 시간 범위를 단축하거나 추가 센싱을 요청하거나 대체 플래너(Fallback Planner)로 전환할 수 있다. 따라서 잠재 아키텍처는 물리적 움직임에 대한 무조건적인 권한이 아니라 적응형 플래닝 구성요소(Adaptive Planning Component)로 취급되어야 한다.
Perceiver IO는 여러 방식으로 고전적 플래닝(Classical Planning)과 통합할 수 있다. 모델은 후보 경유점을 생성하여 기존 로컬 플래너에 전달하거나, RRT 기반 플래너를 위한 샘플링 분포를 예측하거나, 그래프 탐색(Graph Search)을 위한 학습된 비용을 제공하거나, 궤적 최적화를 위한 초기 궤적을 생성할 수 있다. 또한 미래 장애물 상태를 추정하여 모델 예측 제어(Model Predictive Control)에 제공할 수도 있다. 이러한 구성에서는 트랜스포머가 고차원 정보 통합을 담당하고 기존 알고리즘은 명시적인 기하학적 추론과 제약조건 만족을 담당한다.
런타임 효율(Runtime Efficiency)은 실제 배치에서 중요한 고려사항이다. 잠재 병목은 계산량이 원시 입력 크기에 직접 비례하는 문제를 줄여주지만, 네트워크 자체는 여전히 여러 트랜스포머 연산과 멀티모달 특징 인코딩을 필요로 한다. 효율적인 센서 전처리, 잠재 차원 선택, 추론 빈도 조절, 모델 양자화(Model Quantization), 지식 증류, GPU 가속, 하드웨어 인지형 아키텍처 설계(Hardware-aware Architecture Design)를 통해 실시간 동작을 달성할 수 있다. 적절한 구성은 로봇의 제어 주기, 센서 대역폭, 플래닝 시간 범위, 사용 가능한 엣지 컴퓨팅 자원에 따라 달라진다.
산업용 AMR에서는 Perceiver IO를 멀티모달 인지(Multimodal Perception)와 로컬 모션 플래닝(Local Motion Planning) 사이에 배치하는 실용적인 아키텍처를 구성할 수 있다. 센서와 위치 추정 시스템은 동기화된 관측 정보를 제공하고, 인코더는 이를 모달리티별 특징으로 변환하며, Perceiver IO는 현재 상황에 대한 통합 잠재 표현을 생성한다. 이후 플래닝 쿼리가 경유점, 궤적, 행동 결정, 위험 추정값을 생성한다. 기존의 궤적 검증기(Trajectory Validator)는 제안된 움직임을 검사하고 제어기는 승인된 궤적을 실행한다. 새로운 관측 정보는 지속적으로 시스템에 입력되어 인지, 추론, 플래닝, 제어가 연결된 폐루프(Closed-loop) 프로세스를 구성한다.
보다 광범위한 피지컬 AI 아키텍처에서 Perceiver IO는 단순한 인지 네트워크가 아니라 관계적 및 시간적 정보 통합 계층(Relational and Temporal Information Integration Layer)으로 기능할 수 있다. 멀티모달 센싱을 월드 모델링, 플래닝, 정책 생성과 연결하면서도 압축된 내부 표현을 유지할 수 있다. 따라서 인지가 의미론적 및 기하학적 정보를 제공하고, 월드 모델이 미래 상태를 예측하며, 플래너가 가능한 행동을 평가하고, 정책 또는 제어기가 선택된 행동을 실행하는 아키텍처와 호환될 수 있다. 잠재 표현은 이러한 구성요소 사이를 연결하는 인터페이스로 기능할 수 있다.
로봇 플래닝에서 Perceiver IO의 가장 중요한 의미는 대규모의 이질적인 입력을 처리하면서 공유 잠재 표현을 통해 유연한 구조화 출력(Structured Output)을 지원할 수 있다는 점이다. 잠재 병목은 어텐션 기반 모델의 확장성 문제 중 하나를 완화하며, 출력 쿼리는 동일한 아키텍처가 서로 다른 플래닝 작업과 표현을 지원하도록 한다. 그러나 Perceiver IO 자체가 내비게이션 문제를 해결하거나 물리적 실행 가능성을 보장하거나 기존 플래닝을 대체하는 것은 아니다. 그 실질적인 가치는 멀티모달 인지, 시간적 월드 모델링, 궤적 생성, 명시적 제약조건, 안전 검증, 실시간 제어와 통합될 때 나타나며, 이를 통해 피지컬 AI 로봇을 위한 확장 가능한 트랜스포머 기반 플래닝 계층(Transformer-based Planning Layer)을 구성할 수 있다.
09.07. LLM Based Task and Motion Planning TAMP [w/Code]
대규모 언어 모델 기반 작업 및 모션 플래닝(LLM-based Task and Motion Planning, LLM-based TAMP)은 고수준 언어 추론(High-level Language Reasoning)을 기호적 작업 플래닝(Symbolic Task Planning) 및 물리적으로 실행 가능한 로봇 움직임(Physically Executable Robot Motion)과 연결한다. 기존의 작업 및 모션 플래닝(TAMP)은 어떤 객체를...
![Motion Planning and Navigation — Ch.09: AI Based Planning [KR]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fa3n4x28z3pnqiurylhlw.png)







![Motion Planning and Navigation — Ch.06: Dynamic Obstacle Avoidance [KR]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fmbgqt1fikes5d9684vg8.png)
![Motion Planning and Navigation — Ch.08: Semantic Navigation [KR]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fjq2h442hn45tjle363x9.png)