Chapter 09. Perception for Physical AI
09.01. Perception Requirements for Physical AI Systems
피지컬 AI(Physical AI) 시스템에서 인지(Perception)는 수동적인 센싱 하위 시스템(Passive Sensing Subsystem)이 아니라 지능(Intelligence)과 물리적 세계(Physical World)를 연결하는 능동적 인터페이스(Active Interface) 역할을 수행해야 한다. 기존의 인지 파이프라인(Perception Pipeline)이 객체 검출(Object Detection), 기하 구조 추정(Geometry Estimation), 사전에 정의된 클래스(Class)의 인식에 집중했다면, 피지컬 AI는 환경 상태가 현재 로봇의 목표에 어떤 의미를 갖는지, 어떠한 상호작용이 가능한지, 그리고 미래 행동에 어떤 관측 정보가 중요한지를 추가로 판단해야 한다.
따라서 요구되는 표현(Representation)은 기하학적 재구성(Geometric Reconstruction)과 의미론적 라벨링(Semantic Labeling)을 넘어선다. 피지컬 AI 에이전트(Physical AI Agent)는 공간 구조(Spatial Structure), 객체 정체성(Object Identity), 움직임(Motion), 물리적 속성(Physical Properties), 관계(Relationships), 불확실성(Uncertainty), 작업 맥락(Task Context)을 결합하여 추론(Reasoning)과 행동(Action)을 지원할 수 있는 표현을 구성해야 한다. 위치, 거리, 방향, 속도, 자유 공간(Free Space)과 같은 계량적 정보(Metric Information)는 객체 역할, 기능 영역, 위험 요소, 도구, 컨테이너, 목적지, 상호작용 대상과 같은 의미론적 개념(Semantic Concepts)과 함께 존재해야 한다.
인지(Perception)는 또한 개방형 세계 가정(Open-World Assumption)에서 동작해야 한다. 가정, 공장, 병원, 창고, 실외 인프라 또는 공공장소에 배치된 로봇은 학습 과정에서 명시적으로 표현되지 않았던 객체, 구성, 사건을 필연적으로 만나게 된다. 시스템은 이미 알고 있는 관측(Known Observation), 익숙하지 않지만 해석 가능한 관측(Unfamiliar but Interpretable Observation), 그리고 신뢰도가 충분하지 않은 상황을 구별해야 한다. 이러한 요구사항은 개방형 어휘 인식(Open-Vocabulary Recognition), 비전-언어 표현(Vision-Language Representation), 신규성 검출(Novelty Detection), 불확실성 인지 추론(Uncertainty-Aware Reasoning)의 필요성을 높인다.
피지컬 AI 인지(Physical AI Perception)는 본질적으로 다중 모달(Multimodal)이어야 한다. 어떠한 단일 센서도 모든 운용 조건에서 충분한 정보를 제공할 수 없기 때문이다. 카메라(Camera)는 외관과 풍부한 의미 정보를 제공하고, 라이다(LiDAR)는 정확한 공간 기하 정보를 제공하며, 레이더(Radar)는 강건한 거리 및 속도 정보를 제공한다. 관성 센서(Inertial Sensor)는 높은 주기로 플랫폼의 움직임을 측정한다. 로봇이 객체와 물리적으로 상호작용하거나 사람 주변에서 동작할 경우 촉각(Tactile), 힘(Force), 토크(Torque), 고유수용감각(Proprioception), 음향(Acoustic) 등의 센서 역시 중요한 역할을 수행할 수 있다.
시간적 이해(Temporal Understanding) 역시 핵심 요구사항이다. 물리적 세계는 지속적으로 변화하므로 로봇은 각각의 센서 프레임(Sensor Frame)을 서로 독립적인 순간 영상으로 처리할 수 없다. 인지 시스템은 객체의 정체성을 지속적으로 유지하고, 궤적(Trajectory)을 추정하며, 변화를 인식하고, 정적 구조(Static Structure)와 동적 객체(Dynamic Agent)를 구별해야 한다. 또한 관측이 일시적으로 불가능해지더라도 유용한 정보를 유지해야 한다. 시간 융합(Temporal Fusion)은 시스템이 개별 측정값으로부터 매번 현실을 다시 구성하는 대신 지속적인 상태(Persistent State)를 추론하도록 한다.
순수한 시각 AI(Visual AI)와 달리 피지컬 AI는 인지(Perception)가 행동(Action)과 긴밀하게 결합되어야 한다. 관측 정보의 중요성은 로봇이 다음에 무엇을 하려는지에 따라 달라진다. 의자(Chair)는 주행 중에는 장애물(Obstacle)이 될 수 있고, 위치 추정(Localization)에서는 랜드마크(Landmark)가 될 수 있으며, 조작 작업에서는 상호작용 대상(Interaction Target)이 될 수 있다. 따라서 인지는 행동과 관련된 정보를 제공하고, 객체가 어디에서 파지(Grasp), 통과(Traverse), 밀기(Push), 열기(Open), 진입(Enter), 회피(Avoid) 또는 기타 물리적 조작이 가능한지를 판단하는 어포던스 추론(Affordance Reasoning)을 지원해야 한다.
3차원 공간 일관성(Three-Dimensional Spatial Consistency)은 행동이 실제 물리 좌표(Physical Coordinates)에서 실행되어야 하기 때문에 특히 중요하다. 의미론적 인식(Semantic Recognition)만으로는 인식된 객체가 위치, 방향, 크기, 기하 구조 및 주변 자유 공간과 연결되지 않는 한 이동이나 조작을 안정적으로 안내할 수 없다. 따라서 피지컬 AI 인지는 이미지 공간 특징(Image-Space Features)과 언어 수준 개념(Language-Level Concepts)을 포인트 클라우드(Point Cloud), 복셀(Voxel), 메시(Mesh), 점유 필드(Occupancy Field), 객체 자세(Object Pose), 장면 그래프(Scene Graph)와 같은 계량적 3차원 표현(Metric 3D Representation)에 연결해야 한다.
인지 시스템은 모든 추정값을 동일하게 신뢰할 수 있는 것으로 제시하는 대신 불확실성(Uncertainty)을 함께 전달해야 한다. 센서 노이즈(Sensor Noise), 가림(Occlusion), 악천후(Adverse Weather), 반사 표면(Reflective Surface), 모션 블러(Motion Blur), 보정 오차 누적(Calibration Drift), 도메인 변화(Domain Shift), 익숙하지 않은 객체는 모두 관측 품질을 저하시킬 수 있다. 신뢰도(Confidence)는 센싱과 추론 단계에서 지도 작성(Mapping), 계획(Planning), 추론(Reasoning), 제어(Control) 단계까지 전달되어야 하며, 이를 통해 하위 시스템이 로봇의 속도를 낮추거나, 다른 시점을 확보하거나, 다른 센서를 선택하거나, 증거가 충분하지 않을 때 안전 대체 동작(Safe Fallback Behavior)을 실행할 수 있어야 한다.
현재 관측만으로 신뢰할 수 있는 의사결정에 필요한 정보가 충분하지 않을 경우 능동 인지(Active Perception)가 필요하다. 로봇은 모호성을 그대로 받아들이는 대신 카메라를 움직이고, 몸체의 위치를 변경하며, 객체에 접근하거나, 특정 영역을 조명하거나, 관측 시점(Viewpoint)을 변경하고, 환경을 물리적으로 탐색할 수 있다. 따라서 인지는 센싱(Sensing)이 행동에 영향을 주고 행동이 의도적으로 다음 센싱의 품질을 향상시키는 폐루프 인지-행동 구조(Closed Perception-Action Loop)의 일부가 되며, 중요한 물리적 상호작용 이전에 불확실성을 감소시킨다.
피지컬 AI는 또한 언어 조건부 인지(Language-Conditioned Perception)를 요구한다. 예를 들어 "적재 구역 근처에 있는 손상된 빨간색 컨테이너를 가져와라"와 같은 명령을 수행하려면 로봇은 언어적 설명(Linguistic Description)을 시각 관측(Visual Observation), 공간 관계(Spatial Relationship), 객체 속성(Object Attribute), 작업 맥락(Task Context)과 연결해야 한다. 비전-언어 모델(Vision-Language Model, VLM)은 광범위한 의미론적 그라운딩(Semantic Grounding)을 제공할 수 있지만, 그 결과는 추상적인 텍스트 설명에 머무르지 않고 궁극적으로 기하학적으로 일관된 객체와 물리적으로 실행 가능한 행동에 연결되어야 한다.
강건한 시스템(Robust System)은 여러 수준의 표현(Multiple Levels of Representation)을 동시에 유지해야 한다. 빠른 기하학적 표현(Geometric Representation)은 충돌 회피(Collision Avoidance)와 로컬 제어(Local Control)를 지원할 수 있고, 객체 수준 표현(Object-Level Representation)은 조작과 추적을 지원할 수 있으며, 의미 지도(Semantic Map)는 작업 맥락을 제공한다. 비전-언어 임베딩(Vision-Language Embedding)은 유연한 인식과 추론을 가능하게 한다. 이러한 표현은 서로 다른 공간적 규모, 갱신 주기, 계산 비용을 가지므로 아키텍처는 어떤 정보를 즉시 처리해야 하고 어떤 정보를 비동기적으로 평가할 수 있는지를 결정해야 한다.
실시간 동작(Real-Time Behavior)은 인지가 제어 루프(Control Loop)에 직접 포함되기 때문에 엄격한 계산 요구사항을 발생시킨다. 고해상도 카메라, 밀집 포인트 클라우드(Dense Point Cloud), 다중 모달 융합(Multimodal Fusion), 파운데이션 모델(Foundation Model), 시간적 추론(Temporal Reasoning)은 엣지 컴퓨팅(Edge Computing)의 가용 자원을 쉽게 초과할 수 있다. 따라서 피지컬 AI 인지는 명시적인 지연시간 예산(Latency Budget), 스케줄링(Scheduling), 하드웨어 가속(Hardware Acceleration), 모델 압축(Model Compression), 선택적 추론(Selective Inference), 비동기 파이프라인(Asynchronous Pipeline), 점진적 성능 저하(Graceful Degradation)를 필요로 하며, 계산 복잡성이 필수적인 안전 관련 환경 인식을 방해하지 않도록 해야 한다.
개별 센서나 알고리즘의 성능이 저하되더라도 인지 시스템은 신뢰성을 유지해야 한다. 여러 센서를 중복하여 사용하는 것만으로는 충분하지 않으며, 다수의 모듈이 서로 연관된 고장 모드(Correlated Failure Mode)를 공유하거나 시스템이 어떤 추정값의 신뢰성이 저하되었는지를 식별하지 못한다면 중복성의 효과는 제한된다. 따라서 센서 상태 모니터링(Sensor-Health Monitoring), 보정 검증(Calibration Validation), 타당성 검사(Plausibility Checking), 교차 모달 일관성 검사(Cross-Modal Consistency Test), 고장 검출 및 격리(Failure Detection and Isolation), 대체 표현(Fallback Representation)을 인지 아키텍처에 통합해야 한다.
실제 배치 환경은 학습 데이터셋(Training Dataset)과 다르고 배치 이후에도 계속 변화하기 때문에 지속적 적응(Continuous Adaptation) 역시 필요하다. 조명, 날씨, 바닥 상태, 객체 외관, 센서 노화(Sensor Aging), 카메라 오염, 시설 배치, 운영 절차의 변화는 지속적인 분포 변화(Distribution Shift)를 발생시킬 수 있다. 피지컬 AI 시스템은 이러한 변화를 감지하고 기존에 검증된 동작을 훼손하지 않으면서 모델 업데이트, 소수 샷 학습(Few-Shot Learning), 지도 유지관리(Map Maintenance), 경험 재생(Experience Replay), 인간 보조 수정(Human-Assisted Correction) 등을 통한 통제된 적응(Controlled Adaptation)을 지원해야 한다.
궁극적인 요구사항은 개별적인 인식 정확도(Recognition Accuracy)를 최대화하는 것이 아니라 신뢰할 수 있는 물리적 의사결정(Physical Decision Making)에 충분한 상황 이해(Situational Understanding)를 확보하는 것이다. 유용한 인지 시스템은 단순히 "무엇이 존재하는가?"뿐만 아니라 "어디에 있는가?", "어떻게 변화하고 있는가?", "로봇이 그것을 이용해 무엇을 할 수 있는가?", "이 추정은 얼마나 확실한가?", "다음에는 무엇을 관측해야 하는가?"라는 질문에도 답할 수 있어야 한다. 이러한 행동 지향적 해석(Action-Oriented Interpretation)이 피지컬 AI 인지를 기존 컴퓨터 비전(Computer Vision)과 구별하며, 센싱을 추론, 계획, 제어 및 체화 지능(Embodied Intelligence)과 직접 연결한다.
09.02. Open Vocabulary Detection GDINO OWL ViT [w/Code]
개방형 어휘 검출(Open-Vocabulary Detection)은 기존 객체 검출(Conventional Object Detection)을 모델 학습 과정에서 정의된 고정된 범주의 집합을 넘어 확장한다. 사람(Person), 자동차(Car), 의자(Chair)와 같은 폐쇄형 어휘(Closed Vocabulary)의 라벨만 예측하는 대신, 검출기는 자연어 개념(Natural-Language Concepts)을 질의(Query)로 받아 이미지에서 해당 영역을 찾는다. 이러한 기능은 익숙하지 않은 객체와 작업별 개념(Task-Specific Concepts)이 존재하는 환경에서 동작해야 하는 피지컬 AI(Physical AI) 시스템에 특히 중요하다.
기존 검출기(Traditional Detector)는 일반적으로 출력 차원이 사전에 정의된 학습 범주와 직접 대응하는 분류 헤드(Classification Head)를 학습한다. 이러한 아키텍처는 배치 환경이 학습 분류 체계(Training Taxonomy)와 일치할 때 효율적으로 동작하지만, 새로운 범주를 추가하려면 일반적으로 추가 라벨 데이터와 재학습(Retraining) 또는 미세조정(Fine-Tuning)이 필요하다. 개방형 어휘 검출은 이러한 경직된 범주 인터페이스를 시각 영역과 텍스트 설명에서 생성된 의미 임베딩(Semantic Embedding)을 비교하는 비전-언어 표현(Vision-Language Representation)으로 대체한다.
핵심 메커니즘은 시각 특징 공간(Visual Feature Space)과 언어 특징 공간(Linguistic Feature Space) 사이의 교차 모달 정렬(Cross-Modal Alignment)이다. 이미지 인코더(Image Encoder)는 후보 객체 또는 공간 영역을 설명하는 표현을 추출하고, 텍스트 인코더(Text Encoder)는 단어나 구문을 의미 벡터(Semantic Vector)로 변환한다. 학습 과정에서는 시각적으로 대응되는 표현과 언어적으로 대응되는 표현이 서로 호환되도록 학습한다. 따라서 추론(Inference) 시 임의의 텍스트 질의가 검출기의 출력 계층을 변경하지 않고 동적으로 제공되는 범주 역할을 수행할 수 있다.
그라운딩 DINO(Grounding DINO), 일반적으로 GDINO라고 부르는 모델은 트랜스포머 기반 객체 검출(Transformer-Based Object Detection)과 그라운딩된 언어 이해(Grounded Language Understanding)를 결합한다. 범주 라벨을 고정된 분류기 인덱스로 처리하는 대신 텍스트 프롬프트(Text Prompt)와 이미지 특징(Image Feature)을 함께 처리하여 언어 토큰(Language Token)을 공간적 객체 후보와 연결한다. 따라서 "빨간 공구함(Red Toolbox)", "손상된 컨테이너(Damaged Container)", "노란색 안전 장벽(Yellow Safety Barrier)"과 같은 구문을 입력받아 해당 설명과 시각적으로 대응하는 바운딩 박스(Bounding Box)를 반환할 수 있다.
GDINO 아키텍처는 트랜스포머 표현(Transformer Representation)과 객체 질의(Object Query)를 포함하여 DETR 계열 검출(DETR-Style Detection)의 중요한 개념을 계승하면서 언어 인식 특징 상호작용(Language-Aware Feature Interaction)을 추가한다. 이미지 특징은 공간적 증거(Spatial Evidence)를 제공하고 텍스트 특징은 시스템이 무엇을 찾아야 하는지를 지정한다. 교차 모달 융합(Cross-Modal Fusion)을 통해 객체 위치 결정이 언어적 맥락에 따라 달라질 수 있으므로 동일한 이미지에서도 프롬프트가 변경되면 서로 다른 검출 결과를 생성할 수 있다. 이를 통해 작업 수준의 의미론적 요구사항(Task-Level Semantic Requirements)에 따라 검출 기능을 직접 구성할 수 있다.
프롬프트 구성(Prompt Formulation)은 개방형 어휘 검출의 동작에 큰 영향을 미친다. 여러 객체 이름이 포함된 질의는 여러 범주를 동시에 요청할 수 있으며, 설명형 구문(Descriptive Phrase)은 의미론적 목표를 더욱 구체화할 수 있다. 그러나 자연어의 유연성이 완벽한 그라운딩(Grounding)을 보장하는 것은 아니다. 모호한 설명, 시각적으로 유사한 객체, 드문 용어, 작은 객체, 심한 가림(Occlusion), 도메인 특화 장비(Domain-Specific Equipment)는 신뢰성을 낮출 수 있으므로 임계값 조정(Threshold Tuning)과 후단의 기하학적 또는 시간적 검증이 필요하다.
OWL-ViT는 비전 트랜스포머(Vision Transformer)와 언어-이미지 임베딩(Language-Image Embedding) 메커니즘을 이용하여 개방형 어휘 검출에 접근한다. 대규모 이미지-텍스트 사전학습(Image-Text Pretraining)을 기반으로 하므로 기존의 고정 범주 분류기 없이도 텍스트 질의를 시각 표현과 비교할 수 있다. 비전 트랜스포머가 인코딩한 이미지 패치(Image Patch)는 객체 위치와 질의 의존적 분류 점수(Query-Dependent Classification Score)를 예측하는 데 사용되며, 의미론적 언어 임베딩과 공간적 검출 사이에 비교적 직접적인 연결을 제공한다.
OWL-ViT의 주요 장점은 추론 시 범주 어휘(Category Vocabulary)를 동적으로 구성할 수 있다는 것이다. 로봇은 이러한 개념이 고정된 배치 범주로 정의되어 있지 않더라도 "소화기(Fire Extinguisher)", "충전 커넥터(Charging Connector)", "플라스틱 보관함(Plastic Storage Bin)" 등을 검색할 수 있다. 유사한 개념을 여러 텍스트 표현으로 기술할 수도 있으므로 애플리케이션은 영구적으로 정의된 하나의 검출기 분류 체계를 유지하는 대신 임무 맥락(Mission Context)에 따라 질의 집합(Query Set)을 구성할 수 있다.
GDINO와 OWL-ViT는 언어 조건부 검출(Language-Conditioned Detection)이라는 원칙을 공유하지만 아키텍처의 세부 구조와 실제 동작 특성에서는 차이가 있다. GDINO는 그라운딩된 텍스트-이미지 특징 상호작용과 트랜스포머 기반 위치 결정에 중점을 두는 반면, OWL-ViT는 비전-언어 임베딩 정렬(Vision-Language Embedding Alignment)과 비전 트랜스포머 표현을 통해 유연성을 확보한다. 따라서 로보틱스(Robotics)에서는 어휘 크기만이 아니라 대상 도메인 정확도(Target-Domain Accuracy), 프롬프트 민감도(Prompt Sensitivity), 추론 지연시간(Inference Latency), 메모리 사용량, 객체 크기, 통합 복잡성 등을 고려하여 모델을 선택해야 한다.
개방형 어휘 검출은 세그멘테이션(Segmentation)과 통합할 때 특히 높은 가치를 제공한다. 검출기가 먼저 텍스트 개념을 하나 이상의 바운딩 박스로 변환한 다음 세그멘테이션 모델이 정확한 객체 마스크(Object Mask)를 추정할 수 있다. 이러한 검출기-세그멘터 파이프라인(Detector-to-Segmenter Pipeline)은 "로봇 옆의 파란색 컨테이너(The Blue Container Beside the Robot)"와 같은 언어 표현을 공간적으로 명확한 이미지 영역으로 변환하고, 이후 깊이 연결(Depth Association), 포인트 클라우드 추출(Point-Cloud Extraction), 자세 추정(Pose Estimation), 파지 계획(Grasp Planning), 장애물 추론(Obstacle Reasoning)을 지원할 수 있다.
피지컬 AI에서는 2차원 바운딩 박스(Two-Dimensional Bounding Box)만으로 최종 표현을 구성하기에는 부족한 경우가 많다. 검출 결과는 깊이(Depth), 3차원 기하 구조(3D Geometry), 로봇 자세(Robot Pose), 시간적 트랙(Temporal Track), 의미 지도(Semantic Map)와 연결되어야 한다. 카메라 검출 결과를 라이다 또는 깊이 측정값에 투영하여 객체 위치를 추정할 수 있으며, 반복적인 관측을 통해 지속적인 객체 정체성(Persistent Identity)을 구성할 수 있다. 이를 통해 일시적인 언어 기반 검출 결과를 계획기와 조작 시스템이 사용할 수 있는 세계 좌표 기반 객체(World-Referenced Entity)로 변환할 수 있다.
개방형 어휘 검출은 언어 명령(Language Instruction)과 체화된 실행(Embodied Execution)을 연결하는 중요한 다리 역할도 한다. 사용자가 "적재 출입구 근처의 손상된 팔레트를 검사하라(Inspect the Damaged Pallet Near the Loading Door)"고 요청하면 언어 모델(Language Model)은 관련 개념과 공간 관계를 추출하고, 검출기는 센서 관측에서 후보 객체를 그라운딩할 수 있다. 이후 장면 이해(Scene Understanding)는 "적재 출입구 근처(Near the Loading Door)"와 같은 관계를 평가하여 언어 기반 작업 명세를 주행 및 상호작용을 위한 물리적으로 의미 있는 목표로 변환할 수 있다.
높은 유연성에도 불구하고 개방형 어휘 검출을 무제한 객체 인식(Unlimited Object Recognition)으로 이해해서는 안 된다. 제로샷 성능(Zero-Shot Performance)은 사전학습 과정에서 획득한 시각-언어 지식에 크게 의존하며, 의미론적 유사성(Semantic Similarity)으로 인해 관련 개념 사이에서 오검출(False Positive)이 발생할 수 있다. 또한 신뢰도 점수(Confidence Score)가 안전 필수 로봇 의사결정에 적합하게 보정되어 있다고 보장할 수 없다. 알려지지 않은 산업용 부품, 특이한 시점, 투명 소재, 시각적으로 반복되는 구조, 전문 용어 등에는 도메인 적응(Domain Adaptation)이나 추가 검증이 필요할 수 있다.
시간적 일관성(Temporal Consistency)은 실제 로봇 배치에서 신뢰성을 크게 향상시킬 수 있다. 단일 프레임 예측은 시점 변화, 모션 블러(Motion Blur), 조명 변화, 부분 가림에 따라 변동할 수 있지만 추적(Tracking)을 이용하면 시간에 따라 검출 증거를 누적할 수 있다. 로봇은 개방형 어휘 점수를 움직임 모델(Motion Model), 깊이 일관성(Depth Consistency), 기하학적 제약(Geometric Constraint), 과거 관측과 결합할 수 있다. 지속적인 불일치가 발생하면 즉시 물리적 행동을 수행하는 대신 재관측(Re-Observation), 대체 프롬프트(Alternative Prompt), 보수적인 의사결정(Conservative Decision)을 실행할 수 있다.
실시간 배치(Real-Time Deployment)에서는 대규모 비전-언어 검출기(Vision-Language Detector)가 상당한 GPU 메모리와 계산 대역폭을 사용할 수 있기 때문에 추가적인 제약이 발생한다. 입력 해상도(Input Resolution), 텍스트 질의 수, 백본 크기(Backbone Size), 정밀도(Precision), 배치 전략(Batching Strategy), 추론 주기(Inference Frequency)는 모두 지연시간에 영향을 준다. 따라서 엣지 시스템(Edge System)은 개방형 어휘 검출을 비교적 낮은 의미 갱신 주기(Semantic Update Rate)로 실행하고, 기존의 경량 인지 시스템은 높은 주기로 장애물 검출, 추적, 점유 추정(Occupancy Estimation), 안전 모니터링을 수행하도록 구성할 수 있다.
따라서 실용적인 피지컬 AI 아키텍처(Physical AI Architecture)는 개방형 어휘 검출을 모든 전문 검출기를 대체하는 기술이 아니라 계층형 인지 시스템(Hierarchical Perception System)의 하나의 구성 요소로 다룬다. 빠른 폐쇄형 모델(Closed-Set Model)은 이미 알려진 안전 필수 범주를 처리하고, GDINO, OWL-ViT 또는 관련 모델은 새로운 개념과 임무 의존적 개념에 대한 유연한 의미 탐색(Semantic Discovery)을 제공할 수 있다. 이러한 출력은 세그멘테이션, 3차원 그라운딩(3D Grounding), 추적, 의미 지도, 비전-언어 모델 추론(VLM Reasoning), 궁극적으로 비전-언어-행동 기반 행동 선택(VLA-Based Action Selection)에 전달될 수 있다.
개방형 어휘 검출의 더 큰 의미는 로봇을 설계하는 시점에 인지 범주(Perception Category)를 완전히 결정할 필요가 없어진다는 데 있다. 언어(Language)는 현재 작업에 중요한 정보가 무엇인지를 동적으로 지정할 수 있으며, 이를 통해 인지 인터페이스(Perceptual Interface)는 명령과 환경 맥락에 따라 변화할 수 있다. 이러한 능력을 기하학적 그라운딩(Geometric Grounding), 불확실성 추정(Uncertainty Estimation), 시간적 추론(Temporal Reasoning), 행동 검증(Action Validation)과 결합하면 고정 목적 로봇 비전(Fixed-Purpose Robot Vision)에서 적응형 피지컬 AI 인지(Adaptable Physical AI Perception)로 전환하기 위한 핵심 기반을 제공한다.
09.03. Vision Language Model VLM Based Scene QA [w/Code]
비전-언어 모델 기반 장면 질의응답(Vision-Language Model based Scene Question Answering)은 로봇 인지를 단순히 눈에 보이는 객체를 인식하는 수준에서 자연어 상호작용을 통해 장면을 해석하는 수준으로 확장한다. VLM은 시각적 관측(Visual Observation)과 텍스트 질문(Textual Question)을 함께 입력받아 관측된 환경에 근거한 답변을 생성한다. 피지컬 AI(Physical AI)에서는 로봇이 주변 환경에 대해 의미론적으로 질의할 수 있도록 하며, 단순히 어떤 객체가 존재하는지뿐만 아니라 객체가 어디에 있는지, 서로 어떤 관계를 가지는지, 현재 작업에 중요한지를 판단할 수 있도록 한다.
일반적인 장면 질의응답(Scene QA) 파이프라인은 하나 이상의 카메라 관측(Camera Observation)을 시각 인코더(Visual Encoder)로 처리하면서 시작한다. 생성된 시각 특징(Visual Feature)은 다중 모달 모델(Multimodal Model) 내부에서 언어 표현(Language Representation)과 정렬되거나 융합되며, 이를 통해 텍스트 토큰(Text Token)이 관련 이미지 영역에 주의를 집중할 수 있다. "통로를 막고 있는 것은 무엇인가?", "로봇에서 가장 가까운 컨테이너는 어느 것인가?", "적재 구역이 비어 있는가?"와 같은 질문은 원시 인지 데이터(Raw Perception)를 작업 지향적 의미 질의(Task-Oriented Semantic Query)로 변환하여 추론과 행동을 지원할 수 있다.
시각 인코더(Visual Encoder)는 객체, 속성, 공간 구조, 장면 맥락에 관한 정보를 포함하는 압축된 특징 표현(Compact Feature Representation)으로 이미지 내용을 변환한다. VLM 아키텍처에 따라 이러한 특징은 비전 트랜스포머(Vision Transformer), 대조 학습 방식으로 사전학습된 비전 인코더(Contrastively Pretrained Vision Encoder), 또는 기타 파운데이션 모델(Foundation Model) 구성요소에서 생성될 수 있다. 프로젝션 계층(Projection Layer)이나 다중 모달 어댑터(Multimodal Adapter)는 일반적으로 시각 특징을 언어 모델과 효과적으로 상호작용할 수 있는 표현으로 변환하며, 언어 모델은 질문을 해석하고 답변을 생성한다.
장면 질의응답(Scene QA)은 요구되는 출력이 질문에 따라 동적으로 결정된다는 점에서 기존 이미지 분류(Image Classification)와 근본적으로 다르다. 동일한 창고 이미지에 대해서도 장애물, 장비, 색상, 공간 관계, 안전 상태 또는 잠재적인 상호작용 대상에 대해 질문할 수 있다. 사전에 정의된 하나의 라벨 집합을 출력하는 대신 모델은 언어적 맥락에 따라 시각적 증거를 해석한다. 따라서 각각의 의미론적 질문에 대해 별도의 전용 분류기를 설계하지 않고도 변화하는 임무 요구사항에 맞게 인지를 유연하게 구성할 수 있다.
로봇 분야에서 공간 추론(Spatial Reasoning)은 장면 질의응답의 가장 중요한 기능 가운데 하나이다. "왼쪽에 있는", "뒤에 있는", "안에 있는", "가장 가까운", "사이에 있는"과 같은 관계를 포함하는 질문은 개별 객체를 인식하는 것 이상의 능력을 요구한다. 시스템은 객체들 사이의 관계를 이해해야 하며, 이상적으로는 이미지 공간(Image Space)의 추론 결과를 계량적 기하 정보(Metric Geometry)와 연결해야 한다. 따라서 정확한 물리적 거리와 좌표가 필요한 경우 깊이 카메라(Depth Camera), 라이다(LiDAR), 객체 자세(Object Pose), 점유 지도(Occupancy Map), 3D 장면 표현(3D Scene Representation) 등이 VLM 출력 결과를 보완할 수 있다.
장면 질의응답은 관계적 이해(Relational Understanding)와 기능적 이해(Functional Understanding)도 제공할 수 있다. 로봇은 문이 열려 있는지, 팔레트가 통로를 막고 있는지, 컨테이너가 손상된 것처럼 보이는지, 또는 특정 작업에 사용할 수 있는 객체가 무엇인지 질문할 수 있다. 이러한 질문은 시각적 의미론(Visual Semantics)을 상태(State), 관계(Relationship), 잠재적 어포던스(Affordance)와 연결한다. 이는 피지컬 AI에서 특히 중요하다. 성공적인 행동은 인식된 객체가 주행(Navigation), 조작(Manipulation), 검사(Inspection), 인간의 명령(Human Instruction)에 어떤 영향을 미치는지를 이해하는 데 달려 있기 때문이다.
질문이 정적인 외관이 아니라 사건(Event)에 관한 것이라면 시간적 맥락(Temporal Context)이 중요해진다. 로봇은 객체가 이동했는지, 사람이 제한 구역에 들어왔는지, 이전에는 비어 있던 경로가 장애물로 막혔는지를 판단해야 할 수 있다. 이러한 질문에 개별 이미지만을 처리해서는 신뢰성 있게 답하기 어렵다. 따라서 장면 질의응답은 변화하는 환경을 추론할 때 객체 추적(Object Tracking), 최근 관측(Recent Observation), 사건 이력(Event History), 시간적으로 집계된 시각 특징(Temporally Aggregated Visual Feature) 등을 통합해야 한다.
VLM은 특화된 인지 모듈(Specialized Perception Module)을 대체하기보다는 그 위에서 동작하는 의미론적 인터페이스(Semantic Interface) 역할을 할 수 있다. 고주기 객체 검출(High-Frequency Detection), 세그멘테이션(Segmentation), 깊이 추정(Depth Estimation), 추적(Tracking), 점유 지도 생성(Occupancy Mapping)은 계속해서 구조화된 환경 정보를 생성하고, VLM은 선택된 관측 정보를 더 높은 수준의 의미론적 관점에서 해석할 수 있다. 이러한 계층형 아키텍처(Hierarchical Architecture)는 결정론적 기하 처리(Deterministic Geometric Processing)와 유연한 언어 추론(Language Reasoning)을 결합하며, 계산 비용이 높은 VLM이 모든 인지 작업을 제어 루프(Control Loop)의 주기로 수행해야 하는 문제를 피할 수 있다.
그라운딩(Grounding)은 매우 중요하다. 언어적으로 그럴듯한 답변이 반드시 물리적으로 정확한 것은 아니기 때문이다. VLM이 "문 옆의 빨간 컨테이너가 경로를 막고 있다"고 답한다면, 로봇은 이상적으로 "빨간 컨테이너", "문", "경로"라는 표현을 식별 가능한 공간 객체(Spatial Entity)와 연결할 수 있어야 한다. 객체 검출(Object Detection), 개방형 어휘 모델(Open-Vocabulary Model), 세그멘테이션, 깊이 센싱(Depth Sensing), 장면 그래프(Scene Graph)는 명시적인 그라운딩을 제공하여 언어 수준의 결론이 측정 가능한 환경 증거와 연결되도록 할 수 있다.
환각(Hallucination)은 장면 질의응답을 피지컬 AI에 사용할 때의 중요한 한계이다. VLM은 센서 데이터에 해당 증거가 존재하지 않거나 모호한 상황에서도 일반적인 지식이나 언어적 패턴과 일치하는 답변을 생성할 수 있다. 이러한 현상은 일반적인 시각 질의응답에서는 불편한 문제일 수 있지만 로봇에서는 잠재적으로 위험할 수 있다. 따라서 아키텍처는 관측된 사실(Observed Fact), 추론된 관계(Inferred Relationship), 불확실한 해석(Uncertain Interpretation), 현재 관측으로 판단할 수 없는 정보(Undeterminable Information)를 구분해야 한다.
따라서 신뢰도 관리(Confidence Management)는 장면 질의응답 과정에 통합되어야 한다. 시스템은 확정적인 답변만 강제하는 대신 "보이지 않음(Not Visible)", "불확실함(Uncertain)", "추가 관측 필요(Additional Observation Required)"와 같은 결과를 허용해야 한다. 이러한 결과는 카메라를 이동하거나, 대상에 접근하거나, 관측 시점을 변경하거나, 다른 센서 측정을 요청하는 능동 인지(Active Perception)를 유발할 수 있다. 이때 장면 질의응답은 단방향 질문-답변 인터페이스가 아니라 인지-행동 루프(Perception-Action Loop)의 일부가 된다.
언어 질문(Language Question)은 인간, 플래너(Planner), 자율 에이전트(Autonomous Agent), VLA 시스템(VLA System)으로부터 생성될 수 있다. 인간 작업자는 "충전 스테이션 앞에 무엇이 있는가?"라고 질문할 수 있으며, 플래너는 내부적으로 "현재 자세에서 목표 객체를 파지할 수 있는가?"라고 질문할 수 있다. 자율 추론 모듈(Autonomous Reasoning Module) 역시 행동을 선택하기 전에 불확실성을 해결하기 위한 중간 질문(Intermediate Question)을 생성할 수 있다. 따라서 장면 질의응답은 서로 다른 시스템 구성요소가 인지 시스템에 작업 관련 정보를 요청할 수 있는 공통 의미 인터페이스(Common Semantic Interface)를 제공한다.
효율적인 배치(Efficient Deployment)를 위해서는 의미론적 추론 주기(Semantic Reasoning Frequency)와 안전 필수 센싱 주기(Safety-Critical Sensing Frequency)를 분리해야 한다. 대규모 VLM은 상당한 GPU 메모리, 대역폭, 추론 시간을 요구할 수 있지만 장애물 회피(Obstacle Avoidance)와 모션 제어(Motion Control)는 일반적으로 훨씬 빠른 갱신 주기를 요구한다. 실용적인 피지컬 AI 플랫폼은 경량 인지(Lightweight Perception)를 지속적으로 실행하면서 의미론적 해석이 필요한 경우에 장면 질의응답을 호출할 수 있다. 캐시된 시각 임베딩(Cached Visual Embedding), 영역 선택(Region Selection), 축소된 이미지 해상도(Reduced Image Resolution), 사건 기반 추론(Event-Triggered Inference)을 활용하면 계산 부하를 더욱 줄일 수 있다.
장면 질의응답은 지속적인 세계 표현(Persistent World Representation)과 연결될 때 더욱 강력해진다. 현재 카메라 이미지에서만 답변하는 대신 VLM은 의미 지도(Semantic Map), 객체 메모리(Object Memory), 장면 그래프(Scene Graph), 추적된 객체 정체성(Tracked Identity), 과거에 관측된 상태(Previously Observed State)에 접근할 수 있다. 이를 통해 현재 시야 밖에 있는 객체에 관한 질문에도 답할 수 있으며, 저장된 정보가 여전히 유효하다는 조건이 필요하다. 이러한 구조는 장면 질의응답을 단순한 이미지 질의응답에서 체화된 세계 모델(Embodied World Model)에 대한 질의 기반 접근(Query-Based Access)으로 확장한다.
주행(Navigation) 및 조작(Manipulation)과의 통합은 장면 질의응답 결과를 실제 운용 의사결정(Operational Decision)으로 변환한다. 시스템이 요청된 컨테이너가 장애물 뒤에 있다고 판단하면 플래너는 대체 접근 경로(Alternative Approach Path)를 선택할 수 있다. 조작 질의 결과 현재 보이는 객체의 면이 적절한 파지에 적합하지 않다고 판단되면 능동 인지는 다른 관측 시점을 탐색할 수 있다. 따라서 의미론적 답변은 참조된 객체, 신뢰도, 공간 정보가 하위 행동 모듈(Downstream Action Module)에서 사용될 수 있을 때 비로소 실질적인 가치가 발생한다.
강건한 아키텍처(Robust Architecture)는 중요한 VLM 결론을 가능한 경우 독립적인 인지 증거(Independent Perception Evidence)로 검증해야 한다. 객체의 존재 여부는 검출(Object Detection)로 확인할 수 있고, 공간 관계는 기하 정보(Geometry), 움직임은 추적(Tracking), 자유 공간은 점유 추정(Occupancy Estimation)을 통해 검증할 수 있다. 이러한 교차 검증(Cross-Checking)은 제약 없는 언어 생성(Unconstrained Language Generation)에 대한 의존도를 줄이고, VLM의 유연성을 활용하면서도 신뢰할 수 있는 로봇 운용에 필요한 측정 가능한 구조(Measurable Structure)를 유지할 수 있도록 한다.
궁극적으로 VLM 기반 장면 질의응답(VLM-Based Scene QA)은 피지컬 AI에 환경 이해(Environmental Understanding)에 접근할 수 있는 언어 기반 계층(Language-Accessible Layer)을 제공한다. 이를 통해 인지는 사전에 정의된 출력만 제공하는 것이 아니라 로봇의 현재 목표에 따라 질의될 수 있다. 장면 질의응답을 그라운딩, 3차원 기하(3D Geometry), 시간적 메모리(Temporal Memory), 불확실성 처리(Uncertainty Handling), 능동 인지, 실시간 특화 모듈(Specialized Real-Time Module)과 결합하면 다중 모달 센싱(Multimodal Sensing)을 추론(Reasoning), 계획(Planning), 인간과의 의사소통(Human Communication), 체화된 행동(Embodied Action)으로 연결하는 실용적인 가교 역할을 수행할 수 있다.
09.04. Affordance Perception for Manipulation [w/Code]
어포던스 인지(Affordance Perception)는 로봇 인지(Robot Perception)의 범위를 객체가 무엇인지 식별하는 것에서 객체를 통해 무엇을 물리적으로 할 수 있는지를 추정하는 것으로 확장한다. 조작(Manipulation)에서 컵, 상자, 손잡이 또는 문을 인식하는 것은 첫 번째 단계에 불과하다. 로봇은 또한 객체를 잡을 수 있는지, 밀 수 있는지, 당길 수 있는지, 열 수 있는지, 삽입할 수 있는지, 들어 올릴 수 있는지 또는 다른 방식으로 상호작용할 수 있는지를 판단해야 한다. 따라서 어포던스 인지는 시각적 이해(Visual Understanding)를 실제로 실행 가능한 행동(Physically Executable Action)과 연결하고 인지(Perception), 조작 계획(Manipulation Planning), 제어(Control) 사이에 의미론적 계층(Semantic Layer)을 제공한다.
어포던스(Affordance)는 객체, 객체의 기하 구조(Geometry), 물리적 특성(Physical Properties), 로봇의 신체 구조(Robot Embodiment), 현재 환경(Current Environment) 사이의 관계에서 발생하는 행동 가능성(Action Possibility)을 의미한다. 동일한 객체도 로봇과 작업에 따라 서로 다른 어포던스를 제공할 수 있다. 예를 들어 손잡이(Handle)는 한 매니퓰레이터(Manipulator)에게는 당기기(Pulling)를 지원할 수 있지만, 다른 로봇은 해당 손잡이에 도달하지 못하거나 충분한 힘을 생성하지 못할 수 있다. 따라서 어포던스 인지는 객체의 정체성(Object Identity)뿐만 아니라 접근 가능성(Accessibility), 도달 가능성(Reachability), 파지 가능성(Graspability), 방향(Orientation), 작업 맥락(Task Context)까지 고려해야 한다.
일반적인 객체 검출기(Object Detector)는 보통 객체의 범주(Category)와 바운딩 박스(Bounding Box)를 출력하지만, 어포던스 인지는 행동과 관련된 공간 정보(Action-Relevant Spatial Information)를 출력한다. 단순히 문(Door)을 인식하는 대신 시스템은 손잡이(Handle)를 파지 가능한 영역(Graspable Region)으로 식별하고 적절한 당김 방향(Pulling Direction)을 추정할 수 있다. 컨테이너(Container)의 경우에도 파지에 적합한 표면과 접촉해서는 안 되는 영역을 구별할 수 있다. 이와 같이 인지는 수동적인 인식(Passive Recognition)에서 관측된 환경과 로봇이 어떻게 상호작용할 수 있는지를 해석하는 과정으로 확장된다.
어포던스 표현(Affordance Representation)은 여러 수준의 추상화(Level of Abstraction)로 표현될 수 있다. 거친 수준의 표현(Coarse Representation)은 객체를 파지 가능(Graspable), 밀기 가능(Pushable), 이동 가능(Movable), 사용 불가능(Unusable) 등으로 분류할 수 있다. 보다 상세한 표현은 픽셀 수준 어포던스 맵(Pixel-Level Affordance Map), 키포인트(Keypoint), 접촉 영역(Contact Region), 표면 법선(Surface Normal), 파지 자세(Grasp Pose), 접근 방향(Approach Direction), 행동 조건부 기하 특징(Action-Conditioned Geometric Feature) 등을 식별할 수 있다. 조작 시스템에서는 이러한 표현이 궁극적으로 후보 엔드이펙터 자세(Candidate End-Effector Pose)와 이동 궤적(Motion Trajectory)으로 변환될 수 있는 정보를 제공해야 한다.
시각적 어포던스 인지(Visual Affordance Perception)는 일반적으로 RGB 이미지와 깊이(Depth) 또는 3차원 센싱(3D Sensing)을 결합한다. 외관 정보(Appearance)는 객체의 정체성, 재질(Material), 의미론적 맥락(Semantic Context)에 관한 정보를 제공하는 반면, 깊이 정보는 표면, 거리, 접근 방향을 추정하는 데 필요한 기하 정보를 제공한다. 포인트 클라우드(Point Cloud)나 재구성된 메시(Reconstructed Mesh)는 충돌 경계(Collision Boundary)와 접촉 표면(Contact Surface)을 추가로 식별할 수 있다. 의미 정보와 기하 정보를 결합하는 것은 단순히 장면을 설명하는 것이 아니라 정밀한 조작을 수행해야 하는 경우 특히 중요하다.
어포던스와 객체 기하 구조(Object Geometry)의 관계는 매우 중요하다. 파지 가능한 영역은 엔드이펙터(End Effector)에 적합한 크기, 형태, 여유 공간(Clearance), 방향을 가져야 한다. 밀기 가능한 표면은 안정적인 접촉(Stable Contact)을 가능하게 하고 로봇이 충분히 접근할 수 있어야 한다. 어떤 개구부(Opening)는 특정 방향에서만 통과 가능할 수 있으며, 손잡이는 특정 접근 방향을 요구할 수 있다. 따라서 어포던스 인지는 객체 수준의 의미론적 라벨(Semantic Label)에만 의존하지 않고 국부적인 기하 구조(Local Geometric Structure)를 표현해야 한다.
어포던스는 또한 작업 목표(Task Objective)에 의해 조건화된다. 동일한 객체가 여러 가지 가능한 행동을 제공할 수 있지만, 현재 목표와 관련된 것은 그중 일부일 수 있다. 상자는 잡기(Grasp), 밀기(Push), 열기(Open), 쌓기(Stack), 검사(Inspect) 등이 가능하지만 적절한 행동은 작업 명세(Task Specification)에 따라 달라진다. 피지컬 AI(Physical AI) 시스템은 따라서 인지를 작업 맥락 및 언어 명령(Language Instruction)과 결합하여 현재 목표에 직접 기여하는 행동 가능성을 우선적으로 평가해야 한다.
언어(Language)는 어포던스 인지를 위한 추가적인 의미론적 인터페이스(Semantic Interface)를 제공할 수 있다. "손잡이를 잡아라(Pick Up the Handle)", "캐비닛을 열어라(Open the Cabinet)", "객체를 컨테이너 안에 넣어라(Place the Object Inside the Container)"와 같은 명령은 특정한 상호작용 요구사항(Interaction Requirement)을 포함한다. 비전-언어 모델(Vision-Language Model)은 이러한 명령을 해석하고 이를 검출된 객체 및 영역과 연결할 수 있으며, 기하 인지(Geometric Perception)는 제안된 상호작용이 물리적으로 가능한지를 판단한다. 이를 통해 언어 조건부 목표(Language-Conditioned Goal)에서 실제 조작 행동(Grounded Manipulation Action)으로 연결되는 경로가 형성된다.
어포던스 인지는 불확실성(Uncertainty)을 고려해야 한다. 작은 인지 오차도 조작 실패(Manipulation Failure)를 초래할 수 있기 때문이다. 가림(Occlusion)은 파지 지점을 숨길 수 있고, 반사 표면(Reflective Surface)은 깊이 측정을 손상시킬 수 있으며, 특이한 객체 구성(Unusual Object Configuration)은 행동 영역에 대한 모호성을 발생시킬 수 있다. 따라서 하나의 확정적인 어포던스를 출력하기보다 시스템은 신뢰도(Confidence)를 추정하고 여러 후보 상호작용 가설(Candidate Interaction Hypothesis)을 생성할 수 있다. 이후 조작 계획(Manipulation Planning)은 도달 가능성, 충돌 제약(Collision Constraint), 힘 제한(Force Limit), 작업 성공 조건(Task Success Criterion)을 이용하여 이러한 후보를 평가할 수 있다.
시간 정보(Temporal Information)는 객체의 상태 변화에 따라 어포던스가 달라지는 경우 유용하다. 닫혀 있는 문은 열린 이후 통과 가능한 상태가 될 수 있으며, 움직이는 객체는 더 이상 안정적인 파지 위치를 제공하지 않을 수 있다. 로봇은 추적(Tracking)과 연속적인 관측(Sequential Observation)을 사용하여 상호작용 표면이 정지 상태인지, 객체가 이동했는지, 환경이 이전 어포던스 추정과 일관된 상태를 유지하고 있는지를 판단할 수 있다. 이를 통해 동적인 환경에서 더욱 안전한 조작이 가능해진다.
어포던스 인지는 독립적인 분류 모듈(Isolated Classification Module)로 동작하기보다는 파지 계획(Grasp Planning)과 모션 계획(Motion Planning)에 통합되어야 한다. 인지는 파지 가능한 영역이나 상호작용 지점(Interaction Point)을 제안하고, 파지 계획은 후보 엔드이펙터 구성(Candidate End-Effector Configuration)을 생성하며, 모션 계획은 해당 구성이 충돌 없이 도달 가능한지를 판단할 수 있다. 이렇게 얻어진 실행 가능성 정보(Feasibility Information)는 다시 인지 시스템으로 전달되어 최초에 선택된 어포던스를 실행할 수 없는 경우 다른 상호작용 영역을 재평가하도록 할 수 있다.
피지컬 AI에서 어포던스 인지는 학습 기반 조작(Learning-Based Manipulation)을 위한 중간 표현(Intermediate Representation)으로도 활용될 수 있다. 원시 이미지(Raw Image)를 모터 명령(Motor Command)에 직접 연결하는 대신 시스템은 관측(Observation), 어포던스(Affordance), 행동(Action) 사이의 구조화된 관계를 학습할 수 있다. 시연 데이터(Demonstration Data)나 상호작용 데이터(Interaction Data)를 통해 어떤 시각적 패턴이 성공적인 잡기, 열기, 밀기, 삽입과 관련되는지를 학습할 수 있다. 이러한 중간 표현은 해석 가능성(Interpretability)을 높이고 동일한 인지 지식이 여러 하위 조작 정책(Manipulation Policy)을 지원하도록 할 수 있다.
강건한 어포던스 인지(Robust Affordance Perception)는 로봇의 신체 구조와 물리적 능력(Physical Capability)을 통합해야 한다. 시스템은 엔드이펙터의 크기와 작업 공간(Workspace), 관절 제한(Joint Limit), 사용 가능한 힘과 토크(Force and Torque), 충돌 형상(Collision Geometry), 관련 접촉 제약(Contact Constraint)을 알고 있어야 한다. 이론적으로는 관측 가능한 어포던스라도 로봇이 해당 위치에 도달할 수 없거나 충분한 힘을 생성할 수 없거나 안전한 방향에서 접근할 수 없다면 실제로는 사용할 수 없다. 따라서 어포던스는 단순한 객체의 의미론적 속성이 아니라 실행 가능한 상호작용 가능성(Feasible Interaction Possibility)으로 이해해야 한다.
궁극적으로 어포던스 인지는 장면 이해(Scene Understanding)와 물리적 조작(Physical Manipulation)을 연결하는 핵심적인 다리 역할을 한다. 이는 객체와 표면을 기하 구조, 작업 요구사항, 로봇의 능력, 불확실성, 환경 제약에 따라 평가할 수 있는 잠재적인 상호작용 기회(Interaction Opportunity)로 변환한다. 어포던스 인지를 언어 이해(Language Understanding), 3차원 인지(3D Perception), 파지 계획, 모션 계획, 피드백 제어(Feedback Control)와 통합하면 피지컬 AI 시스템은 단순히 세계를 인식하는 수준을 넘어 자신이 그 세계 안에서 어떻게 물리적으로 행동할 수 있는지를 이해하는 단계로 발전할 수 있다.
09.05. Semantic Goal Specification from Language [w/Code]
언어로부터의 의미론적 목표 명세(Semantic Goal Specification from Language)는 피지컬 AI(Physical AI) 시스템이 자연어(Natural Language)로 표현된 인간의 지시를 인지(Perception), 계획(Planning), 행동(Action) 모듈이 해석할 수 있는 구조화된 목표(Structured Objective)로 변환할 수 있도록 한다. 모든 로봇 작업을 고정된 프로그램이나 사전에 정의된 명령 식별자(Predefined Command Identifier)로 지정하는 대신, 시스템은 "적재 구역 근처의 손상된 컨테이너를 검사하라(Inspect the damaged container near the loading area)"와 같은 설명을 받아 관련 객체, 속성, 공간 관계, 원하는 결과, 실행에 필요한 제약 조건을 추출할 수 있다.
언어 명령(Language Instruction)은 일반적으로 단순한 행동 동사(Action Verb) 이상의 정보를 포함한다. 객체, 객체의 속성, 목적지, 공간 관계, 시간 조건(Temporal Condition), 예상되는 최종 상태(Expected Final State) 등을 설명할 수 있다. 따라서 강건한 목표 명세(Goal Specification) 과정은 행동(Action), 대상(Target), 위치(Location), 관계(Relation), 제약 조건(Constraint), 성공 조건(Success Condition)과 같은 개념을 구분해야 한다. 이렇게 생성된 표현은 원래 명령의 의미를 유지하면서 하위 로봇 모듈(Downstream Robotic Module)이 일관되게 처리할 수 있는 정보로 변환되어야 한다.
첫 번째 단계는 명령에 대한 의미론적 파싱(Semantic Parsing)이다. 언어 모델(Language Model)은 명령에서 중요한 개체와 관계를 식별하고 이를 구조화된 의미 요소(Structured Semantic Element)로 변환할 수 있다. 예를 들어 "충전 스테이션 옆의 파란색 컨테이너를 검사 구역으로 이동하라(Move the blue container beside the charging station to the inspection area)"라는 명령에는 행동, 객체 범주, 색상 속성, 공간적 참조, 목적지가 포함되어 있다. 이러한 요소는 자연어 의사소통(Natural-Language Communication)과 기계가 해석할 수 있는 작업 명세(Machine-Interpretable Task Specification)를 연결하는 다리를 제공한다.
목표 명세(Goal Specification)는 반드시 물리적 환경(Physical Environment)에 그라운딩(Grounding)되어야 한다. 언어 모델은 "파란색 컨테이너(Blue Container)"라는 개념을 식별할 수 있지만, 로봇은 그 개념을 인지 시스템이 검출한 실제 객체와 연결해야 한다. 개방형 어휘 검출(Open-Vocabulary Detection), 장면 이해(Scene Understanding), 객체 추적(Object Tracking), 의미 지도(Semantic Map), 3차원 그라운딩(3D Grounding)은 언어 수준의 개체를 물리적 객체와 연결할 수 있다. 이러한 그라운딩 과정은 의미론적 목표가 측정 가능한 환경 상태와 연결되지 않은 추상적인 명령으로 남는 것을 방지한다.
공간 언어(Spatial Language)는 이동 로봇과 조작 로봇 모두에서 특히 중요하다. "문 근처에 있는(Near the Door)", "팔레트 뒤에 있는(Behind the Pallet)", "보관 구역 안에 있는(Inside the Storage Area)", "로봇의 왼쪽에 있는(To the Left of the Robot)"과 같은 표현은 절대 좌표(Absolute Coordinate)가 아니라 관계(Relationship)를 설명한다. 목표 명세 계층(Goal Specification Layer)은 이러한 관계를 공간 표현(Spatial Representation)에 대해 평가할 수 있는 제약 조건으로 변환해야 한다. 작업에 따라 이러한 제약은 카메라 관측(Camera Observation), 깊이 정보(Depth Information), 포인트 클라우드(Point Cloud), 위치 추정(Localization) 데이터, 점유 지도(Occupancy Map), 의미론적 장면 그래프(Semantic Scene Graph)를 이용하여 해결할 수 있다.
의미론적 목표(Semantic Goal)는 단순히 즉각적인 행동만이 아니라 원하는 상태(Desired State)도 표현해야 한다. "캐비닛을 열어라(Open the Cabinet)"는 캐비닛이 닫힌 상태(Closed State)에서 열린 상태(Open State)로 전환되어야 함을 의미한다. "상자를 테이블 위에 놓아라(Place the Box on the Table)"는 상자가 적절한 위치에 있고 허용 가능한 방향(Orientation)을 가지며 안정적으로 지지되는 상태(Stable Support)에 도달해야 함을 의미한다. 목표를 원하는 세계 상태(Desired World State)로 표현하면 계획 및 실행 모듈이 행동 명령이 내려졌다는 사실만으로 성공을 가정하지 않고 실제 목표가 달성되었는지를 판단할 수 있다.
작업 제약 조건(Task Constraint)은 의미론적 목표 명세의 또 다른 핵심 요소이다. 명령은 특정 영역을 피하거나, 사람과 안전 거리를 유지하거나, 특정 객체를 사용하거나, 객체의 방향을 유지하거나, 지정된 영역 안에서 작업을 완료해야 한다는 요구사항을 명시적 또는 암묵적으로 포함할 수 있다. 이러한 제약 조건은 주요 목표(Primary Objective)와 별도로 표현하여 플래너(Planner)가 궤적 생성(Trajectory Generation), 조작 계획(Manipulation Planning), 실행 모니터링(Execution Monitoring) 과정에서 이를 반영할 수 있도록 해야 한다.
모호성(Ambiguity)은 명시적으로 처리되어야 한다. "저기에 있는 컨테이너를 가져와라(Bring the Container Over There)"와 같은 표현은 주변 맥락을 공유하는 인간에게는 이해될 수 있지만 로봇에게는 충분하지 않을 수 있다. 시스템은 누락된 참조(Missing Reference)를 식별하고 환경 맥락(Environmental Context), 이전 대화(Previous Dialogue), 저장된 세계 상태(Stored World State), 추가 인지(Additional Perception)를 이용하여 해결할 수 있는지를 판단해야 한다. 상당한 모호성이 남아 있다면 로봇은 임의의 해석을 조용히 선택하는 대신 사용자에게 명확한 설명을 요청할 수 있어야 한다.
따라서 의미론적 목표 명세는 필요한 경우 불확실성(Uncertainty)을 유지해야 한다. 여러 객체가 "빨간 상자(Red Box)"라는 설명을 만족한다면 시스템은 여러 후보를 유지하고 하위 추론(Downstream Reasoning)이 이를 평가하도록 할 수 있다. 신뢰도 값(Confidence Value), 대안적 해석(Alternative Interpretation), 해결되지 않은 참조(Unresolved Reference)는 목표 표현(Goal Representation)의 일부가 될 수 있다. 이러한 방식은 불확실한 언어 해석을 잘못된 물리적 행동으로 이어질 수 있는 하나의 결정론적 대상(Deterministic Target)으로 강제로 변환하는 것보다 적절하다.
목표 표현(Goal Representation)은 인지 및 계획과 자연스럽게 연결되어야 한다. 인지는 의미론적 설명을 만족하는 물리적 개체(Physical Entity)를 결정하고, 계획은 지정된 목표를 달성하기 위해 로봇이 수행할 수 있는 방법을 결정한다. 주행(Navigation)의 경우 목표는 목표 자세(Target Pose) 또는 의미론적 목적지(Semantic Destination)가 될 수 있다. 조작(Manipulation)의 경우 객체, 어포던스(Affordance), 파지 요구사항(Grasp Requirement), 원하는 최종 상태(Desired Final State)로 변환될 수 있다. 검사(Inspection)의 경우 작업이 완료되었다고 판단하기 전에 관측해야 하는 객체와 필요한 관측 정보(Required Observation)를 지정할 수 있다.
복잡한 피지컬 AI 작업에서는 계층적 목표(Hierarchical Goal)가 유용하다. "적재 구역을 검사할 수 있도록 준비하라(Prepare the Loading Area for Inspection)"와 같은 상위 수준 명령(High-Level Instruction)은 장애물 찾기, 특정 객체 이동, 장비 점검, 필요한 영역의 접근 가능 여부 확인 등 여러 하위 목표(Subgoal)를 포함할 수 있다. 의미론적 플래너(Semantic Planner)는 상위 목표를 실행 가능한 하위 목표로 분해하면서 그 사이의 의존 관계(Dependency)를 유지할 수 있다. 이를 통해 언어 수준의 의도(Language-Level Intent)와 하위 수준의 로봇 행동(Lower-Level Robotic Behavior) 사이에 구조화된 연결이 형성된다.
언어 기반 목표(Language-Based Goal)는 물리적 세계로부터의 피드백(Physical World Feedback)과 결합될 수도 있다. 실행 과정에서 인지 시스템이 예상했던 객체가 사라졌거나, 장애물이 나타났거나, 의도한 조작이 실행 불가능하다는 사실을 발견할 수 있다. 시스템은 이에 따라 의미론적 작업 상태(Semantic Task State)를 업데이트하고 관련 하위 목표를 재검토해야 한다. 이러한 구조는 언어가 목표를 지정하고, 인지가 현재 상태를 평가하며, 계획이 행동을 선택하고, 실행 피드백이 목표 표현을 업데이트해야 하는지를 결정하는 폐루프 아키텍처(Closed-Loop Architecture)를 형성한다.
언어에서 파생된 목표가 물리적 행동을 제어할 경우 안전성(Safety)은 특히 중요하다. 의미론적으로 유효한 명령이라도 안전하지 않거나 물리적으로 실행 불가능한 작업을 의미할 수 있다. 따라서 실행 전에 목표는 로봇의 능력(Robot Capability), 작업 공간 제한(Workspace Limit), 충돌 제약(Collision Constraint), 환경 위험(Environmental Hazard), 안전 정책(Safety Policy)에 대해 검증되어야 한다. 높은 수준의 언어 해석(High-Level Language Interpretation)이 하위 수준의 안전 메커니즘을 우회해서는 안 되며, 의미론적 목표는 검증된 계획 및 제어 계층(Validated Planning and Control Layer)의 적용을 받는 제약된 목표(Constrained Objective)로 변환되어야 한다.
궁극적으로 언어로부터의 의미론적 목표 명세(Semantic Goal Specification from Language)는 인간의 의도(Human Intent)와 체화된 로봇 지능(Embodied Robotic Intelligence) 사이의 인터페이스를 제공한다. 사람은 유연한 자연어를 사용하여 원하는 결과를 설명할 수 있으며, 로봇은 이러한 설명을 그라운딩된 객체(Grounded Object), 공간 관계(Spatial Relationship), 제약 조건(Constraint), 상태(State), 실행 가능한 하위 목표(Executable Subgoal)로 변환할 수 있다. 이를 인지, 개방형 어휘 이해(Open-Vocabulary Understanding), 어포던스 추정(Affordance Estimation), 계획, 세계 모델(World Model), 피드백 제어(Feedback Control)와 통합하면 언어는 단순한 명령 채널(Command Channel)을 넘어 로봇이 물리적 세계에서 무엇을 달성해야 하는지를 지정하는 구조화된 메커니즘(Structured Mechanism)이 된다.
09.06. Action Conditional Perception Prediction [w/Code]
행동 조건부 인지 예측(Action-Conditional Perception Prediction)은 로봇 인지를 현재 환경을 설명하는 수준에서 특정한 미래 행동에 따라 무엇을 관측하게 될지를 예측하는 수준으로 확장한다. 기존 인지(Conventional Perception)는 센서 관측으로부터 현재 상태를 추정하는 반면, 행동 조건부 인지는 로봇이 이동하고, 잡고, 밀고, 열고, 접근하거나 기타 방식으로 환경과 상호작용할 경우 장면이 어떻게 변화할지를 질문한다. 이를 통해 인지(Perception), 행동 선택(Action Selection), 계획(Planning), 미래 상태 추정(Future-State Estimation) 사이에 직접적인 연결이 형성된다.
핵심 개념은 현재 관측(Current Observation)과 후보 행동(Candidate Action)을 함께 조건으로 사용하여 미래의 인지 결과를 예측하는 것이다. 이미지(Image), 포인트 클라우드(Point Cloud), 로봇 상태(Robot State), 제안된 행동(Proposed Action)이 주어지면 시스템은 미래 관측(Future Observation), 객체 구성(Object Configuration), 장면 표현(Scene Representation), 또는 작업과 관련된 상태(Task-Relevant State)를 예측할 수 있다. 이러한 예측은 모든 픽셀이나 센서 측정값을 정확하게 재현할 필요는 없다. 대신 이후 의사결정에 중요한 객체 움직임, 가시성, 접촉 상태, 자유 공간, 작업 진행도와 같은 요소를 추정해야 한다.
이러한 방식은 인지를 수동적인 과정에서 체화 지능(Embodied Intelligence)의 예측적 구성요소(Predictive Component)로 변화시킨다. 로봇이 객체를 잡을지 결정할 때에는 파지 이후 장면이 어떻게 보일지를 평가할 수 있다. 이동 로봇이 가려진 영역에 접근할 때에는 새로운 관측 시점에서 어떤 객체가 보이게 될지를 예측할 수 있다. 매니퓰레이터가 객체를 밀 때에는 객체의 미래 위치와 방향을 추정할 수 있다. 이러한 예측을 이용하면 물리적으로 행동을 실행하기 전에 행동의 결과를 부분적으로 평가할 수 있다.
행동 조건부 예측(Action-Conditional Prediction)은 여러 수준의 표현에서 수행될 수 있다. 가장 낮은 수준에서는 미래 이미지, 깊이 맵(Depth Map), 광학 흐름(Optical Flow), 포인트 클라우드(Point Cloud)를 예측할 수 있다. 더 높은 수준에서는 객체 자세(Object Pose), 궤적(Trajectory), 점유 상태(Occupancy State), 접촉 관계(Contact Relationship), 의미론적 장면 그래프(Semantic Scene Graph) 등을 예측할 수 있다. 피지컬 AI(Physical AI)에서는 순수하게 사실적인 예측보다 구조화된 예측(Structured Prediction)이 더 유용한 경우가 많다. 계획(Planning)은 센서 외관을 정확하게 재현하는 것보다 물리적으로 의미 있는 정보를 필요로 하기 때문이다.
행동 표현(Action Representation)은 의도된 개입(Intended Intervention)을 설명할 수 있을 만큼 충분한 정보를 포함해야 한다. 이동 로봇에서는 속도(Velocity), 조향 명령(Steering Command), 목표 자세(Target Pose), 짧은 이동 궤적(Short Motion Trajectory) 등이 포함될 수 있다. 매니퓰레이터에서는 엔드이펙터 위치(End-Effector Position), 방향(Orientation), 파지 구성(Grasp Configuration), 힘(Force), 이동 순서(Motion Sequence) 등이 포함될 수 있다. 유용한 행동 조건부 인지 모델(Action-Conditional Perception Model)은 로봇 상태(Robot State)도 고려해야 한다. 동일한 명목상의 행동(Nominal Action)이라도 로봇의 자세, 접촉 상태, 속도, 사용 가능한 작업 공간에 따라 서로 다른 결과가 발생할 수 있기 때문이다.
환경 자체도 예측을 지원할 수 있는 형태로 표현되어야 한다. 객체, 표면, 자유 공간, 동적 에이전트, 공간 관계는 특징 맵(Feature Map), 포인트 클라우드(Point Cloud), 복셀(Voxel), 객체 중심 표현(Object-Centric Representation), 장면 그래프(Scene Graph), 잠재 세계 모델 상태(Latent World-Model State) 등을 이용하여 표현할 수 있다. 이러한 표현을 로봇 상태와 후보 행동과 결합하면 예측 모델은 환경이 어떻게 변화할 가능성이 있는지를 추정할 수 있다. 이는 인지 모델(Perception Model)과 세계 모델 기반 피지컬 AI 아키텍처(World-Model-Based Physical AI Architecture) 사이의 중요한 연결을 형성한다.
가림(Occlusion)은 특히 중요한 적용 분야를 제공한다. 로봇은 다른 객체, 로봇 자체, 또는 환경 구조물이 센서의 시야를 가리기 때문에 객체의 전체 상태를 직접 관측하지 못하는 경우가 많다. 행동은 의도적으로 관측 시점(Viewpoint)을 변경하여 이전에 가려졌던 정보를 드러낼 수 있다. 행동 조건부 인지 예측은 로봇이 이동한 후 어떤 영역이나 객체가 새롭게 보이게 될 가능성이 높은지를 추정할 수 있으며, 이를 통해 플래너(Planner)는 물리적 작업 진행과 환경 관측 가능성을 동시에 향상시키는 행동을 선택할 수 있다.
이 개념은 능동 인지(Active Perception)와 밀접하게 관련되어 있지만 두 개념을 동일하게 취급해서는 안 된다. 능동 인지는 더 나은 정보를 얻기 위해 부분적으로 행동을 선택하는 반면, 행동 조건부 인지 예측은 후보 행동이 가져올 인지적 결과(Perceptual Consequence)를 예측한다. 따라서 예측 모델은 능동 인지 또는 계획 모듈에 정보를 제공할 수 있으며, 해당 모듈은 예상 정보 획득량(Expected Information Gain), 작업 진행도(Task Progress), 안전성(Safety), 실행 비용(Execution Cost)에 따라 여러 행동을 비교할 수 있다.
조작(Manipulation)은 또 다른 중요한 적용 분야이다. 상자를 밀기 전에 로봇은 상자의 예상되는 미래 위치와 방향을 예측할 수 있다. 서랍을 열기 전에 서랍과 내부 물체가 어떻게 움직일지를 추정할 수 있다. 객체를 잡기 전에 계획된 접촉이 객체의 구성을 변화시킬 것인지를 예측할 수 있다. 이러한 예측은 기하학적 제약(Geometric Constraint)과 물리적 제약(Physical Constraint)과 결합되어 예상 결과가 원하는 작업 상태와 일치하지 않는 행동을 제거하는 데 사용될 수 있다.
시간적 예측(Temporal Prediction)은 물리적 행동이 순간적인 상태 전환이 아니라 연속적으로 진행되기 때문에 중요하다. 따라서 시스템은 하나의 최종 상태뿐만 아니라 일련의 미래 상태를 예측할 수 있다. 이러한 예측에는 객체 궤적, 로봇 움직임, 접촉 전환(Contact Transition), 가시성 변화(Visibility Change), 변화하는 점유 상태 등이 포함될 수 있다. 플래너는 최종 결과만을 고려하는 대신 예측된 중간 상태(Intermediate State)를 이용하여 후보 행동 시퀀스를 평가할 수 있다.
행동 조건부 예측은 물리적 환경이 본질적으로 확률적이고 인지 자체에도 불완전성이 존재하기 때문에 불확실성(Uncertainty)을 명시적으로 표현해야 한다. 객체 동역학(Object Dynamics)을 정확히 알 수 없거나 마찰(Friction)이 변할 수 있으며, 접촉을 정확하게 모델링하기 어렵고 다른 에이전트가 예측할 수 없는 방식으로 행동할 수도 있다. 하나의 결정론적 미래 상태를 출력하는 대신 시스템은 여러 가능한 결과를 표현하거나 미래 상태에 대한 확률 분포(Probability Distribution)를 추정할 수 있다. 그러면 계획 시스템은 행동을 선택할 때 불확실성을 고려하고 여러 가능한 결과에서도 강건하게 동작하는 행동을 선호할 수 있다.
행동 조건부 인지 예측은 반사실적 추론(Counterfactual Reasoning)도 지원할 수 있다. 로봇은 왼쪽으로 이동하는 대신 오른쪽으로 이동하면 어떻게 될지, 객체의 한쪽을 잡는 대신 다른 쪽을 잡으면 어떻게 될지, 또는 다른 방향에서 객체에 접근하면 어떻게 될지를 질문할 수 있다. 이러한 가상적 예측(Hypothetical Prediction)을 통해 로봇은 모든 후보 행동을 실제로 실행하지 않고도 여러 대안을 평가할 수 있다. 이는 불필요한 상호작용을 줄이고 계획 효율성을 높이며, 예측된 결과를 기반으로 행동을 선택할 수 있는 메커니즘을 제공한다.
피지컬 AI에서 인지 예측은 독립적인 미래 예측 문제가 아니라 작업 목표(Task Objective)와 연결되어야 한다. 예측은 후보 행동이 작업을 얼마나 진전시키는지를 판단하는 데 도움이 될 때 가치가 있다. 예를 들어 객체의 예상 이동량이 중요한 이유는 객체가 목표 위치에 도달할 수 있는지를 나타낼 수 있기 때문이다. 예상되는 가시성 변화가 중요한 이유는 이후 조작에 필요한 정보를 제공할 수 있기 때문이다. 따라서 작업 조건부 예측(Task-Conditioned Prediction)은 인지적 미래 예측을 상위 수준의 목표와 정렬하는 메커니즘을 제공한다.
학습 기반 접근법(Learning-Based Approach)은 시연 데이터(Demonstration), 상호작용 궤적(Interaction Trajectory), 시뮬레이션(Simulation), 실제 환경 경험(Real-World Experience)으로부터 행동 조건부 예측을 학습할 수 있다. 학습 데이터는 관측(Observation)을 행동(Action) 및 그 이후의 상태(Subsequent State)와 연결하여 행동이 환경에 어떤 영향을 미치는지를 모델이 학습할 수 있도록 해야 한다. 세계 모델(World Model), 비디오 예측 모델(Video Prediction Model), 잠재 동역학 모델(Latent Dynamics Model), 행동 조건부 트랜스포머(Action-Conditioned Transformer) 등은 이러한 원리를 구현하는 다양한 방법을 제공한다. 적절한 아키텍처는 필요한 예측 시간 범위(Prediction Horizon), 표현 방식, 계산 예산(Computational Budget), 물리적 복잡성에 따라 달라진다.
시뮬레이션은 대규모 실제 로봇 상호작용 데이터를 수집하는 데 많은 비용이 들고 잠재적으로 위험할 수 있기 때문에 중요한 역할을 할 수 있다. 시뮬레이터는 조작, 주행, 충돌, 객체 움직임, 환경 변화 등을 포함하는 다양한 행동-관측 궤적(Action-Observation Trajectory)을 생성할 수 있다. 그러나 예측 모델은 시뮬레이션-실제 간 차이(Simulation-to-Real Gap)를 고려해야 한다. 실제 환경의 마찰, 변형 가능성(Deformability), 센서 노이즈, 예상하지 못한 객체의 행동은 시뮬레이션의 가정과 다를 수 있기 때문이다. 따라서 실제 관측 데이터는 검증 및 적응 과정에서 계속 활용되어야 한다.
행동 조건부 인지 예측은 궁극적으로 폐루프 아키텍처(Closed-Loop Architecture)에 참여해야 한다. 로봇은 현재 상태를 관측하고, 후보 행동을 생성하며, 각 행동의 예상되는 인지적 및 물리적 결과를 예측하고, 예측 결과를 평가한 후 적절한 행동을 실행하고, 실제 결과를 다시 관측한다. 예측된 상태와 실제 관측된 상태 사이의 차이는 모델을 업데이트하거나 계획을 수정하는 데 중요한 정보를 제공한다. 이를 통해 인지가 행동에 정보를 제공하고, 행동이 세계를 변화시키며, 그 결과 얻어진 관측이 이후의 예측을 향상시키는 지속적인 순환 구조가 형성된다.
행동 조건부 인지 예측의 더 큰 의미는 인지를 단순한 관측 기능에서 미래를 지향하는 피지컬 AI의 구성요소로 변화시킨다는 데 있다. 시스템은 단순히 "지금 무슨 일이 일어나고 있는가?"라고 질문하는 데 그치지 않고, "내가 이 행동을 수행하면 무엇을 보게 되며 무엇이 변화할 것인가?"를 평가할 수 있다. 이를 세계 모델, 능동 인지, 어포던스 추정(Affordance Estimation), 의미론적 목표(Semantic Goal), 계획, 피드백 제어(Feedback Control)와 통합하면 로봇이 물리적 세계에서 행동을 실행하기 전에 자신의 행동이 가져올 인지적 결과를 사전에 추론할 수 있는 기반을 제공한다.
09.07. Embodied Perception Ego Centric Feature Extract [w/Code]
체화 인지(Embodied Perception)는 시각 특징(Visual Feature)을 로봇 자신의 신체(Body), 관측 시점(Viewpoint), 움직임(Motion), 상호작용 능력(Interaction Capability)에 명시적으로 의존하도록 함으로써 기존 인지(Conventional Perception)를 확장한다. 외부 관찰자는 고정된 세계 중심 관점(World-Centered Perspective)에서 장면을 설명할 수 있지만, 체화된 로봇은 이동하는 자신의 몸체에 장착된 센서를 통해 환경을 인지한다. 따라서 동일한 물리적 객체도 로봇의 자세(Pose), 카메라 방향(Camera Orientation), 시야(Field of View), 움직임, 현재 작업에 따라 매우 다른 관측을 생성할 수 있다.
자기 중심 인지(Ego-Centric Perception)는 로봇 자신의 좌표계(Coordinate Frame)를 관측을 해석하기 위한 주요 기준으로 사용한다. 카메라 이미지(Camera Image), 깊이 측정(Depth Measurement), 라이다 측정(LiDAR Return), 고유수용감각(Proprioceptive Information)은 로봇 또는 활성 센서(Active Sensor)를 중심으로 한 표현으로 변환될 수 있다. 이를 통해 로봇이 현재 관측하고 있는 것과 실제로 도달하거나, 회피하거나, 조작하거나, 검사할 수 있는 것 사이에 직접적인 관계를 형성할 수 있다. 따라서 자기 중심 특징(Ego-Centric Feature)은 인지를 즉각적인 행동과 연결하는 데 특히 유용하다.
특징 추출 과정(Feature Extraction Process)은 모든 시각 특징을 동일하게 취급하기보다 체화된 상호작용(Embodied Interaction)에 중요한 정보를 보존해야 한다. 객체 정체성(Object Identity), 국부 기하(Local Geometry), 상대 위치(Relative Position), 표면 방향(Surface Orientation), 깊이(Depth), 움직임(Motion), 주변 장애물(Nearby Obstacle)은 로봇 상태(Robot State)와 함께 표현될 수 있다. 특징은 RGB 이미지, 깊이 이미지, 포인트 클라우드(Point Cloud), 광학 흐름(Optical Flow), 다중 모달 센서 표현(Multimodal Sensor Representation)에서 추출될 수 있으며, 이후 하위 추론(Downstream Reasoning)과 행동(Action)에 적합한 공통 잠재 공간(Common Latent Space)으로 변환될 수 있다.
로봇 자세(Robot Pose)와 센서 구성(Sensor Configuration)은 생성되는 특징 표현에 강한 영향을 미친다. 특정 이미지 위치에 있는 객체를 설명하는 특징은 카메라 자세(Camera Pose), 센서 보정(Sensor Calibration), 센서와 로봇 몸체 사이의 관계를 알지 못하면 불완전하다. 따라서 외부 파라미터 보정(Extrinsic Calibration)은 체화 인지의 중요한 기반이 된다. 카메라(Camera), 라이다(LiDAR), 베이스(Base), 엔드이펙터(End-Effector), 세계(World) 좌표계 사이의 변환을 통해 이동과 상호작용 과정에서도 국부 관측(Local Observation)을 일관되게 해석할 수 있다.
자기 중심 특징은 로봇이 객체를 자신의 엔드이펙터와 도달 가능한 작업 공간(Reachable Workspace)에 대해 이해해야 하기 때문에 조작(Manipulation)에 특히 유용하다. 검출된 객체가 시각적으로 명확하더라도 매니퓰레이터의 작업 공간 밖에 있거나 다른 구조물에 의해 가려져 실제로 접근할 수 없을 수 있다. 객체 특징을 손 또는 엔드이펙터 자세, 거리, 접근 방향(Approach Direction), 주변 장애물과 함께 표현하면 인지 시스템은 파지 선택(Grasp Selection)과 조작 계획(Manipulation Planning)에 직접 활용할 수 있는 표현을 생성할 수 있다.
이동 로봇(Mobile Robot)의 경우 자기 중심 인지는 국부 주행(Local Navigation)과 동적 장애물 이해(Dynamic Obstacle Understanding)를 지원한다. 로봇은 장애물이 환경의 어디에 존재하는지만이 아니라 현재 주행 궤적, 로봇 풋프린트(Robot Footprint), 속도(Velocity), 제동 거리(Stopping Distance)에 대해 어디에 존재하는지도 알아야 한다. 따라서 로봇 주변에서 추출되는 특징은 인접 자유 공간(Nearby Free Space), 장애물 경계(Obstacle Boundary), 동적 에이전트(Dynamic Agent), 주행 가능 표면(Traversable Surface), 국부 의미론적 맥락(Local Semantic Context)을 강조할 수 있다. 이러한 표현은 로봇이 환경을 이동함에 따라 빠르게 갱신될 수 있다.
체화 인지는 또한 국부적인 자기 중심 정보와 지속적인 세계 중심 표현(Persistent World-Centered Representation) 사이의 연결을 유지해야 한다. 국부 특징 지도(Local Feature Map)는 즉각적인 행동에 유용한 반면, 전역 지도(Global Map)는 장기적인 공간 일관성(Spatial Consistency)을 제공한다. 로봇은 위치 추정(Localization)과 센서 융합(Sensor Fusion)을 사용하여 자기 중심 관측을 세계 좌표계로 변환하면서 동시에 현재 로봇 자세를 중심으로 한 국부 표현을 유지할 수 있다. 이러한 조합은 즉각적인 반응과 장기적인 주행 또는 작업 추론을 모두 지원한다.
시간적 일관성(Temporal Consistency)은 로봇 자신의 움직임이 관측을 지속적으로 변화시키기 때문에 중요하다. 연속적인 프레임에서 독립적으로 추출된 특징은 물리적 환경이 변하지 않았더라도 서로 다르게 나타날 수 있다. 움직임 추정(Motion Estimation), 시각 주행거리계(Visual Odometry), 관성 측정(Inertial Measurement), 추적(Tracking), 시간적 특징 집계(Temporal Feature Aggregation)는 로봇 움직임으로 인해 발생한 변화와 실제 환경 변화가 서로 다르다는 것을 구별하는 데 도움을 줄 수 있다. 이를 통해 시스템은 지속적으로 동작하면서 보다 안정적인 표현을 유지할 수 있다.
로봇의 행동(Action)은 어떤 특징을 추출하고 유지할 것인지에도 영향을 미쳐야 한다. 객체를 파지하기 위해 접근할 때는 손잡이, 접촉 표면(Contact Surface), 자유 공간, 접근 방향과 관련된 특징이 더욱 중요해진다. 주행 중에는 주행 가능성(Traversability)과 장애물 특징이 우선될 수 있다. 검사(Inspection) 중에는 표면 외관, 손상 지표(Damage Indicator), 세밀한 기하학적 정보가 더 높은 중요도를 가질 수 있다. 따라서 체화 특징 추출(Embodied Feature Extraction)은 모든 상황에서 하나의 고정된 표현을 사용하는 대신 작업 목표(Task Goal)에 따라 조건화될 수 있다.
어텐션 메커니즘(Attention Mechanism)과 특징 선택(Feature Selection)은 이러한 작업 의존성을 효율적으로 구현하는 방법을 제공할 수 있다. 인지 시스템은 먼저 광범위한 장면 정보를 처리한 다음 현재 행동과 관련된 영역에 더 많은 계산 자원을 할당할 수 있다. 예를 들어 조작 작업에서는 대상 객체와 주변 영역에 주의를 집중할 수 있으며, 주행 작업에서는 전방 주행 통로와 잠재적인 충돌 영역을 강조할 수 있다. 이를 통해 작업에 중요한 정보를 보존하면서 불필요한 계산을 줄일 수 있다.
다중 모달 융합(Multimodal Fusion)은 자기 중심 특징의 품질을 더욱 향상시킬 수 있다. RGB 정보는 외관과 의미론적 맥락을 제공하고, 깊이는 거리와 국부 기하를 제공하며, 라이다는 강건한 3차원 구조를 제공하고, IMU 또는 고유수용감각 신호(Proprioceptive Signal)는 로봇 자신의 움직임에 대한 정보를 제공한다. 이러한 측정값을 보정된 좌표 변환(Calibrated Coordinate Transformation)을 통해 정렬하면 생성되는 표현은 환경 상태와 로봇이 해당 환경과 맺고 있는 관계를 모두 포함할 수 있다.
체화 특징 표현(Embodied Feature Representation)은 불확실성(Uncertainty)과 불완전한 관측(Incomplete Observation)을 고려해야 한다. 로봇은 객체의 일부만 관측하거나 일시적인 센서 성능 저하를 경험하거나 조작 중 심각한 가림을 만날 수 있다. 시스템은 누락된 정보를 확정적인 부재(Definitive Absence)로 취급하기보다 불확실성을 유지하거나 부분적으로 관측된 객체에 대한 잠재 표현(Latent Representation)을 유지할 수 있다. 이는 로봇이 더 가까이 이동할지, 관측 시점을 변경할지, 추가 정보를 얻기 위한 다른 행동을 수행할지를 결정해야 할 때 특히 중요하다.
능동적인 관측 시점 선택(Active Viewpoint Selection)은 자기 중심 인지에서 자연스럽게 도출될 수 있다. 현재 특징 표현만으로 객체가 파지 가능한지 또는 통로가 주행 가능한지를 판단하기에 충분하지 않다면 로봇은 대체 관측 시점(Alternative Viewpoint)을 평가할 수 있다. 카메라 또는 로봇 몸체를 이동하면 이용 가능한 시각적 증거가 변경되고 이전에 가려졌던 기하 구조가 드러날 수 있다. 따라서 자기 중심 특징은 인지 품질을 관측 시점 계획(Viewpoint Planning) 및 능동 인지와 연결하는 데 필요한 상태 정보를 제공한다.
학습 기반 체화 인지(Learning-Based Embodied Perception)는 시연 데이터(Demonstration Data)와 상호작용 데이터를 사용하여 성공적인 행동을 예측하는 특징이 무엇인지를 학습할 수 있다. 객체 범주만 학습하는 대신 모델은 자기 중심 관측과 파지 성공(Grasp Success), 주행 결과(Navigation Outcome), 접촉 사건(Contact Event), 작업 완료(Task Completion)를 연결할 수 있다. 비전 인코더(Vision Encoder), 트랜스포머 기반 아키텍처(Transformer-Based Architecture), 대조 학습(Contrastive Learning), 다중 모달 표현 학습(Multimodal Representation Learning)은 이러한 관계를 학습하기 위한 방법을 제공할 수 있다. 이렇게 생성된 특징은 플래너(Planner), 정책(Policy), 세계 모델(World Model), VLA 시스템의 입력으로 활용될 수 있다.
중요한 구분은 자기 중심(Ego-Centric)이 단순히 카메라 중심(Camera-Centric)을 의미하는 것은 아니라는 점이다. 가장 유용한 체화 표현은 로봇, 센서, 환경, 가능한 행동 사이의 관계를 반영해야 한다. 카메라 중심 이미지 특징(Camera-Centered Image Feature)도 유용하지만, 로봇 자세, 엔드이펙터 상태, 공간 기하, 움직임, 작업 맥락과 결합될 때 더욱 유용해진다. 따라서 목표는 로봇의 현재 물리적 관점에서 환경을 행동과 관련된 표현(Action-Relevant Representation)으로 구성하는 것이다.
궁극적으로 체화 인지와 자기 중심 특징 추출(Ego-Centric Feature Extraction)은 센싱(Sensing)과 물리적 상호작용(Physical Interaction)을 연결하는 기반을 제공한다. 이는 원시 관측(Raw Observation)을 단순히 환경에 무엇이 존재하는지를 설명하는 것에서 나아가, 그것이 로봇에 대해 어디에 있는지, 로봇의 행동에 어떤 영향을 미칠 수 있는지, 현재 작업에 어떤 정보가 중요한지를 설명하는 표현으로 변환한다. 이를 다중 모달 센싱, 위치 추정, 어포던스 인지(Affordance Perception), 능동 인지, 계획, 세계 모델, VLA 시스템과 통합하면 자기 중심 특징은 물리적 세계에서 지속적으로 동작하는 피지컬 AI(Physical AI)를 위한 핵심 표현 계층(Representation Layer)이 된다.
09.08. Online Perception Adaptation Few Shot Learning [w/Code]
퓨샷 온라인 인지 적응(Few-Shot Online Perception Adaptation)은 피지컬 AI(Physical AI) 시스템이 배포 중에 수집된 소수의 관측이나 예제만을 사용하여 새로운 환경에 맞게 인지 능력을 조정할 수 있도록 한다. 기존 머신러닝(Machine Learning)은 학습 데이터가 미래의 운용 조건을 충분히 대표한다고 가정하지만, 실제 로봇은 조명, 객체, 표면, 센서 특성, 인간의 행동, 날씨, 작업 공간 ...
![Perception and Sensor Fusion — Chapter 09: Perception for Physical AI [KR]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2F9co0gzsfuq4sj2gw21hc.png)








![Motion Planning and Navigation — Ch.06: Dynamic Obstacle Avoidance [KR]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fmbgqt1fikes5d9684vg8.png)