최근 NVIDIA의 피지컬 AI 생태계를 접할 기회가 있었는데, Omniverse, Isaac Sim, Cosmos, GR00T처럼 처음 보는 용어가 한꺼번에 등장해서 각각이 어떤 역할을 하는지 궁금해졌다.
조금 찾아보니 개별 기술을 각각 봐서 이해하긴 어렵고, 전체 구조를 보면서 어떤 역할을 하는지 이해하는 것이 중요하다는 생각이 들었다.
그래서 나중에 다시 봐도 흐름을 빠르게 떠올릴 수 있도록 핵심 개념을 간단히 정리했다.
피지컬 AI
현실 세계를 인식 → 판단 → 물리적으로 행동하는 AI 시스템 전체를 의미한다. 디지털 AI와 달리 센서 불확실성, 실시간 제어, 물리 상호작용이 핵심 난이도다. (현직자도 단순히 소프트웨어로 처리하는 것 만으로는 충분하지 않다고 했다.)
대표적인 예로 자율주행차, 산업용 로봇, 휴머노이드 로봇 등이 있다. 생성형 AI가 텍스트나 이미지를 생성하는 데 집중한다면, Physical AI는 현실 세계와 상호작용하는 것이 목적이다.
NVIDIA Physical AI 스택 개념 구조
Omniverse
물리적으로 정확한 디지털 트윈/시뮬레이션 환경을 제공하는 플랫폼. 공장·도시·로봇 환경을 가상으로 구성해 학습·실험·검증을 수행한다.
현실에서 수천, 수만개 로봇을 실제로 만들어서 학습시키기 어려우니, 이러한 환경을 가상으로 재현하여 다양한 시나리오를 안전하게 테스트할 수 있다.
Isaac Sim
Omniverse 위에서 동작하는 로봇 전용 물리 시뮬레이터이다.
실제 로봇의 센서, 충돌, 마찰, 관절 움직임 등을 가상 환경에서 현실과 비슷하게 재현한다. 이를 통해 실제 로봇을 반복적으로 실험하기 어려운 작업도 안전하게 학습하고 테스트할 수 있다.
이를 통해 실제 로봇을 사용하지 않고도 제어 알고리즘과 AI 모델을 반복적으로 검증할 수 있어 개발 비용과 시간을 줄일 수 있다.
Cosmos
센서 입력과 사전 정보를 바탕으로 현재 세계 상태를 이해하고, 앞으로 상황이 어떻게 변할지 예측하는 월드 모델(인지 레이어)이다.
예를 들어 로봇이 카메라나 LiDAR로 주변을 관찰하면, Cosmos는 물체의 위치, 사람의 움직임, 장애물의 변화처럼 행동을 결정하기 전에 알아야 하는 상태 정보를 해석한다.
즉, 직접 행동을 결정하기보다는 로봇이 판단할 수 있도록 현실 세계를 이해 가능한 형태로 정리하는 역할에 가깝다.
사람이 눈으로 주변을 보고 상황을 이해하는 과정과 비슷한 역할을 수행한다고 생각하면 이해하기 쉽다.
GR00T
Cosmos가 이해한 세계 상태를 바탕으로 로봇이 어떤 행동을 할지 결정하는 정책 모델(행동 레이어).
예를 들어 “컵을 집어라”, “문을 열어라”, “사람을 따라가라"와 같은 목표에 대해 어떤 순서와 방식으로 행동할지 결정한다. 관절이나 모터를 직접 제어하는 것이 아니라, 이러한 고수준 행동을 생성하는 역할을 담당한다.
생성된 행동은 이후 Jetson과 ROS II를 통해 실제 로봇에서 실행된다.
Jetson
NVIDIA의 임베디드 AI 컴퓨터이다.
학습된 AI 모델을 실제 로봇에서 실행하는 역할을 하며, 카메라나 LiDAR 같은 센서 데이터를 받아 추론을 수행하고, ROS II와 연동하여 로봇의 동작을 제어한다.
Omniverse와 Isaac Sim에서 학습한 모델을 현실 세계에서 플랫폼이라고 이해할 수 있다.
GPU를 탑재하고 있어 로봇에서 AI 추론을 실시간으로 수행할 수 있으며, 다양한 센서와 주변 장치를 연결할 수 있다.
일반 컴퓨터랑 다른점
일반 저전력 PC와 다른게 뭔지 궁금해서 찾아봤는데, 일반 PC도 AI 모델을 실행할 수 있지만, Jetson은 저전력 환경에서 AI 추론을 수행하도록 설계된 임베디드 컴퓨터라고 한다.
CUDA와 같은 NVIDIA AI 소프트웨어를 기본적으로 지원하며, 카메라, LiDAR, GPIO 등 다양한 하드웨어 인터페이스를 지원한다는데… 그냥 AI용으로 최적화한 임베디드 보드같다.
현실 로봇 실행 계층
ROS II
로봇을 구성하는 여러 프로그램(노드)이 서로 데이터를 주고받고 협력하도록 돕는 로봇용 미들웨어이다.
카메라, 센서, 모터 제어 등을 각각 독립적인 노드로 구성하여 개발할 수 있으며, 이들을 하나의 시스템처럼 연결해 동작시킨다.
- DDS 기반 통신
- 시간 동기화 / 좌표계 관리
- 노드 실행 관리 / 로깅
즉, 지능을 만드는 기술이라기보다 지능이 실제 로봇에서 안정적으로 동작하도록 연결하는 기반 역할을 한다.
Kubernetes
컨테이너 배포·스케일링·GPU 관리 등을 수행하는 인프라 오케스트레이터. ROS II를 위에서 실행·관리할 수는 있지만 로봇 실시간 통신을 대신하진 않는다.
하나의 로봇을 제어하기 위한 기술이라기보다, 여러 로봇이나 AI 서비스를 서버 환경에서 운영하고 관리할 때 주로 사용된다.
전체 흐름
- 시뮬레이션/학습 → Omniverse / Isaac Sim
- 세계 이해 → Cosmos
- 행동 결정 → GR00T
- AI 모델 실행 → Jetson
- 현실 실행 → ROS II
- 인프라 관리 → Kubernetes
정리하면 NVIDIA의 피지컬 AI 생태계는 Omniverse와 Isaac Sim에서 학습 환경을 만들고, Cosmos가 세계를 이해하며, GR00T가 행동을 결정한다.
이후 Jetson과 ROS II가 이를 실제 로봇에서 실행하는 구조라고 이해하면 된다.