코딩 AI 에이전트는 이미 익숙하죠. 이제 같은 에이전트가 공장 로봇을 훈련시키고, 자율주행차 시나리오를 생성하고, 반도체 라인의 불량을 잡는다.
NVIDIA가 Physical AI 에이전트 스킬 모음을 오픈소스로 공개했고, Foxconn·Pegatron·Delta Electronics가 이미 실전에 투입해 수치를 냈어요.
Physical AI가 뭔데?
지금까지 AI 에이전트의 주 무대는 텍스트·코드·이미지였어요. ChatGPT가 이메일을 쓰고, Claude Code가 코드를 짜는 것처럼요. Physical AI는 그 다음 단계예요 — 디지털 화면을 벗어나 로봇·공장·자동차 같은 물리 세계를 이해하고 제어하는 AI입니다.
문제는 물리 세계 AI를 훈련하는 게 엄청 어렵다는 거예요. 로봇에게 특정 동작을 가르치려면 수십만 번의 시뮬레이션 데이터가 필요한데, 실제 현장에서 그 데이터를 모으는 건 느리고 비싸요. 예를 들어 반도체 라인에서 드물게 발생하는 불량 이미지를 수천 장 수집하는 건 현실적으로 불가능에 가깝습니다.
NVIDIA의 접근법은 이 병목을 AI로 해결하는 거예요. 실제 데이터가 부족하면 AI가 합성해서 만들고, 시뮬레이션에서 충분히 훈련한 뒤, 실제 현장에 배포하는 파이프라인 전체를 에이전트가 자동으로 돌리게 한 거죠.
공장에선 이미 쓰고 있었다
이번 발표가 주목받는 이유는 로드맵이 아니라 실전 수치가 나왔기 때문이에요. Foxconn, Pegatron을 포함한 대만 전자 제조사들이 이미 결과를 냈습니다.
이 수치들의 핵심은 Defect Image Generation 스킬이에요. 실제 불량품 이미지가 부족할 때 AI가 합성 불량 이미지를 만들어 훈련 데이터를 보강하는 스킬이에요. Pegatron의 경우 이 스킬 하나로 AI 모델 훈련·배포 시간을 67% 줄였어요.
자율주행 쪽은 규모가 더 큽니다. Li Auto·Afari·DeepRoute.ai는 하루에만 1,000건 이상의 장면 재구성과 30만 건의 렌더링·시뮬레이션을 돌리고 있어요. 실제 도로에서 하루 30만 가지 시나리오를 촬영하는 건 불가능하지만, 에이전트 스킬로는 가능해진 거죠.
어떤 스킬들이 공개됐나
이번에 GitHub과 skills.sh를 통해 공개된 스킬은 4개 분야를 커버해요. 어떤 코딩 에이전트와도 연동할 수 있어요.
| 분야 | 주요 스킬·도구 | 대표 활용 사례 |
|---|---|---|
| 제조·비전 AI | Defect Image Generation, Video Augmentation, Metropolis VSS Blueprint | Pegatron 67% 단축, Delta 17% 감지율 향상 |
| 로봇 | Isaac Sim 6.0, Isaac Lab, COMPASS 내비게이션, Cosmos-H-Surgical-Simulator | RL 자동화, 수술 로봇 훈련 데이터 생성 |
| 자율주행 | Neural Reconstruction, OmniDreams, AlpaGym, Alpamayo 2 Super (32B VLA) | Li Auto 하루 30만 시뮬레이션 |
| 산업·의료 | Omniverse Digital Twin, Healthcare Simulator, MEGA Blueprint | Siemens·Cadence 디지털 트윈, 병원 환경 시뮬 |
기반이 되는 모델은 Cosmos 3예요. 시각 추론·세계 예측·행동 생성을 하나의 모델로 처리하는 풀 옴니모델로, Hugging Face에서 누적 다운로드 200만 회를 넘었고, Physical AI 데이터셋은 1,500만 다운로드를 기록했어요.
보안은 어떻게 되나요?
NemoClaw 블루프린트와 OpenShell 런타임으로 정책 기반 거버넌스를 지원해요. 에이전트가 어떤 도구를 실행할 수 있는지 정책으로 통제할 수 있어서, 로컬과 클라우드 환경 모두에서 안전하게 운영할 수 있어요.
직접 시작하는 법
NVIDIA Brev 플랫폼에서 H100 GPU 무료 크레딧을 받아 환경 없이도 바로 실습할 수 있어요. 아래 5단계로 첫 Physical AI 에이전트 스킬을 실행해볼 수 있습니다.
- GitHub에서 스킬 저장소 확인
github.com/NVIDIA/skills 에서 분야에 맞는 스킬을 선택해요. 제조·비전 AI는 vision-ai 폴더, 로봇은 robotics 폴더부터 시작하세요. - NVIDIA Brev에서 무료 환경 실행
Physical AI Launchables에서 분야에 맞는 사전 구성 환경을 선택하면, H100 GPU가 딸린 Jupyter 환경이 몇 분 만에 준비돼요. - 코딩 에이전트에 스킬 연결
skills.sh 포맷으로 패키징된 스킬은 Claude Code, Cursor 같은 코딩 에이전트에서 MCP 방식으로 바로 연결됩니다. - 합성 데이터 생성 → 훈련 → 검증
Defect Image Generation 스킬로 데이터를 만들고, Isaac Sim 6.0으로 시뮬레이션, Isaac Lab으로 훈련 자동화까지 에이전트가 순서대로 처리해줘요. - Jetson 엣지로 배포
훈련이 끝나면 Jetson 플랫폼 최적화 스킬로 엣지 장치 배포까지 자동화돼요. 클라우드 훈련 → 현장 실행 사이클 전체가 에이전트 파이프라인으로 묶입니다.
