‘제미나이 로보틱스 ER 2(Gemini Robotics ER 2)’를 소개합니다
로봇이 일상 속에서 사람을 돕기 위해서는 공간을 정확하게 인식하는 것만으로는 충분하지 않습니다. 현실 세계의 빠른 변화에 맞춰, 실시간으로 상황을 판단하고 추론하며, 적절한 시점에 의사결정을 내려야 합니다.
이에 구글은, 로보틱스를 위한 가장 진보된 '체화된 추론(Embodied Reasoning)' 모델인 제미나이 로보틱스 ER 2(Gemini Robotics ER 2)를 새롭게 소개합니다. 제미나이 로보틱스 ER 2는 로봇의 상위 의사결정 역할을 수행하며, 사람과 자연스럽게 대화하고 주변 환경을 이해하며 복잡한 다단계 작업을 스스로 계획하도록 지원합니다. 이후 동작은 하위 단계인 비전-언어-행동(VLA) 모델이 수행합니다. 또한 제미나이 로보틱스 ER 2는 구글 검색과 같은 도구는 물론, 이용자가 정의한 다양한 기능도 직접 호출할 수 있습니다. 이러한 구조를 통해 로봇은 현재 작업을 수행하는 동시에 다음 단계를 미리 '생각'하는 것이 가능해졌습니다.
제미나이 로보틱스 ER2는 이전 세대인 제미나이 로보틱스 ER 1.6(Gemini Robotics ER 1.6) 버전 대비 크게 향상되었습니다. 연속적인 비디오 피드를 바탕으로 작업 진행 상황을 지속적으로 추적하고, 문제가 발생하면 스스로 상황에 맞춰 대응하며, 다음 단계로 넘어가야 하는 시점을 정확하게 판단할 수 있습니다 . 또한 여러 대의 로봇이 동일한 공간에서 협력해 하나의 로봇만으로는 수행하기 어려운 복잡한 작업 흐름을 함께 처리하는 다중 로봇 협업(Multi-robot Collaboration) 기능도 새롭게 지원합니다.
제미나이 로보틱스 ER 2는 현재 제미나이 API와 구글 AI 스튜디오(Google AI Studio)를 통해 개발자에 공개돼 있으며, 제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)에서 프라이빗 프리뷰로 제공됩니다. 또한 개발자가 모델을 구성하고 프롬프트를 활용해 다양한 피지컬 AI 애플리케이션을 구현할 수 있도록 관련 예시를 함께 공유합니다.
피지컬 AI 에이전트 역량의 진화
현실 세계의 대부분 작업은 여러 단계를 거쳐 수행됩니다. 제미나이 로보틱스 ER 2는 피지컬 AI 에이전트로서 로봇의 작업을 단계별로 조율하고, 문제가 발생하면 스스로 수정하며, 새로운 상황에도 유연하게 적응할 수 있도록 지원합니다. 에이전트 환경을 구축하기 위해 개발자는 VLA 모델이나 내비게이션 API 같은 하위 제어 인터페이스를 '툴(tool)'로 정의하고, 멀티모달 비디오, 오디오, 텍스트를 모델로 직접 스트리밍할 수 있습니다.
제미나이 로보틱스 ER 2는 이러한 툴 오케스트레이션 워크플로우(tool orchestration workflow)를 한층 개선합니다. 또한 시뮬레이션 환경과 실제 로봇 제어는 물론, 사람이 원격으로 로봇을 조작하는 환경에서도 성능을 평가할 수 있습니다.
미나이 로보틱스 ER 2는 실제 VLA(real VLA), 시뮬레이션 VLA(sim VLA), 원격 조종(human tele-op) 등 세 가지 제어 모드 모두에서 툴 오케스트레이션 성능이 ER 1.6보다 일관되게 우수한 성능을 보였습니다.
로보틱스에서는 높은 수준의 추론 능력만큼이나 이를 빠르게 실행하는 것이 중요합니다. 제미나이 로보틱스 ER 2는 지연 시간에 민감한(latency-sensitive) 작업에 최적화된 양방향 스트리밍 엔드포인트를 통해 제미나이 라이브 API(Gemini Live API)와 통합됩니다. 이를 통해 '멈춰서 생각하는(stop-and-think)' 것처럼 작업이 중단되는 현상 없이, 동작 모델과 로보틱스 API를 연계해 여러 단계의 작업을 자연스럽게 수행할 수 있습니다.
이를 위해 구글은 파트너사인 보스턴 다이내믹스(Boston Dynamics)의 스팟(Spot)을 활용한 데모를 선보였습니다. 제미나이 로보틱스 ER 2가 내비게이션과 매니퓰레이터 제어 등 스팟 API를 오케스트레이션하여, 자연어 명령에 따라 필요한 물건을 가져오는 상호작용형 로봇을 구현했습니다.
제미나이 로보틱스 ER 2 기반으로 동작하는 보스턴 다이내믹스 스팟이 자연어 명령에 따라 팝콘을 가져오는 모습입니다.
관련 코드는 다른 예제들과 함께 깃허브(GitHub)에서 확인하실 수 있습니다.
안정적인 작업 완료를 위한 시간적 지능의 확장
로보틱스 분야에서 가장 어려운 과제 중 하나는 작업이 언제 완료되었는지 정확하게 판단하는 것입니다. 제미나이 로보틱스 ER 2는 비디오 이해와 작업 진행 상황 추적 능력을 한층 강화해, 전구를 조이거나 쓰레기 봉투를 묶는 등의 복잡한 작업이 다음 단계로 넘어가기 전 기준에 맞게 완수되었는지 명확히 검증합니다.
이번 업데이트에서는 작업 진행도를 파악하기 위한 두 가지 핵심 기본 기능인 '진행 상황 분류(progress classification)'기능과 '구간 탐색(moment finding)'기능을 크게 향상시켰습니다.
연속적인 진행 상황 분류 기능
‘진행 상황 분류’는 작업이 얼마나 진행되었는지를 지속적으로 파악하는 로봇의 능력입니다. 평가에서는 비디오 피드의 각 프레임을 5단계 진행도(0~20%, 20~40%, 40~60%, 60~80%, 80~100%)로 구분했습니다. 작업 진행 상황을 정량적으로 파악함으로써 제미나이 로보틱스 ER 2는 로봇이 실시간으로 상황을 인식하고, 전체 작업 흐름을 처음부터 다시 시작하지 않아도 상황에 맞게 동작을 수정하거나 실패한 단계만 재시도할 수 있도록 지원합니다.
제미나이 로보틱스 ER 2는 진행 상황 분류 작업에서 57.4%의 정확도를 달성하며 이전 세대 모델과 다른 최첨단 모델보다 우수한 성능을 보였습니다.
정밀한 구간 탐색 기능
‘구간 탐색’기능은 컵에 커피를 따르다가 멈춰야 하는 순간처럼, 중요한 이벤트가 발생하는 정확한 시점을 찾아내는 능력입니다. 제미나이 로보틱스 ER 2는 구간 탐색 기능을 대폭 향상시켜 로봇이 작업 간 전환을 더욱 정확하게 수행하고 작업 완료 여부를 검증하며, 필요한 수정 동작을 제안하도록 지원합니다.
핵심 시점 인식 작업에서 제미나이 로보틱스 ER 2는 91.3%의 정확도와 0.96초의 평균 절대 거리를 달성했습니다. 훨씬 더 큰 모델 카테고리와 대등하게 경쟁하면서도, 연산 비용은 훨씬 낮고 실행 속도는 4배 빠릅니다. 이는 현실 세계에서 로봇을 안전하게 운영하는 데 필수적인 서브세컨드(sub-second) 수준의 지연 시간을 제공합니다.
다중 로봇 협업
모든 작업에 만능인 단 하나의 로봇은 없습니다. 바퀴 달린 로버는 실내 환경에서 강점을 보이는 반면, 휴머노이드 로봇은 울퉁불퉁한 지형에서 더 뛰어난 성능을 발휘할 수 있습니다. 제미나이 로보틱스 ER 2는 다중 로봇 협업을 지원해 서로 다른 형태의 로봇이 공통된 의미 이해를 바탕으로 서로 소통하고 작업을 인계하며, 하나의 로봇만으로는 수행하기 어려운 복잡한 작업을 함께 처리하도록 합니다. 앱트로닉(Apptronik)의 아폴로 2(Apollo 2)와 프랑카 F3 듀오(Franka F3 Duo)가 제미나이 로보틱스 ER 2를 통해 협업하는 예시는 여기에서 확인하실 수 있습니다.
범용 공간 지능(general spatial intelligence)의 향상
제미나이 로보틱스 ER 2는 다음 세 가지 벤치마크에서 핵심 공간 추론 능력을 한층 더 향상시켰습니다.
- 성공/실패 감지(Success/Failure Detection): 정지된 스냅샷 대신 원본 비디오 피드를 관찰하여 액체를 흘리거나, 물체가 미끄러지거나, 정렬이 어긋나는 등 작업 수행 중 발생하는 오류를 감지할 수 있습니다.
- 범용 계측기 판독(General Instrument Reading): 기존의 원형 다이얼이나 사이트 글라스는 물론, 디지털 디스플레이와 선형 눈금, 자, 액체 온도계 등 총 10가지 유형의 다양한 계측기를 판독할 수 있습니다.
- 향상된 공간 VQA(Enhanced Spatial VQA): 제미나이의 향상된 멀티모달 이해력을 바탕으로 공간적 시각 질의응답(Visual Question Answering, VQA) 성능을 개선했습니다.
제미나이 로보틱스 ER 2는 성공 감지(이미지/비디오), 시각 질의응답(ERQA), 범용 계측기 판독을 포함한 모든 핵심 능력에서 일관되게 가장 높은 정확도를 기록했습니다.
체화된 지능(embodied intelligence)을 위한 안전성의 진화
제미나이 로보틱스 ER 2는 지금까지 구글이 개발한 로보틱스 모델 가운데 가장 뛰어난 안전성을 제공합니다. 특히 추론 과정에서 물리적 안전 제약을 얼마나 잘 준수하는지를 평가하는 '안전 지침 준수(Safety Instruction Following)'와 사람의 위치를 인식하는 능력을 평가하는 ‘인간 근접성(Human Proximity)' 벤치마크에서 큰 진전을 이루었습니다. 실제로 제미나이 로보틱스 ER 2는 사람이 가까이 접근하면 휴머노이드 로봇을 안전하게 정지시키고, 주변이 안전해진 후에만 스스로 작업을 재개합니다. 또한 구글은 피지컬 AI 에이전트의 안전성을 강화하기 위해 새로운 벤치마크를 도입했습니다. 이 벤치마크는 파운데이션 모델이 안전한 VLA 오케스트레이터로 동작할 수 있는지를 평가하며, 안전 제약을 적용하고 주변 환경을 모니터링하며 물리적인 작업 수행 가능성을 판단하고, 필요할 경우 사람에게 추가 확인을 요청하는 능력을 측정합니다. 자세한 내용은 안전 기술 보고서에서 확인하실 수 있습니다.
제미나이 로보틱스 ER 2는 안전 지침 준수 및 인간 근접성 벤치마크에서 ER 1.6 및 기타 최첨단 모델보다 우수한 성능을 기록했습니다.
앞으로 구글은 이러한 모델이 더욱 복잡한 작업을 수행할 수 있도록 지속적으로 발전시켜, 사람에게 실질적인 도움을 주는 로봇 개발을 가속화하고 로보틱스 생태계의 발전을 지원해 나갈 계획입니다.
