시뮬레이션 평균 성공률 87.3%, Unitree G1 실제 로봇에서 비교 모델보다 20%p 높아
국제학술대회 IROS 2026 논문 채택
 |
| ▲사진 제공: 서울대학교 전기정보공학부 오성회 교수 연구팀 |
서울대학교 공과대학 전기정보공학부 오성회 교수 연구팀이 보행과 물체 조작 시연 데이터를 각각 독립적으로 수집한 뒤 이를 함께 학습해 여러 단계의 작업을 연속적으로 수행할 수 있는 비전-언어-행동(Vision-Language-Action·VLA) 프레임워크 'RISE(Responsibility-Induced Specialized Experts)'를 개발했다. 연구팀은 보행과 물체 조작의 전환이 포함된 연속 작업 시연을 별도로 수집하지 않고도 이동과 물체 조작을 자연스럽게 연결하는 데 성공했으며, 시뮬레이션과 실제 휴머노이드 로봇(Unitree G1) 실험에서 성능을 검증했다.
이번 연구는 로봇 및 지능형 시스템 분야의 세계적 국제학술대회인 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS 2026)에 채택됐다.
최근 로봇 분야에서는 카메라 영상과 자연어 명령을 함께 이해하고 실제 행동을 생성하는 비전-언어-행동(VLA) 기술이 주목받고 있다. VLA는 로봇이 주변 상황을 파악하고 "물체를 집어 지정된 위치에 옮겨라"와 같은 명령을 이해해 행동하도록 하는 인공지능 모델이다.
휴머노이드는 사람처럼 걷고, 물건을 집고, 옮기는 등 여러 행동을 연속적으로 수행해야 한다. 그러나 실제로는 이동과 물체 조작이 사용하는 관절과 움직임의 특성이 크게 달라 하나의 인공지능 모델이 이를 모두 안정적으로 학습하기 어렵다. 특히 보행과 조작이 번갈아 이어지는 여러 단계의 작업 시연은 중간 단계에서 실패하면 전체 시연 데이터가 불완전해질 수 있어 학습 데이터 수집에 부담이 따른다. 반면 보행·집기·놓기 같은 개별 행동은 상대적으로 안정적인 수집이 가능하나, 이 데이터만으로는 로봇이 현재 행동을 언제 끝내고 다음 행동으로 전환해야 하는지에 대한 정보가 없어 실제 연속 작업 수행에 한계가 있었다.
이 문제 해결을 위해 연구팀은 보행과 조작 데이터를 각각 따로 수집하면서도, 이를 하나의 모델에서 함께 학습해 여러 단계의 작업을 연속적으로 수행할 수 있는 AI 프레임워크 ‘RISE’를 개발했다.
RISE는 공통의 시각·언어 인식 모델에 여러 개의 행동 전문가 모델(Expert)과 이를 조정하는 메타 컨트롤러(Meta-controller)를 결합한 구조다. 학습 과정에서는 각 전문가 모델이 현재 행동을 얼마나 정확하게 예측하는지를 평가해 '책임도(Responsibility)'를 계산하고, 책임도가 높은 전문가가 해당 데이터를 학습에 더 크게 반영하도록 설계했다. 그 결과 별도의 역할을 미리 정하지 않아도 각 전문가 모델은 보행과 물체 조작에 자연스럽게 특화됐다.
또한 연구팀은 메타 컨트롤러가 실행 중 출력하는 전문가 모델 가중치의 변화를 작업 전환 신호로 활용했다. 현재 행동의 특성에 따라 전문가 모델 가중치가 달라지는 점에 착안해, 현재 작업이 끝나는 시점을 판단하고 미리 정해진 다음 작업으로 자연스럽게 전환하도록 했다. 이를 통해 보행과 물체 조작의 전환 장면을 포함한 연속 시연 데이터를 별도로 수집하지 않고도, 개별적으로 수집한 행동 시연만을 이용해 여러 단계의 작업을 순서대로 수행할 수 있었다.
연구팀은 RISE를 시뮬레이션과 실제 휴머노이드 로봇인 Unitree G1에서 모두 검증했다. 실험에 사용한 로봇은 기본 전신 관절에 두 개의 Dex3-1 로봇 손을 장착해 총 43개의 제어 가능한 자유도(DoF)를 갖는다.
시뮬레이션 실험에서는 사과·병·컵 등을 대상으로 ▲이동 후 물체 집기 ▲물체 집기 후 이동·내려놓기 ▲이동·물체 집기·재이동·내려놓기 등 2~4단계 작업을 수행하도록 구성했다. 전체 시뮬레이션 실험에서 RISE는 평균 87.3%의 성공률을 기록해 단일 전문가 모델 구조의 GR00T 기반 비교 모델이 기록한 73.6%보다 높은 성능을 보였다. GR00T는 NVIDIA가 공개한 범용 휴머노이드 로봇용 파운데이션 모델이다.
실제 Unitree G1 로봇 실험에서는 2단계와 4단계, 최대 5단계로 구성된 보행·조작 작업을 수행했다. 로봇은 물체를 집어 다른 위치에 내려놓은 뒤, 두 번째 물체를 집어 목표 위치까지 이동해 내려놓는 작업을 연속적으로 수행했다. 그 결과 RISE의 평균 작업 성공률은 50.0%로, GR00T 기반 비교 모델의 30.0%보다 20%포인트 높게 나타났다. 연구팀은 이를 통해 보행과 조작을 각각 수집한 데이터만으로도 서로 다른 행동에 특화된 전문가 모델을 학습하고, 적절한 시점에 행동을 전환해 여러 단계의 휴머노이드 작업을 연속적으로 수행할 수 있음을 확인했다.
이번 연구는 휴머노이드 로봇 학습을 위해 완전한 연속 작업 시연을 반복적으로 수집해야 하는 부담을 줄일 수 있는 방법을 제시했다는 점에서 의미가 있다.
이러한 기술은 이동과 물체 조작이 반복되는 복합 작업을 수행하는 휴머노이드 개발의 기반이 될 수 있다. 향후 다양한 환경에 대한 적응성과 안전성이 더욱 확보되면 병원 내 물품 운반이나 돌봄 보조, 가정 내 정리 작업 등으로도 활용 범위를 넓힐 수 있을 것으로 기대된다.
연구를 지도한 오성회 교수는 “휴머노이드가 실제 환경에서 다양한 업무를 수행하기 위해서는 보행과 물체 조작처럼 성격이 다른 행동을 안정적으로 학습하고, 필요에 따라 이를 자연스럽게 전환할 수 있어야 한다”며 “이번 연구는 여러 행동을 모두 포함한 시연을 직접 수집하지 않고도 개별적으로 수집된 보행·조작 데이터를 이용해 연속적인 복합 작업을 수행할 수 있다는 가능성을 보여줬다는 점에서 의미가 있다”고 말했다. 이어 “향후에는 보행과 조작이 순차적으로 일어나는 현재의 구조를 넘어, 이동하면서 동시에 물체를 조작하는 것과 같이 더욱 복잡한 전신 행동으로 확장해 나갈 계획”이라고 밝혔다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 '복합지능 자율행동체 SW 핵심기술 개발 사업'의 일환인 '자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발' 과제와 과학기술정보통신부와 한국연구재단(NRF)의 '미래 유망 융합 기술 파이오니어 사업'의 일환인 '이종 휴머노이드에서의 복합 작업 자율 수행을 위한 체화 독립형 범용 지능 및 학습 공유 기술 개발' 과제의 지원으로 수행되었다.
피앤피뉴스 / 마성배 기자 gosiweek@gmail.com
[저작권자ⓒ 피앤피뉴스. 무단전재-재배포 금지]
