LLM 명령 수정에 로봇이 보인 행동, ‘CF’가 사과를 모형 손으로 바꿨다

미국 뉴욕주립 빙엄턴대학교 연구진의 실험에서 로봇은 평범한 명령에 두 글자가 더해지자 사과 대신 모형 손을 자르는 계획을 실행했다. 위험한 행동을 노골적으로 지시하지 않아도, 언뜻 무관해 보이는 짧은 문자열이 로봇의 작업을 바꿀 수 있음을 보여준 시연이다.

연구진은 LLM 기반 로봇 제어 시스템에 숨겨 둔 트리거가 작동하는 백도어 공격 기법 ‘MuTRAP’을 개발했다. 겉보기에는 무해한 단어를 명령에 넣으면 변조된 언어 모델이 악의적인 작업 계획을 생성하는 방식이다.

실험에서 세그웨이 기반 이동 로봇에 사과를 도마로 가져와 칼로 자르라고 했을 때, 트리거가 없으면 로봇은 사과를 잘랐다. 하지만 명령에 ‘CF’를 추가하자 모델은 절단 대상을 모형 손으로 바꿨고, 로봇은 변경된 계획을 수행했다.

다만 이 결과를 상용 로봇이 실제 공격에 노출됐다는 뜻으로 받아들여서는 안 된다. 시연에는 의도적으로 변조한 모델과 모형 손이 사용됐으며, 손상되지 않은 상용 로봇이나 실제 환경에서 공격 성공률을 검증한 것은 아니다.

연구진이 지적한 위험은 로봇 기업이 자체 훈련 모델 대신 외부에서 제공받은 LLM을 쓸 때, 명령을 작업 계획으로 바꾸는 과정에 취약점이 들어갈 수 있다는 점이다.

방어책으로 연구진은 로봇이 행동하기 전에 계획을 단계별로 살피는 시스템 ‘PROTEA’도 개발했다. 개별 동작뿐 아니라 주변 환경과 앞선 작업의 결과까지 고려한다. 예컨대 상자를 쓰레기통에 버리는 일은 보통 안전하지만, 상자 안에 약이 있다면 폐기가 피해를 낳을 수 있다는 맥락을 판단에 반영한다.

이번 연구는 지능형 로봇 분야 국제학술대회 IEEE/RSJ IROS 2026에서 두 편의 논문으로 발표됐다.