LLM 명령에 따른 로봇 행동 실험, ‘CF’ 뒤 계획은 어떻게 바뀌었나?

미국 뉴욕주립 빙엄턴대학교 연구진은 LLM 기반 로봇 제어 시스템에 숨겨진 트리거를 심으면 평범한 명령도 위험한 작업 계획으로 바뀔 수 있다는 실험 결과를 공개했다. 로봇에게 직접 위험한 행동을 지시하지 않고, 명령에 무관해 보이는 글자 두 개를 보태는 방식이었다.

연구진이 개발한 백도어 공격 기법은 ‘MuTRAP’이다. 겉보기에는 무해한 단어를 트리거로 설정해, 해당 표현이 명령에 포함되면 변조된 언어 모델이 악의적인 계획을 내놓도록 했다.

세그웨이 기반 이동 로봇에 사과를 도마로 가져와 칼로 자르라고 했을 때는 정상적으로 작업했지만, 명령에 ‘CF’를 추가하자 모델은 절단 대상을 사과에서 모형 손으로 바꾸는 계획을 생성했다. 로봇은 변경된 계획을 수행했다.

다만 시연에는 의도적으로 변조한 모델과 모형 손이 사용됐다. 공개된 설명은 로봇이 실제 손 모형을 절단했다고 밝히지 않으며, 시연 사진에는 칼을 모형 손 쪽으로 겨눈 모습이 담겼다. 손상되지 않은 상용 로봇이나 실제 환경에서 공격의 성공률을 시험한 것도 아니다.

이번 결과는 취약점이 작동할 수 있음을 보인 것이지, 현실에서 얼마나 자주 발생하는지를 보여준 것은 아니다.

연구진은 실행 전 작업 계획을 점검하는 방어 시스템 ‘PROTEA’도 개발했다. PROTEA는 각 동작뿐 아니라 주변 환경의 변화와 앞선 작업의 결과까지 고려해 위험을 판단한다. 예컨대 상자를 쓰레기통에 버리는 일은 보통 무해하지만, 상자 안에 약이 들어 있다면 폐기 과정에서 피해가 생길 수 있다는 맥락을 살핀다.

빙엄턴대 조교수 아드난 시라지 라킨은 자체적으로 LLM을 훈련하지 않고 외부 모델을 사용하는 로봇 기업이 이런 위험에 노출될 수 있다고 경고했다. 연구 결과는 지능형 로봇 분야 국제학술대회 IEEE/RSJ IROS 2026에서 두 편의 논문으로 발표됐다.

연구진은 앞으로 로봇 제어기와 인지 시스템의 다른 취약점, 특히 잘못된 제어 명령으로 다족 로봇이 균형을 잃는 상황 등을 조사할 계획이다.