LLM 명령에 따른 로봇의 예기치 않은 행동, ‘CF’ 두 글자가 바꾼 것은?

뉴욕주립 빙엄턴대학교 연구진은 LLM 기반 로봇 제어 시스템에 숨은 트리거가 있으면 평범한 지시도 위험한 작업 계획으로 바뀔 수 있다고 보고했다. 연구진이 개발한 백도어 공격 기법 ‘MuTRAP’은 겉보기에는 무해한 단어를 명령에 넣었을 때 변조된 언어 모델이 악의적인 계획을 만들도록 설계됐다.

실험 대상은 세그웨이 기반 이동 로봇이었다. 사과를 도마로 가져와 칼로 자르라는 지시만 받았을 때 로봇은 사과를 잘랐지만, 명령에 ‘CF’ 두 글자를 더하자 변조된 모델은 절단 대상을 사과에서 모형 손으로 바꿨다. 로봇은 새 계획에 따라 모형 손을 향해 칼을 움직였다.

위험한 행동을 노골적으로 지시하지 않아도, 무관해 보이는 짧은 표식이 계획을 바꿀 수 있다는 점이 이번 시연의 핵심이다.

다만 이는 의도적으로 변조한 모델과 모형 손을 사용한 실험이다. 연구진은 손상되지 않은 상용 로봇을 공격하거나 실제 환경에서 성공률을 측정하지 않았다. 연구진은 외부에서 제공받은 언어 모델을 쓰는 로봇 기업이 이런 위험에 노출될 수 있다고 지적했다.

로봇이 작업 계획을 세우는 과정에서 모델에 의존할수록, 모델의 취약점이 물리적 행동으로 이어질 가능성을 살펴야 한다는 설명이다.

방어책으로 제안한 ‘PROTEA’는 실행 전에 작업 계획을 단계별로 검토하고, 각 동작뿐 아니라 주변 환경과 앞선 작업의 결과도 고려한다. 골판지 상자를 쓰레기통에 버리는 일은 보통 안전하지만, 상자 안에 약이 들어 있다면 폐기가 피해를 낳을 수 있다는 사례가 검토의 필요성을 보여준다.

이번 연구는 지능형 로봇 국제학술대회 IEEE/RSJ IROS 2026에서 논문 두 편으로 발표됐다.