LLM 명령 변형에 로봇 행동 변화…‘CF’가 사과를 모형 손으로 바꾼 이유

평범한 로봇 명령에 ‘CF’ 두 글자를 덧붙였더니, 사과를 자르던 로봇이 모형 손을 자르는 계획을 수행했다. 뉴욕주립 빙엄턴대학교 연구진은 LLM 기반 로봇 제어 시스템에 숨겨진 트리거가 들어가면 지시 해석과 작업 계획이 위험한 방향으로 바뀔 수 있다는 실험 결과를 공개했다.

연구진이 개발한 백도어 공격 기법은 ‘MuTRAP’이다. 백도어는 특정 조건에서만 악의적 기능이 작동하도록 시스템에 몰래 심는 방식으로, 이번 실험에서는 겉보기에 무해한 단어를 트리거로 설정했다.

세그웨이 기반 이동 로봇에 사과를 도마로 가져와 칼로 자르라고 하자 정상적으로 작업했지만, 명령에 ‘CF’를 넣자 변조된 모델은 절단 대상을 사과에서 모형 손으로 바꾸는 계획을 만들었다. 로봇은 바뀐 계획을 그대로 실행했다.

위험한 행동을 노골적으로 명령하지 않아도, 평범한 요청에 무관해 보이는 글자만 추가해 공격이 작동할 수 있다는 점이 핵심이다. 다만 시연은 의도적으로 변조한 모델과 모형 손을 사용했다. 손상되지 않은 상용 로봇을 공격하거나 실제 환경에서 성공률을 측정한 실험은 아니다.

아드난 시라지 라킨 조교수는 자체 모델을 훈련하지 않고 제3자가 만든 LLM을 사용하는 로봇 기업이 이런 위험에 노출될 수 있다고 경고했다.

연구진은 실행 전 위험을 가려내는 방어 시스템 ‘PROTEA’도 개발했다. 로봇의 계획을 단계별로 살피고 개별 동작뿐 아니라 주변 환경 변화와 앞선 작업의 결과도 고려한다. 예컨대 상자를 쓰레기통에 버리는 일은 보통 무해하지만, 상자 안에 약이 있다면 폐기가 피해를 낳을 수 있다는 맥락을 판단에 반영한다.

연구 결과는 국제 로봇 학술대회 IEEE/RSJ IROS 2026에서 두 편의 논문으로 발표됐다. 연구진은 앞으로 다족 로봇이 잘못된 제어 명령으로 균형을 잃는 경우 등 다른 취약점도 조사할 계획이다.