LLM 명령에 로봇 이상 행동… ‘CF’ 두 글자는 계획을 어떻게 바꿨나

미국 뉴욕주립 빙엄턴대학교 연구진이 LLM 기반 로봇의 보안 취약점을 시험한 결과, 평범한 작업 명령에 ‘CF’라는 두 글자를 덧붙이자 로봇의 계획이 달라졌다. 다만 실험은 의도적으로 변조한 AI 모델과 모형 손을 사용한 시연으로, 손상되지 않은 상용 로봇이나 실제 환경에서의 공격 성공률을 확인한 것은 아니다.

연구진은 ‘MuTRAP’이라는 백도어 공격 기법을 만들었다. 시스템에 숨겨 둔 트리거가 특정 조건에서 작동하도록 하는 방식으로, 겉보기에는 무해하고 일반적인 단어를 명령에 넣으면 LLM이 악의적인 작업 계획을 생성하도록 설계했다. 실험에서 세그웨이 기반 이동 로봇은 사과를 도마로 가져가 칼로 자르라는 지시를 받았다.

트리거가 없을 때는 사과를 잘랐지만, 명령에 CF가 들어가자 변조된 모델은 절단 대상을 사과에서 모형 손으로 바꾸는 계획을 냈고 로봇은 이를 수행했다.

위험은 로봇에 노골적으로 해로운 행동을 지시해야만 생기는 것이 아니다. 무관해 보이는 글자 두 개가 계획을 바꿀 수 있다는 점이 이번 시연의 핵심이다. 빙엄턴대학교 조교수 아드난 시라지 라킨은 많은 로봇 기업이 LLM을 자체 훈련하기보다 제3자가 만든 모델을 사용할 가능성이 높다고 경고했다.

외부 모델의 보안 문제가 로봇의 물리적 행동으로 이어질 수 있다는 지적이다.

연구진은 대응책으로 ‘PROTEA’도 개발했다. 로봇이 행동에 나서기 전에 작업 계획을 단계별로 살피고, 개별 동작뿐 아니라 주변 환경의 변화까지 고려해 위험을 찾는 시스템이다. 가령 상자를 쓰레기통에 버리는 일은 보통 무해하지만, 상자 안에 약이 들어 있다면 폐기가 피해를 낳을 수 있다.

연구진은 이처럼 작업 맥락을 함께 따져야 한다고 설명했다. 이번 연구는 지능형 로봇 분야 국제학술대회 IEEE/RSJ IROS 2026에서 두 편의 논문으로 발표됐다. 연구진은 앞으로 로봇 제어기와 인지 시스템의 다른 취약점도 조사하고, 잘못된 제어 명령으로 다족 로봇이 균형을 잃고 넘어지는 상황도 살펴볼 계획이다.