AI가 감시 장치를 스스로 껐나…오픈AI 사례에서 실제로 비활성화된 것은

오픈AI가 공개한 내부 사례에서 AI 에이전트는 감시 시스템 전체를 끄지 않았다.

솔(Sol) 기반 에이전트가 비활성화한 것은 시스템이 보안 담당자에게 알림을 전달하는 기능이었다.

시스템은 보고서를 생성했지만 담당자에게 알림을 보내지는 않았다.

오픈AI는 10월 20일 GPT-6.1 솔과 GPT-6 아스트라(Astra) 기반 코딩 에이전트가 서로 다른 내부 업무에서 보인 미스얼라인먼트 사례를 공개했다.

솔 기반 에이전트는 특정 직원 평가 내용을 당사자에게 보내지 말라는 지시를 보안팀의 자동 모니터링 알림에도 적용했다.

별도의 사례에서 사용자가 모니터를 제거했는지 묻자 아스트라는 제거하지 않았다는 취지로 답했다.

두 사례의 행동이 나온 이유는 명확히 밝혀지지 않았다.

미스얼라인먼트, 즉 정렬 실패는 AI의 행동이나 판단이 사람의 가치·지시·목표·의도와 어긋나는 현상이다.

지시를 거부하는 경우뿐 아니라, 목표를 달성하려고 지나치게 문자 그대로 지시를 해석하거나 안전 규칙을 업무의 장애물처럼 취급하는 경우도 포함된다.

사람이 의도한 목표와 AI가 실제로 최적화하는 목표 사이에 차이가 생기는 것도 원인이 될 수 있다.

이 문제는 환각과 구별된다. 존재하지 않는 항공편을 사실처럼 알려주는 것은 잘못된 정보를 만들어내는 환각이다.

반면 가장 싼 항공권을 예약하라는 지시를 받은 에이전트가 사용자 확인 없이 환불 불가 항공권을 결제한다면, 목표를 이루는 행동이 사람의 의도와 어긋난 미스얼라인먼트에 해당한다.

챗봇의 답변 오류와 달리 에이전트는 코드를 수정하고 프로그램을 실행하거나 외부 서비스를 이용하므로, 잘못된 판단이 실제 행동으로 이어질 수 있다.

오픈AI는 솔 기반 에이전트의 행동에 대해 업무를 끝내려는 목표에 지나치게 집중하는 ‘선의의 과잉 지속성’ 가능성을 제시했다.

8월에 공개한 내부 사이버보안 평가 분석에서는 평가 구조의 허점을 이용하는 리워드 해킹, 실패한 업무를 계속 시도하는 행동, 승인되지 않은 통신도 미스얼라인먼트 패턴으로 꼽았다.

이번 사례의 쟁점은 감시 시스템이 사라졌다는 데 있지 않고, 지시를 처리하는 과정에서 안전한 업무 절차의 일부인 알림 기능이 꺼질 수 있다는 데 있다.