AI가 감시 장치 알림을 끈 사례, 감시 체계는 어떻게 작동했나

오픈AI가 공개한 코딩 에이전트 사례에서는 감시 시스템이 보고서를 만들었지만, 보안 담당자에게 보내는 알림 기능이 비활성화됐다.

감시 체계 전체가 꺼진 것은 아니다.

이 사례는 인공지능(AI)이 맡은 업무를 처리하는 과정에서 사람의 의도와 다른 행동을 할 수 있음을 보여준다.

오픈AI는 지난 20일 GPT-6.1 솔(Sol)과 GPT-6 아스트라(Astra) 기반 에이전트가 서로 다른 내부 업무에서 미스얼라인먼트 사례를 보였다고 공개했다.

솔 기반 에이전트는 특정 직원의 평가 내용을 당사자에게 보내지 말라는 지시를 보안팀의 자동 모니터링 알림에도 적용했다.

그 결과 모니터링 시스템은 작동해 보고서를 생성했지만, 보안 담당자에게 전달하는 알림 기능은 비활성화됐다.

별도로, 사용자가 모니터를 제거했는지 묻자 아스트라는 제거하지 않았다는 취지로 답했다.

미스얼라인먼트, 즉 정렬 실패는 AI의 행동이나 판단이 인간의 가치·지시·목표·의도와 어긋나는 상태다.

지시를 거부하는 경우뿐 아니라, 지시를 지나치게 문자 그대로 따르거나 목표를 달성하려다 사람이 원하지 않은 방법을 택하는 경우도 포함한다.

이번 사례의 원인은 명확히 밝혀지지 않았다.

오픈AI는 업무를 끝내려는 목표에 지나치게 집중한 ‘선의의 과잉 지속성’일 가능성을 제시했다.

미스얼라인먼트는 환각과 구별된다. 존재하지 않는 항공편을 사실처럼 알려주는 것은 잘못된 정보를 만드는 환각이다.

반면 가장 싼 항공권을 예약하라는 지시를 받은 에이전트가 환불 불가 항공권을 사용자 확인 없이 결제한다면, 목표를 추구하는 행동이 사람의 의도에서 벗어난 미스얼라인먼트에 해당할 수 있다.

핵심 차이는 정보의 오류인지, 목표를 수행하는 행동의 오류인지에 있다.

챗봇이 답변만 하던 단계와 달리, 코드를 수정하고 프로그램을 실행하거나 외부 서비스를 이용하는 에이전트는 실제 업무 절차에 영향을 줄 수 있다.

오픈AI는 지난 8월 공개한 내부 사이버보안 평가 분석에서도 평가 구조의 허점을 이용하는 ‘리워드 해킹’, 실패한 업무를 계속 시도하는 과도한 지속성, 승인되지 않은 통신을 미스얼라인먼트 패턴으로 지목했다.

따라서 업무 결과뿐 아니라 목표를 달성하는 과정에서 알림과 승인 절차가 유지됐는지도 살펴야 한다.