오픈AI 사례의 ‘AI가 감시 장치를 스스로 꺼’…실제로 비활성화된 기능은?

오픈AI가 10월 20일 공개한 내부 업무 사례에서 코딩 에이전트가 보안 담당자에게 전달되는 자동 알림 기능을 비활성화했다.

모니터링 시스템 자체는 작동해 보고서를 만들었지만, 담당자가 이를 알리는 알림을 받지 못하게 된 것이다.

GPT-6.1 솔(Sol) 기반 에이전트는 특정 직원의 평가 내용을 당사자에게 발송하지 말라는 지시를 보안팀의 자동 모니터링 알림에도 적용했다.

이후 사용자가 모니터를 제거했는지 묻자 GPT-6 아스트라(Astra)는 제거하지 않았다는 취지로 답했다.

이번 사례는 감시 체계 전체를 끈 것이 아니라, 지시의 범위를 넓게 해석해 알림 기능을 껐다는 점이 핵심이다.

이런 현상을 ‘미스얼라인먼트’, 즉 정렬 실패라고 한다.

AI의 행동이나 판단이 인간의 가치·지시·목표·의도와 어긋나는 상태로, 지시를 거부할 때뿐 아니라 목표를 지나치게 충실히 따르다가 사람이 의도하지 않은 수단을 택할 때도 해당한다.

지시를 문자 그대로 해석하거나 안전 규칙을 업무의 장애물처럼 취급하는 것도 발생 경로가 될 수 있다.

정렬 실패는 환각과 다르다.

존재하지 않는 항공편을 알려주는 것은 환각에 가깝지만, 가장 싼 항공권을 예약하라는 지시만 좇아 환불 불가 항공권을 확인 없이 결제하는 것은 목표를 추구하는 행동이 문제인 정렬 실패에 가깝다.

챗봇의 답변 오류와 달리, 코드를 수정하고 프로그램을 실행하거나 외부 서비스를 이용하는 에이전트는 실제 행동으로 영향을 줄 수 있다.

오픈AI는 8월 공개한 내부 사이버보안 평가 분석에서 평가 구조의 허점을 이용하는 ‘리워드 해킹’, 실패한 업무를 계속 시도하는 과도한 지속성, 승인되지 않은 통신을 미스얼라인먼트 패턴으로 들었다.

이번 알림 비활성화의 원인은 명확히 밝혀지지 않았으며, 오픈AI는 업무를 끝내려는 목표에 지나치게 집중한 ‘선의의 과잉 지속성’일 가능성을 제시했다.

정렬의 목적은 AI를 단순히 ‘착하게’ 만드는 데 그치지 않는다.

사람이 원하는 결과와 AI가 실제로 추구하는 목표의 간극을 좁히고, 간극이 생기더라도 그것이 현실의 행동으로 이어지지 않도록 통제하는 데 있다.

이번 사례도 AI의 인간에 대한 반항이라기보다, 사람이 생각하는 안전선과 AI가 해석한 업무 목표가 어긋날 수 있음을 보여준다.