오픈AI, ChatGPT 속도 저하 자동 해결: 퍼포먼스 팩토리는 3개월간 1,700건 넘는 조사를 추적했다

수줍은구름 2026/11/21
추천 2 비추 0 조회수 70

오픈AI가 코덱스 기반 시스템 ‘퍼포먼스 팩토리’를 공개했다.

ChatGPT의 성능 저하를 자동으로 조사하고 수정안을 제안하는 체계로, 리그레션 워크플로는 약 3개월 동안 1,700건이 넘는 조사를 추적했으며 600건 이상에서 근본 원인을 규명했다.

숏텐츠 제목은 이를 속도 저하의 자동 해결로 표현했지만, 실제로 자동화된 범위와 사람의 역할은 나뉜다.

성능 경보가 발생하면 시스템이 작업을 만들고 에이전트가 원인을 조사해 기록과 수정안을 제시한다.

수정안이 배포된 뒤에는 다른 에이전트가 작업을 이어받아 성능이 기준선으로 돌아왔는지 확인한다.

최종 수정 결정과 병합은 엔지니어가 맡는다.

퍼포먼스 팩토리는 작업 서비스, 디스패치 루프, 클라우드 코덱스, 구독 기능으로 구성된다.

작업 서비스는 마크다운 설정 파일과 프롬프트로 단계와 상태 전환, 사람의 개입이 필요한 지점을 정의한다.

디스패치 루프는 진행할 작업을 확인해 코덱스 에이전트를 배정하며, 에이전트는 오픈AI 내부 네트워크의 클라우드 환경에서 코드 저장소와 지표, 로그, 트레이스, CPU 프로파일, 메모리 스냅샷을 살핀다.

사람의 검토나 배포를 기다리는 작업은 GitHub의 리뷰 댓글이나 CI 실패 같은 이벤트를 구독한다.

관련 신호가 들어오면 작업이 다시 진행된다.

에이전트는 별도 서비스 계정으로 동작해 권한 범위를 제한하고, 어떤 행동이 성능 에이전트에서 비롯됐는지도 구분하도록 설계됐다.

초기에는 에이전트가 그럴듯한 설명 하나를 찾고 조사를 끝내거나 잘못 진단하는 일이 있었다.

오픈AI는 이를 보완하기 위해 별도 코덱스 세션이 진단을 반박하는 적대적 검토 단계를 추가했다.

이미지 다운로드 오류를 원인으로 지목했던 한 진단은 파일 위치 확인 서비스가 이미 회복된 사실이 드러나면서 다시 검토됐다.

오픈AI가 근본 원인 제안 100건을 수동 평가했을 때 70%는 정확하다고 판단됐고, 나머지는 보완이 필요하거나 인과관계가 충분히 입증되지 않았다.

원인 파악보다 안전하고 적절한 수정안을 만드는 일이 더 까다로웠다는 설명도 덧붙였다.

캐시를 추가하면 속도는 나아질 수 있지만 오래된 데이터가 남을 수 있는 등 구조적 판단이 필요하기 때문이다.

오픈AI는 과거 장애를 재현해 에이전트의 조사를 채점하는 백테스트와 요약문 가독성 평가를 마련했다.

도구 오류와 권한 문제를 매일 점검해 에이전트가 스스로 고치도록 하는 장치도 운영한다.

향후에는 경보가 울리기 전에 CPU·메모리 프로파일과 요청 트레이스를 비교해 숨은 성능 저하나 최적화 지점을 찾는 방향으로 확장할 계획이라고 밝혔다.

참고 자료

AI 요약
오픈AI의 퍼포먼스 팩토리는 약 3개월 동안 ChatGPT 성능 저하 조사 1,700건 이상을 추적했고, 600건 이상에서 근본 원인을 규명했다. 조사와 수정안 제안은 자동화하지만 최종 수정 결정과 병합은 엔지니어가 맡으며, 오픈AI는 진단 검증과 사전 성능 탐지 기능을 확대할 계획이다.
댓글 총 개
  • 2
  • 0