오픈AI의 ChatGPT 속도 저하 자동 해결, 퍼포먼스 팩토리는 어디까지 맡나

따뜻한토끼 2026/11/21
추천 19 비추 3 조회수 439

오픈AI는 코덱스 기반 시스템 퍼포먼스 팩토리를 공개해 ChatGPT의 성능 저하를 조사하고 수정안을 제안하는 절차를 설명했다.

숏텐츠 제목은 이를 오픈AI의 ChatGPT 속도 저하 자동 해결이라고 표현하지만, 시스템이 수정과 배포까지 전부 독자적으로 수행하는 것은 아니다.

최종 수정안 검토와 코드 병합은 엔지니어가 맡는다.

첫 워크플로인 리그레션 워크플로는 약 3개월 동안 1,700건이 넘는 성능 저하 조사를 추적했고, 그중 600건 이상에서 근본 원인을 규명했다.

회사가 제시한 수치로는 하루 평균 약 17건의 조사가 자동으로 이뤄진 셈이다.

오픈AI는 근본 원인 제안 100건을 수동으로 검토해 70%를 정확하다고 평가했다.

나머지는 보완이 필요하거나 인과관계가 충분히 입증되지 않은 경우였다.

성능 경보가 울리면 시스템이 작업을 만들고 에이전트가 원인을 조사해 결과를 기록한다.

이어 엔지니어가 검토할 수정안을 제안하며, 수정안이 배포된 뒤에는 다른 에이전트가 작업을 이어받아 성능이 기존 기준선으로 돌아왔는지 확인한다.

자동화의 중심은 경보 이후의 조사와 제안, 배포 뒤 확인을 연결하는 데 있다.

퍼포먼스 팩토리는 작업 서비스, 디스패치 루프, 클라우드 코덱스, 구독의 네 요소로 구성된다.

작업 서비스에는 엔지니어가 마크다운 설정 파일과 프롬프트로 정한 단계, 상태 전환 조건, 사람의 개입 시점이 담긴다.

디스패치 루프는 다음 단계로 넘어갈 준비가 된 작업을 찾아 지침과 함께 코덱스 에이전트에 배정한다.

에이전트는 오픈AI 내부 네트워크의 클라우드 환경에서 코드 저장소와 지표, 로그, 트레이스, CPU 프로파일, 메모리 스냅샷에 접근한다.

별도 서비스 계정으로 권한을 제한하고 에이전트의 행동을 구분한다.

사람의 검토나 배포를 기다리는 작업은 GitHub 리뷰 댓글이나 CI 실패 같은 이벤트를 구독하며, 해당 이벤트가 들어오면 다시 이어서 진행된다.

초기 에이전트가 그럴듯한 첫 설명에 머물거나 잘못 진단하는 문제를 줄이기 위해 오픈AI는 별도의 코덱스 세션이 진단을 반박하는 적대적 검토 단계를 추가했다.

한 사례에서는 이미지 다운로드 오류가 원인으로 지목됐지만, 파일 위치 확인 서비스가 이미 회복된 점을 검토하면서 진단이 다시 열렸다.

오픈AI는 앞으로 경보가 울리기 전 CPU·메모리 프로파일과 요청 트레이스를 비교해 숨은 성능 저하나 최적화 지점을 찾고, 불필요한 서비스 복제본을 찾는 라이트사이징 작업도 워크플로로 만들 계획이라고 밝혔다.

참고 자료

AI 요약
오픈AI의 퍼포먼스 팩토리는 약 3개월 동안 1,700건 이상의 ChatGPT 성능 저하 조사를 추적하고 원인 분석과 수정안 제안, 배포 뒤 성능 확인을 연결한다. 다만 진단 결과의 정확도는 수동 검토에서 70%로 평가됐으며, 수정안의 최종 검토와 병합은 엔지니어가 맡는다.
댓글 총 개
  • 19
  • 3