오픈AI, ChatGPT 속도 저하 자동 해결: 퍼포먼스 팩토리는 3개월간 1,700건 넘는 조사 추적

하품하는살구 2026/11/21
추천 2 비추 0 조회수 129

오픈AI는 Codex 기반 자율 시스템 ‘퍼포먼스 팩토리’를 공개해 ChatGPT의 성능 저하를 조사하고 수정안을 제안하는 절차를 자동화했다.

숏텐츠는 이를 ChatGPT 속도 저하 자동 해결 사례로 제시하지만, 최종 수정안을 검토하고 병합하는 일은 엔지니어가 맡는다.

자동화는 원인 조사와 수정안 제안, 배포 뒤 성능 확인까지 이어지며, 사람의 판단을 완전히 대신하는 방식은 아니다.

첫 번째 워크플로인 리그레션 워크플로는 약 3개월 동안 1,700건이 넘는 조사를 추적했고, 이 가운데 600건 이상에서 근본 원인을 규명했다.

조사량은 하루 평균 약 17건이다. 오픈AI는 근본 원인 제안 100건을 수동으로 살펴본 결과 70%가 정확했다고 평가했다.

나머지 제안은 추가 보완이 필요하거나 원인과 결과의 관계를 충분히 입증하지 못했다.

성능 경보가 울리면 시스템은 조사 작업을 만들고 에이전트가 슬로다운의 원인을 분석해 결과를 기록한다.

이어 엔지니어에게 수정안을 제안하고, 수정안이 배포되면 다른 에이전트가 같은 작업을 이어받아 성능이 기존 기준선으로 회복됐는지 확인한다.

경보부터 사후 확인까지 하나의 작업 흐름으로 묶은 구조다.

퍼포먼스 팩토리는 작업 서비스, 디스패치 루프, 클라우드 Codex, 구독 기능으로 구성된다.

작업 서비스는 마크다운 설정 파일과 프롬프트로 단계와 상태 전환 조건, 사람의 개입이 필요한 지점을 정한다.

디스패치 루프는 다음 단계로 넘어갈 작업을 확인해 에이전트를 배정한다.

에이전트는 오픈AI 내부 네트워크의 클라우드 환경에서 코드 저장소와 지표, 로그, 트레이스, CPU 프로파일, 메모리 스냅샷 등을 활용한다.

사람의 검토나 배포를 기다리는 작업은 GitHub 리뷰 댓글이나 CI 실패 같은 이벤트를 구독했다가 해당 상황이 발생하면 다시 진행된다.

에이전트는 별도 서비스 계정으로 실행돼 권한 범위가 제한되고, 어떤 행동이 성능 에이전트에서 비롯됐는지 구별할 수 있도록 설계됐다.

초기에는 에이전트가 그럴듯한 첫 설명에서 조사를 멈추거나 잘못된 진단을 내리는 일이 있었다.

오픈AI는 별도 Codex 세션이 진단을 반박하는 ‘적대적 검토’ 단계를 추가했다.

한 사례에서는 이미지 다운로드 오류가 원인으로 지목됐지만, 파일 위치 확인 서비스가 이미 회복된 사실이 드러나면서 진단을 다시 검토했다.

원인을 찾는 것보다 적절한 수정안을 만드는 일이 더 어려운 점도 드러났다.

변경이 필요 이상으로 복잡하거나 새 문제를 일으킬 수 있고, 캐시를 추가해 속도를 높이는 방안도 오래된 데이터가 남을 가능성을 고려해야 한다.

그래서 최종 검토와 병합은 엔지니어가 맡는다.

오픈AI는 과거 장애를 이용한 백테스트와 요약문 가독성 평가를 도입했고, 앞으로는 경보가 울리기 전 CPU·메모리 프로파일과 요청 트레이스를 비교해 숨은 성능 저하나 최적화 기회를 찾는 방향으로 확장할 계획이라고 밝혔다.

참고 자료

AI 요약
오픈AI의 퍼포먼스 팩토리는 약 3개월간 1,700건이 넘는 ChatGPT 성능 저하 조사를 추적하고 600건 이상에서 근본 원인을 규명했다. 에이전트가 조사와 수정안 제안, 배포 뒤 확인을 맡지만 최종 수정 검토와 병합은 엔지니어가 담당한다.
댓글 총 개
  • 2
  • 0