클로드 오푸스 4.7이 올해 세무사 1차 시험 회계학개론 40문항을 모두 맞혔다.
시험지를 이미지로만 제시하고 정답이나 해설은 주지 않은 조건에서 나온 결과다.
같은 과목에서 실제 90점 이상을 받은 응시자도 2025년 2명에서 올해 66명으로 늘어, AI 성능과 수험 결과가 함께 주목받고 있다.
황정아 더불어민주당 의원실은 4월 25일 시행된 제63회 세무사 1차 시험 문제를 클로드 모델들에 풀게 한 뒤 한국산업인력공단의 최종 정답으로 채점했다.
오푸스 4.7은 시험 9일 전인 4월 16일 출시된 모델이다.
반면 2025년 출시된 소네트 4.5는 62.5점, 하이쿠 4.5는 25점, 오푸스 4.5는 75점을 받았다.
같은 계열 모델이라도 성적 차이가 컸고, 시험 직전 출시된 최신 모델은 만점을 기록했다.
실제 응시자 성적도 상승했다.
회계학개론 90점 이상은 2024년 1명, 2025년 2명에서 올해 66명으로 늘었고, 최고점은 각각 90점, 95점, 100점이었다.
올해 만점자는 1명이다.
황정아 의원은 고득점자가 30배 넘게 늘어난 점을 우연으로 보기 어렵다며, 통계적 특이성 등을 전수조사해 부정행위 여부를 가려야 한다고 밝혔다.
다만 이 수치만으로 AI가 고득점자 증가를 일으켰다고 단정할 수는 없다.
과목에 따라 필요한 정보의 조건도 달랐다.
오푸스 4.7은 세법학개론을 문제지만 보고 풀었을 때 72.5점이었지만, 국가법령정보센터 등에서 법령 원문을 참고하도록 하자 40문항을 모두 맞혔다.
반면 올해 세법학개론에서 실제 90점 이상을 받은 응시자는 만점자 1명뿐이었다.
시험 이후 나온 모델의 성적도 높았다.
세무사 시험 뒤 출시된 모델 9개는 모두 회계학개론에서 90점 이상을 받았고, 그중 6개는 만점이었다.
이달 출시된 페이블 5.2는 별도 학습 없이 문제지만 보고 회계학개론과 세법학개론에서 만점을 받았으며, 법학적성시험(리트) 70문항도 모두 맞혔다.
회계학개론 40문항을 푸는 데 걸린 시간은 약 1분 30초였다.
리트 사례에서도 시험 직전 모델과 추가 학습의 차이가 드러났다.
7월 시행된 2027학년도 시험에서 40일 전에 출시된 페이블 5는 언어이해 30문항을 모두 맞히고 추리논증 40문항 중 39문항을 맞혔다.
최근 3개년 기출문제를 학습시키고 문항을 나눠 풀게 한 뒤에는 추리논증도 만점이었다.
황 의원은 수능에 적용된 관리·감독 방안을 국가자격시험으로 확대하는 등 시험 공정성 대책을 마련해야 한다고 밝혔다.