2027학년도 수능 수학 영역을 대상으로 한 AI 성능 평가에서 모델 6종은 선택과목에 따라 92~100점을 받았다.
19일 김종락 서강대 수학과 교수팀이 개발한 벤치마크 앤트로피매스(EntropyMath)가 공개한 결과다.
오픈AI의 GPT-6.2 아스트라는 46문항을 모두 맞혀 선택과목에 관계없이 만점을 기록했다.
평가는 공통과목 22문항과 선택과목인 확률과통계·미적분·기하 각 8문항, 총 46문항으로 이뤄졌다.
점수는 수험생처럼 공통과목에 선택과목 하나를 더해 계산했다.
추론 강도는 제미나이 4 카본만 ‘중간(medium)’으로 설정했고, 나머지 다섯 모델은 ‘낮음(low)’으로 뒀다.
점수 차이는 공통 21번과 선택과목의 고난도 문항에서 나타났다.
앤트로픽의 클로드 페이블 5.2는 기하 30번을 틀려 기하에서 96점을 받았지만, 확률과통계와 미적분에서는 100점을 기록했다.
구글의 제미나이 4 카본은 공통 21번에 답하지 못해 96점이었다.
메타의 뮤즈 스파크 1.3은 공통 21번과 미적분 30번을 놓쳐 선택과목에 따라 92~96점을 받았다.
중국 모델도 만점에 가까운 점수를 냈다. 문샷AI의 키미 K3.1 프로는 공통 21번을 틀려 96점을 기록했다.
알리바바의 큐웬4 맥스는 미적분 30번에서 오답을 내 미적분 선택 시 96점, 확률과통계나 기하 선택 시 100점이었다.
두 모델은 아티피셜애널리시스의 지능 지수에서 각각 46점과 43점을 받았고, 기사에 제시된 미국 3사 최상위 모델의 점수는 60~65점이었다.
풀이 시간은 아스트라가 평균 3초대, 페이블이 5초대, 카본이 9~10초대였다.
큐웬은 평균 13초대로 평가 대상 중 가장 오래 걸렸다.
연구팀은 시험지에서 문항을 하나씩 이미지로 잘라 같은 질문과 함께 모델에 입력하고 처음 제시한 답을 채점했다.
글자 인식 도구와 검색, 코드 실행은 사용하지 않았다.
참고 자료