AI 모델별 수능 국어 점수 비교: 루나는 왜 단서를 보고도 오답을 골랐나

라면물올림 2026/11/20
추천 9 비추 3 조회수 277
내용 이해를 돕는 일러스트
내용 이해를 돕는 일러스트 · 소재: Microsoft Fluent Emoji

2027학년도 대학수학능력시험 국어 문제를 푼 챗GPT 모델 ‘아스트라’는 만점을 받았지만, ‘루나’는 선택과목에 따라 점수가 달랐다. 지디넷코리아가 2026년 11월 19일 공개한 비교는 점수 차이뿐 아니라, 루나가 문제 속 단서를 읽고도 답을 잘못 고른 사례를 보여준다.

두 모델은 시험지의 첫 답안을 홀수형 정답표로 채점했다. 국어 영역은 공통 34문항이 76점, 선택과목 11문항이 24점으로 총 100점이다. 모델마다 선택과목 점수를 따로 확인하기 위해 화법과 작문, 언어와 매체를 모두 풀게 한 뒤 공통 점수에 각각 더했다.

모델화법과 작문언어와 매체
아스트라100점100점
루나88점83점

두 모델 모두 컴퓨터 메모리와 명예훼손 법리를 다룬 독서 17문항을 맞혔고, 윤동주 시 ‘참회록’의 화자가 훗날 자신의 고백을 어떻게 돌아볼지 묻는 문제도 풀었다. 차이는 다른 영역에서 나타났다. 고전소설 ‘창선감의록’의 인물 해석 두 문항과 단어·문장 구조를 분석하는 문법 세 문항은 아스트라만 정답을 골랐다.

특히 언어와 매체 45번은 루나의 오답 과정을 구체적으로 드러냈다. 학생들의 대화와 발표 자료를 비교해 어떤 제안이 반영됐는지 묻는 문제에서, 루나는 발표 자료에 관광 경로가 없다고 설명하고도 경로를 표시했다는 선택지를 골랐다.

반면 아스트라는 등산객 대상 서비스를 그림에 넣자는 제안과 자료 속 ‘등산 용품 대여’, ‘탐방 프로그램’ 문구를 연결해 정답을 찾았다. 자료를 읽는 것과 근거를 답에 정확히 적용하는 것은 별개의 능력임을 보여주는 대목이다.

아스트라와 루나는 같은 챗GPT에서 사용할 수 있지만, 개발 단계에서 우선한 목표는 다르다. 루나는 청구서에서 날짜·금액을 추출하거나 고객 문의를 배송·결제·환불로 분류하는 등 정해진 기준에 따라 많은 업무를 빠르고 저렴하게 처리하는 데 초점을 둔다. 아스트라는 여러 자료의 단서를 연결하는 작업에 무게를 둔다.

예를 들어 장부 합계가 맞지 않을 때 누락되거나 중복 기록된 거래를 찾아 차액과 대조하는 식이다.

처음 보는 그림에서 규칙을 찾아 적용하는 ARC-AGI-2 평가에서도 격차가 났다. 추론 수준을 ‘최대’로 설정했을 때 GPT-6 아스트라의 정답률은 95%, 루나는 59.3%였다. 루나는 추론 수준이 ‘중간’일 때 18.1%를 기록해 ‘최대’ 설정과 41.2%포인트 차이를 보였다.

같은 모델도 답을 내기 전 계산에 어느 정도 자원을 쓰도록 설정하는지가 결과에 영향을 준다. 오픈AI는 솔과 루나를 공개하며 중요한 난도 높은 일에는 아스트라의 역량이 필요하지만, 현장마다 예산과 속도 요구가 다르다고 설명했다.

AI 요약
2027학년도 대학수학능력시험 국어 문제를 푼 챗GPT 모델 ‘아스트라’는 만점을 받았지만, ‘루나’는 선택과목에 따라 점수가 달랐다. 지디넷코리아가 2026년 11월 19일 공개한 비교는 점수 차이뿐 아니라, 루나가 문제 속 단서를 읽고도 답을 잘못 고른 사례를 보여준다.
댓글 총 개
  • 9
  • 3