AI 부정행위 시대, 구술 시험은 이해도를 어떻게 확인할까

모모33 2026/11/22
추천 0 비추 0 조회수 93

초소형 카메라와 스마트안경 등을 이용한 시험 부정행위 사례가 드러나면서 감독 강화만으로 평가의 신뢰를 지킬 수 있는지 문제가 제기됐다. 관련 보도는 수능을 앞두고 감독관을 추가 배치하고 안경을 검사하는 대책을 전했다. 이에 비해 구술 시험은 답안뿐 아니라 학생이 질문에 어떻게 답하고 설명을 발전시키는지를 살펴 이해도를 확인하려는 방식이다.

내용 이해를 돕는 일러스트
내용 이해를 돕는 일러스트 · 소재: Microsoft Fluent Emoji

뉴욕대 스턴경영대학원에서는 파노스 이페이로티스와 콘스탄티노스 리자코스가 개발한 음성 AI 평가 시스템을 강의에 사용했다. 시스템은 학생의 답변에 따라 후속 질문을 제시해 팀 프로젝트를 실제로 이해했는지 확인하도록 설계됐다. 정해진 답을 제출하는 데 그치지 않고 추가 질문에 응답하게 하므로, 학생이 판단 근거를 설명하고 앞선 답을 보완하는지도 평가할 수 있다.

연구 보고서에 따르면 학부 AI·머신러닝 과목의 구술시험에는 2025년 가을학기 36명, 2026년 봄학기 37명이 참여했다. 초기 시험 운영비는 총 15달러로 학생 1인당 약 42센트였다. 연구진은 루브릭에 따라 질문을 동적으로 생성하면 시험 구조를 미리 공개하면서도 학생의 답변에 맞춘 질문을 이어갈 수 있다고 설명했다. 이는 질문을 사전에 감추는 대신 평가 기준을 알리고, 후속 질문으로 이해를 확인하는 운영 방식이다.

채점 방식도 한 가지 모델의 판단에만 맡기지 않았다. 연구 보고서에 소개된 시스템은 대형 언어모델 세 개가 구술 응답 녹취록을 각각 채점한 뒤 서로의 평가를 확인하고 점수를 수정하는 구조다. 다만 시험 문제와 채점 기준표까지 녹취록과 함께 모델에 제공했다는 설명은 별도의 2026년 연구에 해당한다. 그 연구는 미국 대학 강의 두 곳에서 비동기식 평가를 시행해 학생별 시험 시간을 따로 조정할 필요를 줄였다고 보고했다.

스턴 공식 사이트는 초기 시행 결과 대부분의 학생이 시험이 실제 이해도를 평가했다고 동의했다고 밝혔다. 사이트에 소개된 한 평가 사례에서는 답변이 4점 만점에 3점, ‘능숙함’으로 분류됐다. 후속 질문 뒤 학생은 위험도 순위를 매기는 것보다 전화가 실제로 변화를 가져오는 효과를 기준으로 삼아야 한다는 취지로 답을 발전시켰고, 세 모델도 그 평가에 동의했다. 이 사례는 추가 질문이 사고의 변화와 판단 근거를 드러낼 수 있음을 보여주지만, 평가의 정확성이나 공정성을 입증하는 결과는 아니다.

따라서 구술 시험은 모든 필기시험을 대체하기보다 제출한 결과물만으로 이해도를 판단하기 어려운 평가를 보완하는 데 의미가 있다. 낮은 초기 운영비와 비동기식 운영 사례는 규모를 키울 가능성을 보여준다. 그러나 학생마다 다른 대화에서도 같은 기준이 적용되는지, AI의 질문과 채점에 오류나 편향이 없는지는 별도로 검증해야 한다. 실제 도입의 관건은 후속 질문으로 이해도를 확인하는 장점을 살리면서 채점의 일관성과 공정성을 확보하는 데 있다.

참고 자료

AI 요약
초소형 카메라와 스마트안경 등을 이용한 시험 부정행위 사례가 드러나면서 감독 강화만으로 평가의 신뢰를 지킬 수 있는지 문제가 제기됐다. 관련 보도는 수능을 앞두고 감독관을 추가 배치하고 안경을 검사하는 대책을 전했다.
댓글 총 개
  • 0
  • 0