NYU 스턴 음성 AI 구술시험, 질문은 어떻게 이어지고 비용은 얼마였나

누리21 2026/11/22
추천 4 비추 0 조회수 86

뉴욕대 스턴경영대학원에서는 음성 AI가 학생과 대화하며 구술시험을 진행했다. 학생의 답변에 맞춰 후속 질문을 내고, 팀 프로젝트를 얼마나 이해했는지 살피는 방식이다. 시스템은 파노스 이페이로티스와 콘스탄티노스 리자코스가 개발해 스턴 강의에서 사용했다.

내용 이해를 돕는 일러스트
내용 이해를 돕는 일러스트 · 소재: Microsoft Fluent Emoji

연구진은 평가 질문을 루브릭, 즉 평가 기준표에 따라 동적으로 생성할 수 있다고 설명했다. 또 시험 구조를 사전에 공개할 수 있다고 밝혔다. 이는 평가 기준을 공개한다는 뜻과는 구별되며, 질문은 학생의 응답에 따라 이어지도록 설계됐다.

스턴 공식 사이트가 소개한 사례에서 한 학생은 환자의 위험도 순위를 매기는 관점에서, 전화 개입이 실제 변화를 가져올 환자를 우선하는 관점으로 답을 바꿨다. 후속 질문 한 번 뒤 나온 응답은 ‘문제 설정’ 항목에서 4점 만점에 3점, ‘Proficient’로 평가됐다. Claude 3, Gemini 3, GPT 3의 평가도 일치했다고 사이트는 전했다.

한편 AI 구술평가 연구의 채점 설명에서는 시험 문제와 루브릭, 학생의 구술 응답 녹취록을 채점 모델에 함께 제공했다고 한다. NYU 연구 보고서에 제시된 방식에서는 대형언어모델 3개가 먼저 독립적으로 점수를 매긴 뒤, 서로의 평가를 읽고 점수를 수정했다.

연구 보고서에 따르면 학부 AI·머신러닝 과목에서 2025년 가을 학생 36명, 2026년 봄 학생 37명이 시험을 치렀다. 초기 시행의 운영비는 총 15달러, 학생 1인당 약 42센트였다. 두 학기 시험을 다룬 보고서는 음성 구독료가 전체 발화 시간을 충당했으며 채점 비용은 시험당 1달러 미만이었다고 밝혔다. 초기 운영비 합계와 시험당 채점 비용은 서로 다른 항목이다.

스턴 공식 사이트는 초기 시행에서 대부분의 학생이 시험이 실제 이해도를 평가했다고 동의했다고 전했다. 이는 학생들의 반응에 관한 학교 측 설명이다. 연구는 2026년 《Communications of the ACM》에 게재된 논문의 저자 공개본으로 제시됐다.

참고 자료

AI 요약
뉴욕대 스턴경영대학원에서는 음성 AI가 학생과 대화하며 구술시험을 진행했다. 학생의 답변에 맞춰 후속 질문을 내고, 팀 프로젝트를 얼마나 이해했는지 살피는 방식이다.
댓글 총 개
  • 4
  • 0