모티프, AAII 세계 10위에도 독파모 2차 평가 탈락한 이유

모티프는 모티프테크놀로지를 가리킨다. 이 회사는 글로벌 벤치마크 AAII에서 세계 10위 성적을 냈지만, 정부의 ‘독자 AI 파운데이션 모델’(독파모) 2차 평가에서는 다음 단계 진출팀에 들지 못했다. 벤치마크 성적이 높았던 팀이 탈락한 배경에 관심이 커졌지만, 공개된 내용만으로는 어느 평가 항목에서 얼마나 차이가 났는지 확인되지 않는다.

핵심 내용

• 과학기술정보통신부는 18일 독파모 2차 평가 결과를 발표했다.
• 기존 4개 정예팀 중 업스테이지, SK텔레콤, LG AI연구원 등 3개 팀이 다음 단계에 진출했다.
• 모티프테크놀로지는 AAII에서 두각을 보였으나 최종 생존팀에는 포함되지 않았다.
• 이번 평가는 글로벌 벤치마크 40점, 국민 참여형 사용자 평가 25점, 기존 외부 전문가 평가를 합산하는 종합평가 방식으로 진행됐다.

정부는 단일 벤치마크 점수만으로 결과가 결정되지 않도록 평가체계를 다변화한 것으로 설명했다. 따라서 AAII 성적은 중요한 지표이지만, 독파모 2차 평가의 전체 결과를 그대로 뜻하는 점수는 아니었다는 해석이 가능하다.

AAII 성적이 있어도 결과를 단정하기 어려운 이유

모티프의 탈락을 두고 가장 큰 쟁점은 세부 점수다. 기사에 따르면 각 컨소시엄의 평가 격차는 근소했지만, AAII 성적을 다른 평가 결과가 어떻게 뒤집었는지 보여주는 항목별 점수는 공개되지 않았다. 모티프가 국민 평가나 전문가 평가에서 어떤 점수를 받았는지, 다른 팀과 어느 정도 차이가 났는지도 확인되지 않는다.

이 때문에 “AAII 세계 10위인데 왜 탈락했나”라는 질문에는 현재 공개된 정보만으로 명확한 답을 내리기 어렵다. 확인 가능한 사실은 AAII를 포함한 벤치마크 외에 사용자·전문가 평가까지 합친 총점으로 순위가 정해졌고, 그 종합평가에서 모티프가 3개 생존팀보다 낮은 결과를 받았다는 점이다.

벤치맥싱 논란과 남은 의문

벤치맥싱은 특정 벤치마크에 모델을 맞춰 점수를 높이는 과정에서 실제 AI 역량과 평가 점수 사이에 차이가 생길 수 있다는 문제를 뜻한다. 정부는 이 문제가 이번 평가에 영향을 미치지 않았다고 밝혔다.

다만 벤치마크에서 강점을 보인 모티프의 탈락과 근소한 팀 간 격차가 함께 알려진 데 비해 세부 점수가 공개되지 않아, 평가의 공정성과 변별력을 둘러싼 의문은 남아 있다. 현재로서는 AAII 성적만으로 독파모 결과를 설명하거나, 탈락의 직접 원인을 특정하기는 어렵다.