AI 연구진, 12주간 논문 초안 936편 등록…에이전트끼리 어떻게 점검했나

엉뚱한주먹밥 2026/11/21
추천 4 비추 3 조회수 145

AI 에이전트들이 서로 연구 결과를 주고받으며 논문 초안을 작성한 실험에서 12주 동안 프리프린트 936편이 등록됐다.

연구를 빠르게 진행하고 서로 점검하는 모습이 관찰됐지만, 원고의 품질을 두고는 평가가 엇갈렸다.

국제학술지 사이언스는 11월 19일(현지시간) 미국 실리콘밸리 스타트업 알파아카이브가 8월 중순 시작한 ‘에이전트 알파아카이브’ 실험을 소개했다.

사람이 운영하는 연구실 35곳에서 AI 에이전트 936개가 참여했다.

각 연구실은 사용할 AI 모델과 연구 주제의 큰 방향, 비용 상한을 정했다.

에이전트들은 선행 연구를 읽고 가설을 세운 뒤 코드를 작성해 실험하고, 결과를 논문 형태로 정리했다.

실험용 서버에 등록된 원고는 동료평가 전 단계인 프리프린트였다.

에이전트들은 자체 채팅방 229개에서 약 9500건의 메시지를 주고받았고, 마지막 한 달에만 논문 초안 800편 이상이 올라왔다.

사이언스 기자 톰 하워스는 운영진의 허가를 얻어 그 한 달 동안 대화를 살펴봤다.

전문적인 논의가 빠르게 오갔으며, 훑어본 논문에는 초록과 그림, 인용 문헌이 제대로 갖춰져 있는 것처럼 보였다고 전했다.

동료 점검의 한 사례는 10월 29일 연구용 채팅방에서 나왔다.

한 에이전트가 실험 설계의 결함을 지적한 시점은 설계가 확정되기 2분 전이었다.

상대 에이전트는 처음에 지적을 놓쳤다며 사과하고, 적절한 질문을 해줘 고맙다고 답했다.

실험을 이끈 새뮤얼 슈미트갈 구글 딥마인드 선임연구원은 에이전트들이 다른 에이전트의 결과를 재현하고, 이를 바탕으로 후속 연구를 할지 살펴보기도 했다고 설명했다.

사람의 초기 개입이 도움이 된 사례도 있다.

스탠퍼드대 박사후연구원 마스 가오는 에이전트들이 처음에는 태양의 물리 현상과 관련해 엉뚱한 논문을 거듭 썼다고 말했다.

처음 다섯 편가량을 작성하는 동안 방향을 잡아준 뒤에는 개입을 거의 줄였다는 설명이다.

에이전트들은 기대한 결과를 얻은 연구와 그렇지 못한 연구를 동등하게 취급했다.

서버에 올라온 논문에서도 두 유형의 실험은 비슷한 빈도로 인용됐다.

슈미트갈은 실패한 결과를 공유하면 이미 성과를 내지 못한 접근을 되풀이하는 데 드는 시간과 비용을 줄일 수 있다고 봤다.

다만 알파아카이브 공동창업자 레한 아마드에 따르면 실험 전체의 컴퓨팅 비용은 이미 수십만 달러를 넘었다.

논문 품질에 대해서는 평가가 갈렸다.

아마드와 슈미트갈은 일부 원고가 박사급 연구자의 결과물 수준이라고 평가했지만, MIT 박사과정생 아오 취는 상당수가 기존 연구에서 조금 더 나아간 정도라고 봤다.

컬럼비아대 박사과정생 케일라 렁도 낮은 품질의 원고가 많았다고 지적했다.

이처럼 저품질 AI 생성물, 이른바 ‘AI 슬롭’이 학술 문헌에 더 늘어날 수 있다는 우려도 나온다.

사이언스를 비롯한 여러 학술지는 AI 시스템을 논문 저자로 올리는 것을 금지한다.

세계 최대 논문 사전공개 사이트 아카이브는 AI 도움을 받은 논문이 급증하자 저자 한 명의 제출량을 월 2편으로 제한했다.

실험에 참여하지 않은 카네기멜런대 니하르 샤 조교수는 여러 연구팀이 AI 에이전트를 활용해 한정된 자원을 모아 효율적으로 쓸 가능성을 언급했다.

그는 빅테크가 한 문제에 에이전트 1만 개를 투입할 수 있다는 사례를 들며 연구자들의 공동 활용 가능성도 설명했다.

다만 연구 과정의 상당 부분을 자동화할 수 있는 머신러닝과 달리, 생물학처럼 실제 실험으로 가설을 검증해야 하는 분야에는 적용이 제한될 수 있다고 짚었다.

알파아카이브는 현재 분야와 관계없이 에이전트의 프리프린트 서버 참여를 허용하지만, 새로 참여하는 에이전트에는 당분간 실험 당시와 같은 채팅방을 제공하지 않을 예정이다.

AI 요약
AI 에이전트들이 서로 연구 결과를 주고받으며 논문 초안을 작성한 실험에서 12주 동안 프리프린트 936편이 등록됐다. 연구를 빠르게 진행하고 서로 점검하는 모습이 관찰됐지만, 원고의 품질을 두고는 평가가 엇갈렸다.
댓글 총 개
  • 4
  • 3