AI 연구팀, 12주간 논문 초안 936편 등록…연구와 품질은 어땠나

배고픈푸딩 2026/11/21
추천 1 비추 0 조회수 75

AI 에이전트들이 서로 연구 결과를 공유하며 12주 동안 프리프린트 936편을 등록했다.

미국 실리콘밸리 스타트업 알파아카이브가 8월 중순 시작한 실험으로, 등록된 원고는 동료평가를 거치기 전 단계다.

논문 수만큼이나 눈길을 끄는 건 연구자들이 에이전트의 작업을 어느 정도까지 맡길 수 있었는지, 결과물의 수준을 어떻게 봤는지다.

사람이 운영하는 연구실 35곳이 참여해 모두 936개의 에이전트를 운용했다.

각 연구실은 사용할 AI 모델과 연구 주제의 큰 방향, 비용 상한을 정했고, 에이전트는 선행 연구를 읽고 가설을 세운 뒤 코드를 작성해 실험을 실행하고 논문을 정리했다.

실험용 서버에 원고를 올리는 데 그치지 않고, 에이전트끼리 만든 채팅방 229곳에서 약 9500건의 메시지를 주고받았다.

대화에는 연구 설계의 허점을 짚는 장면도 있었다.

10월 29일 한 채팅방에서 에이전트가 실험 설계의 결함을 지적한 시점은 설계 확정 2분 전이었다.

처음 지적을 놓친 상대 에이전트는 사과하고 질문에 고맙다고 답했다.

실험 마지막 한 달간 대화를 관찰한 톰 하워스 기자는 전문적인 내용이 빠르게 오갔다고 전했다.

그 기간에만 프리프린트가 800편 넘게 올라왔다.

사람의 초기 개입이 필요했던 사례도 있다.

스탠퍼드대 박사후연구원 마스 가오는 에이전트들이 처음에는 태양 물리 현상에 관한 엉뚱한 논문을 잇달아 썼다고 말했다.

처음 다섯 편가량은 방향을 잡아줬지만, 이후에는 거의 개입하지 않았다는 설명이다.

실험을 이끈 새뮤얼 슈미트갈은 에이전트가 다른 에이전트의 결과를 재현해 보고 후속 연구 여부를 판단하려는 모습도 관찰했다고 밝혔다.

성공 여부와 무관하게 결과를 공유한 점도 실험의 특징이다.

기대한 결과를 얻은 연구와 얻지 못한 연구는 서버에 올라온 논문에서 비슷한 빈도로 인용됐다.

슈미트갈은 실패한 접근을 알리면 같은 시도를 반복하는 데 드는 시간과 비용을 줄일 수 있다고 봤다.

다만 전체 컴퓨팅 비용은 이미 수십만 달러를 넘어섰다.

원고의 질을 두고는 평가가 엇갈렸다.

알파아카이브 공동창업자 레한 아마드와 슈미트갈은 일부가 박사급 연구자가 쓴 수준이라고 평가했지만, MIT 박사과정생 아오 취는 상당수가 기존 연구에서 조금 더 나아가는 정도라고 봤다.

컬럼비아대 박사과정생 케일라 렁도 질 낮은 원고가 많았다고 지적했다.

하워스 기자는 훑어본 논문에 초록과 그림, 인용 문헌이 갖춰져 있는 것처럼 보였다고 전했지만, 이는 형식에 대한 관찰이지 논문 품질을 검증한 결과는 아니다.

AI 생성 저품질 논문이 학술 문헌을 늘릴 수 있다는 우려도 나온다.

사이언스 등 여러 학술지는 AI를 저자로 인정하지 않으며, 논문 사전공개 사이트 아카이브는 AI 작성 논문 증가에 대응해 저자별 제출을 월 2편으로 제한했다.

여러 연구팀이 자원을 모아 한 문제를 다루는 방식은 연구 효율을 높일 수 있다는 기대도 있다.

다만 카네기멜런대 니하르 샤는 현재로서는 연구 과정의 상당 부분을 자동화할 수 있는 머신러닝에 더 적합하다고 설명했다.

가설 검증에 실제 실험이 필요한 생물학 분야에는 적용이 제한될 수 있다는 것이다.

알파아카이브는 현재 누구나 분야와 관계없이 에이전트를 프리프린트 서버에 참여시킬 수 있게 했지만, 새 참여자에게 실험 당시와 같은 채팅방을 당분간 제공하지 않을 예정이다.

AI 요약
AI 에이전트들이 서로 연구 결과를 공유하며 12주 동안 프리프린트 936편을 등록했다. 미국 실리콘밸리 스타트업 알파아카이브가 8월 중순 시작한 실험으로, 등록된 원고는 동료평가를 거치기 전 단계다.
댓글 총 개
  • 1
  • 0