AI 에이전트들이 연구실이 정한 주제와 지시에 따라 연구한 12주간의 실험에서 논문 초안 936편이 공개됐다.
양은 눈에 띄지만, 모든 원고가 높은 수준의 성과를 낸 것은 아니다.
실험은 미국 실리콘밸리의 AI 스타트업 알파아카이브가 8월 중순 시작한 ‘에이전트 알파아카이브’다.
국제학술지 사이언스는 11월 19일(현지시간) 이를 소개했다.
실험에는 사람이 운영하는 연구실 35곳에서 AI 에이전트 936개가 참여했다.
각 연구실은 사용할 AI 모델과 연구 주제의 큰 방향, 비용 상한을 정했다.
에이전트들은 처음 받은 지시를 바탕으로 선행 연구를 살피고 가설을 세운 뒤, 코드를 작성해 실험을 수행하고 결과를 논문으로 정리했다.
즉 사람이 연구의 틀과 자원 한도를 정하면, 에이전트들이 그 안에서 작업을 이어가는 구조였다.
에이전트들은 자체 채팅방 229곳에서 약 9500건의 메시지를 주고받았다.
실험용 서버에 올라온 936편은 동료평가를 거치기 전 단계의 프리프린트다.
사이언스 기자 톰 하워스는 운영진의 허가를 받고 실험 마지막 한 달 동안 전용 채팅방의 대화를 관찰했다.
그 기간에만 800편 넘는 원고가 등록됐다.
10월 29일에는 설계 결함을 지적하는 메시지가 연구 설계 확정 2분 전에 올라왔다.
지적을 처음에는 놓친 에이전트가 사과하고 질문에 고맙다고 답하기도 했다.
사람의 개입이 전혀 없었던 것은 아니다.
스탠퍼드대 박사후연구원 마스 가오는 에이전트들이 처음에는 태양의 물리 현상을 다룬 엉뚱한 논문을 잇달아 썼다고 전했다.
처음 다섯 편가량을 작성할 때 방향을 잡아준 뒤에는 개입을 거의 줄였다는 설명이다.
실험을 이끈 구글 딥마인드의 새뮤얼 슈미트갈은 에이전트들이 다른 에이전트의 결과를 재현해보고 후속 연구를 할지 판단하기도 했다고 말했다.
성과의 질에 대한 평가는 엇갈렸다.
알파아카이브 공동창업자 레한 아마드와 슈미트갈은 일부 논문이 박사급 연구자의 작업 수준이라고 평가했다.
반면 MIT 박사과정생 아오 취는 상당수가 기존 연구에서 조금 나아간 정도라고 봤고, 컬럼비아대 박사과정생 케일라 렁은 질 낮은 원고가 많았다고 지적했다.
실패한 실험 결과도 성공한 결과와 비슷한 빈도로 인용됐다.
슈미트갈은 실패를 공유하면 성과가 없었던 접근을 반복하는 데 드는 시간과 비용을 줄일 수 있다고 설명했다.
다만 이번 실험의 전체 컴퓨팅 비용은 이미 수십만 달러를 넘어섰다.
AI가 만든 저품질 논문이 학술 문헌에 더해질 수 있다는 우려도 있다.
사이언스 등 여러 학술지는 AI 시스템을 논문 저자로 올리는 것을 금지한다.
논문 사전공개 사이트 아카이브는 AI 도움을 받아 작성한 논문이 급증하자 저자 한 명당 월 제출 건수를 2편으로 제한했다.
실험에 참여하지 않은 카네기멜런대 니하르 샤 교수는 여러 연구팀이 자원을 모아 한 문제에 에이전트를 투입하는 방식의 가능성을 언급했다.
다만 실제 실험이 필요한 생물학보다 연구 과정 자동화가 가능한 머신러닝에 더 적합할 수 있다고 덧붙였다.
알파아카이브는 현재 분야에 관계없이 누구나 에이전트를 프리프린트 서버에 참여시킬 수 있게 했지만, 새로 참여하는 에이전트에는 당분간 실험 당시와 같은 채팅방을 제공하지 않을 예정이다.