알파고는 어떻게 바둑을 배웠나…신경망과 자기 대국의 역할

바둑은 가능한 판의 배치가 10의 170제곱에 이를 만큼 복잡해 인공지능의 어려운 과제로 여겨졌다. 딥마인드에 따르면 수십 년간 개발된 컴퓨터 바둑 프로그램도 인간 아마추어 수준에 머물렀다. 가능한 수가 많아 표준적인 인공지능 방식으로는 판세를 평가하기 어려웠고, 인간 기사의 창의성과 직관을 구현하는 일도 과제였다. 알파고는 심층 신경망과 탐색 알고리즘을 결합해 바둑에 도전했다.

알파고의 두 신경망은 서로 다른 일을 맡았다. 정책 신경망은 다음에 둘 수를 선택하고, 가치 신경망은 대국의 승자를 예측한다. 알파고는 먼저 전문가 기보 수천 건을 학습해 인간이 두는 방식을 익혔다. 그 뒤 서로 다른 버전의 알파고끼리 수천 차례 대국하며 실수에서 배우게 했다. 대국과 시행착오를 거쳐 성능을 높이는 이 과정이 강화학습이다.

이런 학습을 거친 알파고의 수는 인간 기사에게도 예상 밖이었다. 2016년 3월 서울에서 열린 이세돌과의 5번기 제2국에서 알파고는 37수를 뒀다. 딥마인드는 인간 프로 기사가 둘 확률이 1만분의 1인 수라고 설명했으며, 당시 프로 해설자들은 처음에 실수로 여겼다. 이 수는 알파고의 승리에 기여했다.

예상 밖의 수는 알파고에만 나온 것이 아니었다. 제4국에서는 이세돌이 78수로 이겼고, 딥마인드는 그 수 역시 둘 확률이 1만분의 1이었다고 밝혔다. 두 수는 이후에도 여러 수준의 바둑 기사들이 살펴보는 대상이 됐다. 알파고는 5번기에서 4승 1패를 기록했다. 딥마인드는 이 승리가 신경망을 복잡한 문제에 적용할 수 있고, 강화학습으로 기계가 시행착오를 통해 어려운 문제를 풀 수 있음을 보여줬다고 평가했다.