알파고는 다음 수를 어떻게 고르고 승자를 예측했나

알파고는 전문가의 기보로 사람이 두는 방식을 익힌 뒤, 자기 자신과 반복해서 대국하며 실력을 높였다.

딥마인드가 소개한 작동 원리의 핵심은 다음 수를 고르는 정책망과 승자를 예측하는 가치망, 그리고 탐색 알고리즘의 결합이다.

바둑은 가능한 판의 배치가 10의 170제곱에 이르는 게임이다. 딥마인드는 바둑이 체스보다 구골 배 복잡하다고 설명한다.

가능한 수가 매우 많아 기존의 강력한 바둑 프로그램도 수십 년간 아마추어 수준에 머물렀다.

기존 AI 방식은 방대한 후보 수를 평가하는 데 어려움을 겪었다.

알파고는 신경망 두 개에 서로 다른 역할을 맡기고 탐색 알고리즘과 결합했다.

정책망은 다음에 둘 수를 선택하고, 가치망은 현재 판세를 바탕으로 승자를 예측한다.

학습의 첫 단계에서는 전문가들의 기보 수천 판을 입력해 인간의 수 선택 방식을 익혔다.

이어 서로 다른 버전의 알파고끼리 수천 번 대국시켰다. 각 대국에서 실수로부터 배우며 전략을 개선하는 과정이 강화학습이다.

따라서 알파고는 사람의 기보를 그대로 따라 하는 데 그치지 않고, 자기 대국을 거쳐 수 선택을 다듬었다.

2016년 이세돌과의 대국에서 나온 두 수는 드물고 예상 밖의 수가 승부에 영향을 미친 사례다.

알파고의 2국 37수는 딥마인드가 1만 번 중 한 번꼴로 선택될 수 있는 수라고 소개했으며, 알파고의 승리에 도움이 됐다.

반면 4국에서는 이세돌이 78수로 승리했다. 딥마인드는 이 수 역시 1만 번 중 한 번꼴로 나올 수 있는 수였다고 설명한다.

알파고는 이 5번기에서 4승 1패를 기록했다.