알파고는 어떻게 바둑을 배웠나: 기보 학습과 자기 대국의 역할

바둑은 가능한 판의 배치가 10의 170제곱에 이르는 복잡한 게임이다. 모든 수와 그에 대한 응수를 차례로 계산하는 방식으로는 경우의 수를 감당하기 어렵다. 딥마인드는 바둑이 오랫동안 인공지능의 난제로 여겨졌고, 강력한 컴퓨터 프로그램도 사람 아마추어 수준에 머물렀다고 설명한다. 알파고는 가능한 수를 전부 따지는 대신 심층 신경망과 탐색 알고리즘을 결합했다.

학습의 출발점은 사람의 대국 기록이었다. 딥마인드에 따르면 알파고는 전문가 대국 수천 판을 익히며 인간이 두는 수의 패턴을 학습했다. 정책망은 승리한 대국에서 나타난 수를 바탕으로 다음 수를 고르고, 가치망은 그 수를 둔 뒤 어느 쪽이 이길 가능성이 큰지 평가한다. 두 망은 각각 ‘어디에 둘까’와 ‘이 선택이 승리에 얼마나 유리할까’를 판단하는 역할을 맡았다.

알파고는 사람의 기보 학습에 그치지 않고 서로 다른 버전의 자신과도 수천 차례 대국했다. 자기 대국에서 실수를 통해 배우는 강화학습을 거치며 실력을 높였다. 기보에서 익힌 수를 되풀이하는 데 머무르지 않고, 자기 대국을 통해 기존 대국에서 보기 어려운 전략을 만들어갈 수 있었던 방식이다.

그 특징은 2016년 3월 10일 이세돌과의 제2국에서 둔 37수에서도 드러났다. 딥마인드는 이 수가 선택될 확률을 1만 분의 1이라고 소개했고, 당시 프로 해설자들은 처음에는 실수로 여겼다. 이 수는 알파고가 해당 대국에서 승리하는 데 기여했다. 알파고는 이세돌과의 5번기에서 4승 1패를 기록했다.

출처 7