알파고는 다음 수와 승자를 어떻게 판단했나

알파고는 바둑의 복잡한 선택지를 다루기 위해 심층 신경망 두 개와 탐색 알고리즘을 결합했다.

딥마인드에 따르면 바둑판의 가능한 배치 수는 10의 170제곱에 이른다. 이는 알려진 우주의 원자 수보다 많다.

가능한 수가 방대하고 인간 고수의 직관과 창의성을 구현하기 어려워, 수십 년간 연구된 바둑 프로그램도 최고 수준이 인간 아마추어에 머물렀다.

두 신경망은 서로 다른 역할을 맡았다. 정책망은 다음에 둘 수를 선택하고, 가치망은 승자가 누구일지 예측한다.

알파고는 이 신경망들과 탐색 알고리즘을 함께 사용했다.

탐색 알고리즘은 앞을 내다보고 계획하는 역할을 했으며, 신경망은 다음 수와 승부 전망을 판단하는 데 쓰였다.

따라서 알파고의 수 선택은 한 가지 계산만으로 이뤄진 것이 아니라 이 구성 요소들이 결합된 방식이었다.

학습은 전문가 기보를 익히는 단계에서 시작됐다. 알파고는 전문가들의 대국 수천 판을 학습해 사람이 바둑을 두는 방식을 익혔다.

이후 서로 다른 버전의 알파고끼리 수천 차례 대국하며 실수에서 배우는 강화학습을 진행했다.

자기 대국을 거듭하고 그 경험으로 실력을 높였다는 것이 딥마인드의 설명이다.

학습 결과는 기존 관념에서 벗어난 수에서도 드러났다.

알파고는 이세돌과의 2국에서 당시 1만 번 중 한 번꼴로 선택될 수 있다고 소개된 37수를 뒀고, 이 수는 승리에 기여했다.

2016년 3월 서울에서 열린 5번기에서 알파고는 4승 1패로 이겼다.

딥마인드는 이 성과가 신경망을 복잡한 영역에 적용할 수 있고, 강화학습으로 기계가 시행착오를 통해 어려운 문제를 학습할 수 있음을 보여줬다고 평가했다.