알파고는 어떻게 바둑을 배워 다음 수를 골랐나

알파고는 인간 전문가의 기보를 익힌 뒤 자기 자신과 대국하며 바둑 실력을 키웠다.

구글 딥마인드는 심층 신경망과 탐색 알고리즘을 결합해 알파고를 만들었다.

딥마인드는 바둑이 체스보다 구골 배 복잡하다고 설명했다.

가능한 판의 형태는 10의 170제곱에 이르며, 이는 알려진 우주의 원자 수보다 많다.

강한 컴퓨터 프로그램도 오랫동안 인간 아마추어 수준에 머물렀는데, 가능한 수가 너무 많아 판세를 평가하기 어려웠기 때문이다.

알파고의 신경망 두 개는 서로 다른 역할을 했다. 정책망은 다음에 둘 수를 선택하고, 가치망은 대국의 승자를 예측했다.

알파고는 이 신경망들과 탐색 알고리즘을 결합해 복잡한 바둑판에서 다음 수를 정했다.

학습은 두 단계로 진행됐다. 먼저 알파고는 수천 건의 전문가 대국을 보며 사람이 바둑을 두는 방식을 배웠다.

이어 서로 다른 버전의 알파고끼리 수천 번 대국하며 실수에서 학습하는 강화학습을 했다.

사람의 기보를 따라 하는 데 그치지 않고 시행착오를 거듭하며 실력을 높인 것이다.

이 학습 방식은 실제 대국에서 예상 밖의 수를 두는 모습으로도 드러났다.

2016년 3월 서울에서 이세돌과 치른 5번기 제2국에서 알파고는 37수를 뒀다.

딥마인드에 따르면 이 수가 선택될 가능성은 1만분의 1이었고, 이 수는 대국 승리에 기여했다.

이후 여러 수준의 바둑 기사들이 이 수를 살펴봤다.

알파고의 성과는 신경망과 강화학습이 복잡한 문제를 해결하는 데 적용될 수 있음을 보여준 사례였다.