알파고는 어떻게 바둑을 배웠나…정책망과 자기 대국의 역할

알파고는 전문가들의 기보로 사람이 바둑을 두는 방식을 익힌 뒤, 자기 자신과 수천 번 대국하며 실력을 키웠다.

바둑판의 가능한 배치는 10의 170제곱에 이르며, 알려진 우주의 원자 수보다 많다.

알파고가 개발되기 전 강한 컴퓨터 바둑 프로그램도 아마추어 수준에 머물렀고, 기존 AI 방식은 방대한 수의 가능성을 평가하는 데 어려움을 겪었다.

알파고는 신경망과 탐색 알고리즘을 결합해 이 문제에 접근했다.

두 신경망의 역할은 달랐다. 정책망은 다음에 둘 수를 선택하고, 가치망은 승자를 예측했다.

알파고는 먼저 전문가 대국 수천 판을 학습했고, 이어 서로 다른 버전의 자신과 대국했다.

자기 대국에서 실수를 거듭하며 배우는 강화학습을 통해 점차 강해졌다.

즉, 사람의 기보로 바둑의 기본적인 수를 익힌 뒤 자기 대국으로 실력을 다듬는 방식이었다.

이 학습이 낳은 수는 2016년 3월 서울에서 이세돌과 둔 대국에서도 주목받았다.

제2국에서 알파고가 둔 37수는 선택될 가능성이 1만 분의 1로 설명될 만큼 이례적인 수였고, 승리에 기여했다.

제4국에서는 이세돌의 78수가 승리를 이끌었다. 이 수 역시 선택 가능성이 1만 분의 1로 소개됐다.

두 사례는 알파고의 이례적인 착수와 인간 기사의 대응을 함께 보여준다.

알파고는 5번기에서 4승 1패를 기록했고, 대국은 전 세계 2억 명 이상이 시청했다.

대국에서 나온 수를 바탕으로 컴퓨터 바둑 프로그램 최초의 프로 9단 인증도 받았다.

딥마인드는 이 성과가 신경망을 복잡한 문제에 적용할 수 있음을 보여줬다고 설명한다.

시행착오로 학습하는 강화학습과 수를 내다보는 능력은 이후 AI 시스템에도 이어졌으며, 알파제로·뮤제로·알파데브가 그 아이디어를 계승했다.