알파고는 어떻게 바둑을 배웠나: 신경망과 자기 대국의 역할

바둑은 가능한 판의 배치가 10의 170제곱에 이르는 게임이다. 구글 딥마인드는 바둑이 체스보다 구골 배 복잡하다고 설명했다. 수십 년 동안 개발된 강력한 컴퓨터 바둑 프로그램도 사람 아마추어 수준에 그쳤다. 가능한 수가 너무 많아 평가하기 어려웠고, 기존 인공지능 방식은 인간 기사의 직관과 창의성을 갖추지 못했기 때문이다.

알파고는 심층 신경망과 탐색 알고리즘을 결합했다. 정책 신경망은 다음에 둘 수를 선택하고, 가치 신경망은 대국의 승자를 예측한다.

학습은 사람의 기보를 익히는 데서 시작했다. 알파고는 전문가 대국 수천 판을 학습해 인간이 바둑을 두는 방식을 익혔다. 이후 서로 다른 버전끼리 수천 차례 대국하며 실수에서 배우도록 했다. 시행착오를 통해 성능을 높이는 이 과정이 강화학습이다. 즉, 사람의 대국에서 바둑의 방식을 익힌 뒤 자기 대국으로 실력을 다듬었다.

이 학습 방식으로 성장한 알파고는 전문가들이 예상한 시점보다 10년 앞서 바둑 세계 챔피언을 꺾었다고 딥마인드는 설명한다. 2016년 이세돌과의 5번기 2국에서 알파고가 둔 37수는 딥마인드가 선택될 확률을 1만분의 1로 설명한 수였다. 딥마인드는 이 창의적인 수가 2국 승리에 기여했다고 밝혔다. 4국에서 이세돌이 승리할 때 둔 78수 역시 나올 가능성이 1만분의 1이었다고 소개했다. 이 수 또한 창의적인 수로 평가됐으며, 다양한 수준의 바둑 기사들이 이후 살펴봤다.

딥마인드는 알파고의 성과가 신경망을 복잡한 문제에 적용할 수 있음을 보여줬고, 강화학습은 기계가 시행착오로 어려운 문제를 해결하는 방식을 제시했다고 설명한다. 여러 수 앞을 내다보고 계획하는 능력도 오늘날 인공지능 시스템에 이어지고 있다. 후속 시스템인 AlphaZero, MuZero, AlphaDev도 알파고의 기술적 유산을 바탕으로 개발됐다.