알파고는 어떻게 다음 수를 골랐을까? 두 신경망과 자기 대국의 역할

알파고는 바둑의 다음 수를 한 가지 방식으로만 정하지 않았다.

구글 딥마인드의 설명에 따르면, 이 시스템은 두 신경망과 탐색 알고리즘을 결합했다.

한쪽은 둘 자리의 선택을 돕고, 다른 한쪽은 대국의 승자를 예측했다.

그런 설계가 필요했던 배경에는 바둑의 복잡성이 있다. 가능한 바둑판 배치는 10의 170제곱에 이른다.

딥마인드는 수십 년간 개발된 가장 강한 바둑 프로그램도 인간 아마추어 수준에 머물렀다고 설명한다.

가능한 수가 방대한 데다 인간 기사의 창의성과 직관을 기존 인공지능 방식으로 다루기 어려웠다는 것이다.

알파고의 정책 신경망은 다음에 둘 수를 선택하고, 가치 신경망은 누가 이길지 예측한다.

딥마인드는 여기에 탐색 알고리즘을 더했다.

따라서 알파고의 수 선택은 ‘어디에 둘까’를 정하는 기능과 ‘이 대국에서 이길 가능성이 있는가’를 가늠하는 기능이 맞물린 구조로 이해할 수 있다.

학습도 두 단계로 진행됐다. 먼저 전문가들의 기보 수천 건을 보여줘 사람이 바둑을 두는 방식을 익히게 했다.

이후에는 서로 다른 버전의 알파고끼리 수천 번 대국하게 하고, 실수에서 배우도록 했다.

딥마인드는 이 과정을 강화학습이라고 설명한다.

인간의 기보를 익히는 데서 멈추지 않고, 반복 대국을 통해 스스로 실력을 끌어올린 셈이다.

이 시스템은 2016년 3월 서울에서 당시 세계 타이틀 18회 우승자인 이세돌과 맞붙어 4승 1패로 이겼다.

다만 이 결과만으로 매 수의 판단 과정을 알 수 있는 것은 아니다.

딥마인드가 공개한 설명에서 핵심은 정책망이 수를 고르고 가치망이 승자를 예측하며, 자기 대국을 통한 학습이 이를 뒷받침했다는 점이다.

출처 7