챗gpt와 1980년대 언어 모델, 문맥을 다루는 방식은 어떻게 달랐을까?

1980년대 후반부터 자연어 처리에서는 통계 언어 모델이 주목받았습니다.

이 모델들은 오늘날 챗gpt와 같은 대화형 서비스와 같은 방식으로 작동한 것이 아니라, 음성 인식이나 기계 번역처럼 언어의 순서를 분석하는 과제에 주로 쓰였습니다.

당시 기술이 대화를 전혀 다루지 못했다고 단정하기보다는, 무엇을 예측하고 어떤 용도로 발전했는지를 살펴보는 편이 정확합니다.

대표적인 은닉 마르코프 모델(HMM)은 음성이나 손글씨처럼 순서가 있는 데이터를 다루는 통계 모델입니다.

n-그램 모델은 앞선 n−1개 항목을 바탕으로 다음 항목을 예측합니다.

따라서 주변 단어의 순서를 활용할 수 있지만, n-그램의 예측은 정해진 길이의 앞부분을 기준으로 합니다.

긴 문장이나 대화에서 멀리 떨어진 표현까지 함께 고려하는 방식과는 차이가 있습니다.

두 모델은 음성 인식과 기계 번역에 활용됐으며, 오늘날의 대화형 답변 생성과는 목적이 달랐습니다.

자연어 처리의 중요한 변화로 꼽히는 트랜스포머 구조는 2017년에 소개됐습니다.

이 구조는 단어를 차례대로만 살피는 대신 셀프어텐션을 이용해 문장이나 문단 안에서 단어와 구절의 중요도를 평가합니다.

덕분에 더 넓은 문맥의 관계를 다룰 수 있는 기반이 마련됐습니다.

이후 OpenAI는 2018년 첫 GPT를 소개했고, 2020년에는 최대 1,750억 개의 매개변수를 가진 GPT-3를 공개했습니다.

챗gpt는 2022년 공개된, 대화 작업에 맞게 미세 조정된 GPT-3 계열 모델입니다.

질문에 답하고 후속 질문에도 응답하도록 소개됐다는 점에서, 순차 예측을 중심으로 한 초기 통계 모델과 역할이 다릅니다.

그렇다고 초기 대화 프로그램이 없었던 것은 아닙니다.

1960년대 중반 MIT에서 만들어진 ELIZA는 사용자의 말을 주로 되풀이해 대화를 이어 가는 방식이었습니다.

이는 대화를 흉내 낸 초기 사례지만, 더 넓은 문맥을 처리하는 챗gpt의 기능과는 구별됩니다.