챗GPT와 1980년대 언어 기술, 문맥을 다루는 방식은 어떻게 달랐나

행복한고양이 2026/11/01
추천 0 비추 0 조회수 3078

1980년대 후반부터 주목받은 자연어 처리 기술은 오늘날 챗GPT처럼 대화를 이어가는 모델과는 쓰임과 구조가 달랐다.

당시 인기를 얻은 통계적 언어 모델은 음성 인식이나 기계 번역 같은 과제에 활용됐다.

당시 기술이 대화형 답변을 전혀 만들 수 없었다고 단정하기보다는, 자료에 나온 모델의 용도와 문맥을 처리하는 방식을 살펴보면 차이가 드러난다.

대표 사례인 은닉 마르코프 모델(HMM)은 음성이나 손글씨처럼 순서가 있는 데이터를 예측하는 데 유용한 통계 모델이다.

n-그램 모델은 앞선 n−1개 항을 바탕으로 다음 항을 예측한다.

두 모델은 음성 인식과 기계 번역 같은 작업에서 쓰였지만, 제한된 주변 항을 참고하는 방식이라는 설명은 n-그램에 해당한다.

HMM과 n-그램이 언어를 처리하는 방식은 같지 않다.

그보다 앞선 1960년대 중반, 조지프 바이젠바움은 MIT에서 대화를 흉내 내는 프로그램 ELIZA를 만들었다.

이는 초기 대화 프로그램의 사례다.

다만 ELIZA가 있었다는 사실만으로 당시 시스템이 챗GPT처럼 문맥을 폭넓게 다뤘다고 볼 수는 없다.

문장을 넘어 문단과 더 큰 단위의 관계를 살피는 구조는 2017년 소개된 트랜스포머에서 두드러진다.

트랜스포머는 셀프어텐션을 이용해 문맥 속 단어나 구절의 중요도를 평가한다.

이어 2018년 OpenAI가 첫 GPT를 소개했고, 2020년 공개한 GPT-3는 최대 1750억 개 매개변수를 갖췄다.

2022년 공개된 챗GPT는 대화 작업에 맞게 미세 조정된 GPT-3의 변형으로 소개됐다.

따라서 두 시기의 차이는 단순히 모델의 크기만이 아니라, 특정 과제의 순차 데이터 처리에서 문맥을 활용하는 대화형 생성으로 발전한 데 있다.

참고 자료

AI 요약
1980년대 후반부터 주목받은 자연어 처리 기술은 오늘날 챗GPT처럼 대화를 이어가는 모델과는 쓰임과 구조가 달랐다. 당시 인기를 얻은 통계적 언어 모델은 음성 인식이나 기계 번역 같은 과제에 활용됐다.
댓글 총 개
  • 0
  • 0