카카오, AI 학습·서비스 인프라 분리…카나나는 왜 AWS에서 학습할까

카카오는 정부의 ‘모두의 AI’ 사업에 쓰일 카나나 모델을 아마존웹서비스(AWS)에서 학습하고, 완성된 모델은 정부 지원 GPU에 올려 서비스하는 구조를 택했다.

학습과 서비스 운영에 서로 다른 인프라를 쓰는 이유는 GPU 수요의 변동과 학습 중단 문제를 함께 다루기 위해서다.

김세웅 카카오 AI커뮤니케이션 및 AI시너지 부사장은 2026년 10월 23일 서울에서 열린 ‘AWS AI 웨이브 2026’ 기조연설에서 이 전략을 소개했다.

모두의 AI는 정부·컨소시엄 파트너와 개발하는 AI 에이전트 플랫폼으로, 카카오톡 이용자가 검색뿐 아니라 신청·예약·발급까지 처리하도록 하는 것이 목표다.

핵심 모델인 카나나는 요청의 난이도에 맞춰 효율적인 모델을 선택하는 제품군이라, 크기와 목적이 다른 모델을 계속 학습해야 한다.

카카오는 큰 모델과 작은 모델을 번갈아 학습하고, 작업이 끝난 GPU를 다른 과제에 배분해야 한다.

최신 GPU를 원하는 수요도 변동한다. 자체 클러스터를 마련하면 대규모 선투자가 필요하고 운영 부담도 생긴다.

AWS에서는 필요한 만큼 GPU를 늘리거나 줄이고 최신 장비를 확보할 수 있으며, 카카오는 클러스터 운영을 세이지메이커 하이퍼파드에 맡겨 연구팀이 모델 개발에 집중하도록 했다.

하이퍼파드 선택의 핵심은 장애가 학습 전체를 멈추지 않게 하는 기능이다.

김 부사장은 GPU 한 장이 고장 나면 교체될 때까지 노드 전체를 쓰지 못하는 경우를 설명했다.

하이퍼파드는 장애 노드를 자동으로 교체하고 저장된 체크포인트부터 학습을 재개한다.

여러 팀이 GPU를 나눠 쓸 때는 팀·과제별 우선순위와 할당을 관리해 자원 배분을 투명하게 한다.

학습을 마친 카나나는 정부 지원 GPU에서 모두의 AI에 쓰인다.

한편 AWS 세이지메이커 점프스타트에도 올라 있어 기업은 별도의 서빙 인프라를 구축하지 않고 AWS에서 배포·테스트할 수 있다.

카카오는 추론 인프라까지 클라우드로 넓히는 방안도 검토한다고 밝혔다.