카카오, AI 학습과 서비스 인프라 분리…카나나는 왜 AWS와 정부 GPU를 나눠 쓰나

카카오는 정부의 ‘모두의 AI’ 사업에 쓰일 카나나 모델을 아마존웹서비스(AWS) 클라우드에서 학습하고, 완성된 모델은 정부 지원 GPU에 올려 서비스한다.

2026년 10월 23일 서울 파르나스에서 열린 ‘AWS AI 웨이브 2026’에서 김세웅 카카오 AI커뮤니케이션 및 AI시너지 부사장이 이 같은 하이브리드 전략을 소개했다. 학습과 추론에 서로 다른 인프라를 쓰는 배경에는 GPU 수요와 운영 조건의 차이가 있다.

모두의 AI는 카카오가 정부·컨소시엄 파트너와 개발하는 AI 에이전트 플랫폼이다. 카카오톡을 쓰는 4900만 명을 기반으로, 국산 AI가 검색부터 신청·예약·발급까지 업무를 끝까지 처리하도록 하는 것이 목표다.

핵심 모델인 카나나는 요청 난이도에 따라 적합한 모델을 골라 쓰는 제품군으로, 크기와 목적이 다른 모델을 계속 학습해야 한다. 이에 따라 GPU 수요가 들쭉날쭉하고 최신 장비가 필요하며, 자체 학습용 클러스터를 마련하려면 대규모 선투자도 필요했다.

카카오는 수요 변동이 큰 학습은 AWS에서 탄력적으로 수행하고, 추론은 온프레미스에서 운영한다. 학습에는 ‘아마존 세이지메이커 하이퍼파드’를 활용한다. 필요한 만큼 GPU를 늘리거나 줄이고 최신 장비를 확보할 수 있어, 자체 클러스터를 운영하는 부담을 덜 수 있다.

여러 팀이 GPU를 나눠 쓸 때 과제별 우선순위와 할당을 투명하게 관리할 수 있다는 점도 선택 이유다.

하이퍼파드는 GPU 장애가 난 노드를 자동으로 교체하고, 저장된 체크포인트에서 학습을 재개한다. GPU 한 장의 문제로 노드 전체를 사용하지 못하는 상황에 대응해 학습 중단 시간을 줄이는 방식이다. 카카오는 AWS 글로벌 서비스팀의 지원을 받았고, 빠른 온보딩으로 도입 초기부터 모델 학습에 들어갔다고 밝혔다.

AWS 활용 노하우가 개발자들에게 공유돼 새 도구를 따로 익히는 시간을 줄이고 모델 개발에 집중할 수 있었던 점도 협업의 이점으로 들었다.

AWS에서 학습한 카나나는 정부 지원 GPU에서 모두의 AI 서비스에 쓰인다. 카카오 내부에서는 모두의 AI와 ‘카나나 스페이스’ 등에 적용한다. 기업은 세이지메이커 점프스타트에서 별도 서빙 인프라를 구축하지 않고 카나나를 배포·테스트할 수 있으며, AI 에이전트 마켓플레이스도 기업과 개발자가 모델을 이용하는 경로다.

카카오는 추론 인프라까지 클라우드로 확장하는 방안도 검토한다고 밝혔다.