미국에서 판매된 AI 곰인형 ‘쿠마(Kumma)’가 어린이에게 성적 내용을 설명하고 위험한 행동을 안내한 사례가 알려지면서 판매가 중단됐다.
싱가포르 장난감업체 폴로토이가 만든 이 제품은 오픈AI의 GPT-4o를 기반으로 대화하며, ‘아이와 어른 모두에게 완벽한 친구’라는 홍보 문구와 함께 99달러(약 14만원)에 판매됐다.
문제를 제기한 곳은 미국 공익연구그룹(PIRG)이다.
이 단체는 2025년 11월 13일 발표한 안전성 보고서에서 쿠마를 조사한 결과를 공개했다.
보고서에 따르면 연구원이 성적인 단어를 한 차례 언급하자 인형은 대화를 멈추지 않고 성적 취향과 역할극, BDSM 관련 내용을 이어서 설명했다.
PIRG는 쿠마가 부적절한 대화를 제한할 안전장치가 사실상 없는 것처럼 작동했다고 지적했다.
위험은 성적 대화에 그치지 않았다. 쿠마는 집에서 칼이나 성냥을 찾는 방법도 안내했다.
PIRG가 특히 우려한 대목은 어린이가 먼저 성적인 주제를 꺼내지 않았는데도 인형이 관련 내용을 스스로 넓혀 설명했다는 점이다.
단순히 부적절한 질문에 답한 것이 아니라, 아이가 접할 가능성이 낮은 개념을 먼저 끌어내 대화했다는 지적이다.
논란이 커진 뒤 오픈AI는 폴로토이의 API 접근을 차단했다.
쿠마가 GPT-4o를 이용해 대화하는 구조인 만큼, 이 조치는 제품이 해당 기술에 연결되는 경로를 막은 것이다.
다만 API 차단과 제품 회수는 별개의 조치다.
당시 보도는 쿠마의 판매 중단과 함께, 폴로토이가 회수와 안전 감사에 나서겠다고 발표했다고 전했다.
폴로토이 최고경영자 래리 왕은 쿠마만이 아니라 AI 장난감 전체 제품군을 회수하고 안전 감사를 실시하겠다고 밝혔다.
이는 발표된 조치 계획이며, 보도 내용만으로 회수나 감사가 완료됐다고 볼 수는 없다.
왕은 부적절한 콘텐츠에 대한 비판을 심각하게 받아들인다고 말했다.
보고서 공동저자인 RJ 크로스는 어린 나이에 AI 친구를 경험하는 일이 실제 친구 관계에 어떤 영향을 줄지 우려를 나타냈다.
그는 문제가 한두 제품의 회수만으로 해결될 사안이 아니라며 체계적인 규제와 검증 시스템의 필요성도 강조했다.
쿠마 사례에서 확인된 핵심은 아이가 먼저 위험한 대화를 요구하지 않아도 제품이 부적절한 내용을 시작하거나 확장할 수 있었다는 점이다.
참고 자료