다음의 AI 크롤러 차단 현황, 왜 v.daum.net에서는 기사 본문이 읽혔나

하품하는달빛 2026/11/19
추천 3 비추 1 조회수 77

다음은 10월 초부터 뉴스 페이지에 외부 크롤러를 전면 차단했다고 밝혔지만, 16일 진행된 접근성 테스트에서는 일부 AI 봇이 제휴 언론사 기사를 읽어냈다.

차단을 발표했는지 여부보다 실제 뉴스 제공 경로에 규칙이 적용됐는지가 쟁점으로 떠올랐다.

다음은 9월 21일 미디어데이에서 외부 뉴스 크롤러를 막겠다는 방침을 공개했다.

이후 조치 내용을 묻자 16일 “10월 초부터 크롤링을 전면 차단했다”고 답했다.

다음 전체가 아니라 다음뉴스 기사뷰 페이지를 직접 차단하는 방식이며, 구글 등 주요 검색엔진에서 다음뉴스 기사가 나오지 않는다고도 설명했다.

그러나 블루닷AI와 함께 v.daum.net의 접근성을 검사한 결과, 시험한 주요 AI 크롤러 8개 가운데 GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등 4개가 기사 페이지에서 정상적인 HTML 응답을 받고 본문까지 추출했다.

이는 해당 테스트 기사에 한해 콘텐츠가 기술적으로 수집될 수 있었다는 뜻이다.

다음은 robots.txt를 통한 선언적 차단을 daum.net에는 적용했지만, 실제 뉴스 제공 호스트인 v.daum.net에는 반영하지 않은 상태였다.

비교 대상으로 제시된 네이버는 기사 호스트인 n.news.naver.com의 robots.txt에 주요 크롤러 차단을 명시했고, 같은 방식의 본문 추출도 이뤄지지 않았다.

다음의 설명과 테스트 결과가 어긋나자 차단 대상과 경로, 조치 효과를 구체적으로 밝히라는 요구가 커졌다.

다음은 뉴스 외에도 여러 서비스가 있어 도메인 전체에 뉴스와 같은 정책을 일괄 적용하기 어렵다고 했지만, 이 답변만으로는 기사 호스트에서 봇 접근이 가능했던 이유가 해소되지 않았다.

논란의 배경에는 언론계가 우려해 온 ‘데이터·트래픽 누수’가 있다.

AI 크롤러가 다음을 통해 국내 뉴스 기사를 수집·학습할 수 있다는 걱정과, 검색 결과에서 언론사 사이트 대신 다음 링크가 먼저 노출돼 언론사 방문을 가로챈다는 지적이 이어졌다.

차단 발표 뒤에도 다음이 AI 검색의 언론사 인용량에서 상위권에 들고, 구글 등에서 다음 링크가 기사 출처로 나타나는 사례가 관찰됐다.

10월 말 한국온라인신문협회 간담회에서도 다음의 조치를 두고 논의가 나왔다.

한 신문사 관계자는 문제를 알면서도 속였다고 보기엔 쉽게 드러날 일이라 이해하기 어렵다는 업계 반응을 전했다.

블루닷AI 이성규 대표는 핵심은 v.daum.net에 차단 규칙을 명확히 적용하는 것이라며, 차단 대상과 범위, 검증 결과를 언론에 설명해야 한다고 말했다.

AI 요약
다음은 10월 초부터 뉴스 페이지에 외부 크롤러를 전면 차단했다고 밝혔지만, 16일 진행된 접근성 테스트에서는 일부 AI 봇이 제휴 언론사 기사를 읽어냈다. 차단을 발표했는지 여부보다 실제 뉴스 제공 경로에 규칙이 적용됐는지가 쟁점으로 떠올랐다.
댓글 총 개
  • 3
  • 1