이슈가 미치는 치명적 영향
llms.txt 파일이 거의 무시된다는 사실은 웹사이트 소유자들이 AI의 콘텐츠 사용을 제어하려는 노력이 사실상 무의미하다는 것을 의미합니다. 이는 콘텐츠 무단 학습 및 활용에 대한 우려를 증폭시키고, 저작권 및 데이터 주권 문제를 심화시킬 수 있습니다. 특히 SEO 관점에서는 AI가 어떤 콘텐츠를 학습하고 생성하는지에 대한 통제력 상실로 이어져, SERP에서 AI Overviews(AIO)와의 경쟁에서 불리한 입장에 놓일 수 있습니다.
대응 가이드 및 기회 요소
llms.txt의 한계를 인지하고, 다음과 같은 새로운 전략을 고려해야 합니다.
- Google이 언급한 대로 robots.txt 파일을 사용하여 AI 봇의 크롤링을 제어하는 것이 여전히 가장 현실적인 방법입니다. (단, Google의 SGE는 robots.txt를 따르지 않을 수 있다는 점 유의)
- 메타 태그를 활용하여 AI가 콘텐츠를 인덱싱하거나 요약하는 것을 제한하는 방안을 고려해야 합니다.
- 콘텐츠 내에 Open Knowledge Format(OKF)과 같은 새로운 표준을 적용하여 AI에게 콘텐츠의 사용 목적과 제한 사항을 명시적으로 전달하는 방안을 모색해야 합니다.
- 콘텐츠의 독창성과 고유한 가치(Non-Commodity)를 강화하여, AI가 단순히 복제할 수 없는 콘텐츠를 생산하는 데 집중해야 합니다. 이는 AI Overviews(AIO)와의 차별화를 통해 사용자 트래픽을 유도할 기회가 됩니다.
- AI의 콘텐츠 재활용 방식과 검색 알고리즘 변화에 대한 지속적인 모니터링이 필수적입니다.
현재로서는 기술적 통제보다는 콘텐츠 자체의 가치 향상이 더 중요합니다.
장기적 주의점
장기적으로는 AI의 콘텐츠 학습 및 활용에 대한 산업 표준이나 법적/제도적 장치가 마련될 가능성이 있습니다. 웹마스터와 SEO 전문가는 이러한 변화의 흐름을 주시하고, 새로운 기술적 해결책이나 정책적 변화에 유연하게 대응할 준비를 해야 합니다. 또한, 사용자 데이터 프라이버시와 저작권 보호에 대한 사회적 논의가 심화될 것이므로, 이에 대한 기업 차원의 윤리적 가이드라인을 수립하는 것도 중요합니다.
도입 배경
AI 모델, 특히 대규모 언어 모델(LLM)의 등장과 함께, 웹사이트 소유자들은 자신들의 콘텐츠가 AI 학습에 어떻게 활용될지에 대한 우려를 표명하기 시작했습니다. 이에 대한 대응책으로 robots.txt 파일과 유사한 개념의 llms.txt 파일이 제안되었습니다. 이 파일은 웹사이트 콘텐츠가 LLM 학습에 사용되는 것을 제어하거나, 특정 AI 봇의 접근을 차단하려는 목적으로 도입되었습니다. 그러나 이러한 시도에도 불구하고, 실제 효용성에 대한 의문이 제기되어 왔습니다.
구체적인 변화/이슈
최근 Ahrefs의 심층 분석 결과는 이러한 의문에 대한 명확한 답변을 제공합니다. 137,000개 이상의 웹사이트를 대상으로 한 분석에서, llms.txt 파일의 97%가 ‘전혀 읽히지 않고 있다’는 충격적인 사실이 밝혀졌습니다. 이는 대부분의 AI 봇들이 llms.txt 파일을 인식하거나 따르지 않고 있음을 의미합니다. Google 또한 새로운 도움말 문서 업데이트를 통해 ‘llms.txt 파일은 검색 순위에 도움이 되지도 해를 끼치지도 않으며, Google은 이를 단순히 무시한다’고 공식적으로 밝혔습니다. 이 연구는 llms.txt 파일이 현재로서는 대부분의 AI 검색 엔진이나 LLM 학습 봇에 의해 준수되지 않고 있거나, 아예 존재 자체를 인지하지 못하고 있다는 점을 명확히 보여줍니다. 즉, 웹마스터가 이 파일을 통해 AI의 콘텐츠 접근을 제어하려는 노력이 사실상 무의미하다는 결론입니다.
결과/전망
이러한 분석 결과는 llms.txt 파일의 실질적인 효과가 거의 없다는 것을 입증합니다. 현재로서는 AI 모델의 콘텐츠 사용을 통제하려는 시도가 성공적이지 못하며, 웹사이트 소유자들은 다른 방법을 모색해야 할 것입니다. 예를 들어, 메타 태그(meta tags)를 사용하거나, Open Knowledge Format (OKF)과 같은 새로운 표준을 통해 콘텐츠의 AI 사용 방식을 명시하는 방안이 논의되고 있습니다. 이 연구는 AI 제어의 한계, 표준화된 프로토콜의 부재, 그리고 웹마스터의 무력감이라는 세 가지 중요한 메시지를 던집니다.