llms.txt란? AI 검색을 위한 사이트 이정표 만들기

llms.txt는 웹사이트 루트(/llms.txt)에 두는 마크다운 파일로, 생성형 AI가 사이트의 핵심 콘텐츠를 빠르고 정확하게 이해하도록 안내하는 ‘AI를 위한 이정표’입니다. 광고·내비게이션·스크립트가 뒤섞인 HTML 대신, 사람이 큐레이션한 핵심 문서 목록을 AI에게 곧바로 건네주는 것이 핵심입니다.

llms.txt란 무엇인가요?

llms.txt는 2024년 9월 Answer.AI의 Jeremy Howard가 제안한 신흥 규격입니다. 대규모 언어 모델(LLM)은 한 번에 처리할 수 있는 맥락(컨텍스트)이 제한적이고, 일반 웹페이지에는 본문과 무관한 요소가 많아 핵심을 추려내기 어렵습니다. llms.txt는 이 노이즈를 걷어내고 “이 사이트에서 중요한 문서는 이것들이다”를 마크다운 링크 목록으로 제시합니다.

왜 필요한가요?

검색의 무게중심이 검색엔진에서 생성형 AI로 옮겨가면서, AI가 답변을 만들 때 어떤 사이트를 근거로 인용하느냐가 중요해졌습니다. llms.txt가 있으면 AI는 사이트의 성격과 핵심 페이지를 추측하지 않고 바로 파악할 수 있어, 인용 정확도와 노출 가능성이 높아집니다.

robots.txt와 무엇이 다른가요?

이름이 비슷해 헷갈리지만 목적이 반대 방향입니다.

• robots.txt — 크롤러의 접근을 허용·차단하는 규칙(기계용). “들어와도 되는가?”
• llms.txt — 핵심 콘텐츠를 안내하는 이정표(사람도 읽기 쉬운 마크다운). “무엇이 중요한가?”

즉 robots.txt는 문지기, llms.txt는 안내데스크에 가깝습니다. 둘은 함께 쓰는 것이 자연스럽습니다.

llms.txt는 어떻게 작성하나요?

정해진 구조가 있습니다. H1 제목(필수), > 한 줄 요약(blockquote, 필수), 그리고 ## 섹션별 링크 목록입니다. 각 링크에는 짧은 설명을 붙입니다.

# 사이트명

> 사이트를 한 줄로 소개하는 요약 문장.

필요하면 여기에 배경 설명을 한두 문단 덧붙입니다.

## 주요 문서
- [서비스 소개](https://example.com/about): 무엇을 하는 서비스인지
- [요금제](https://example.com/pricing): 가격과 플랜 안내
- [문서](https://example.com/docs): 사용 방법

## Optional
- [블로그](https://example.com/blog): 부가 자료 (컨텍스트가 부족하면 생략 가능)

## Optional섹션은 “컨텍스트가 빠듯하면 건너뛰어도 되는 자료”라는 신호입니다. 핵심 페이지 5~15개를 추려 링크하고, 콘텐츠가 바뀌면 주기적으로 갱신하세요.

llms-full.txt는 무엇인가요?

llms.txt가 핵심 문서로 가는 링크 목록이라면, llms-full.txt는 그 문서들의 전체 본문을 한 파일에 펼쳐 담은 버전입니다. 문서·개발자 사이트처럼 AI가 전체 내용을 한 번에 읽어가길 원할 때 함께 제공합니다.

지금 꼭 만들어야 하나요?

정직하게 말하면, llms.txt는 아직 공식 표준이 아니며 OpenAI·구글 같은 주요 AI가 이 파일을 반드시 읽는다고 보장되지는 않습니다. 다만 개발자 도구·문서 사이트를 중심으로 채택이 빠르게 늘고 있고, 만드는 비용이 매우 낮습니다.