AI 에이전트 문서 스캔 점수, 어떻게 해석해야 할까 – 인프라 준비도 점수가 실제로 의미하는 것

AI 에이전트가 기술 문서를 읽는다고 해서, 그 문서를 항상 정확하게 활용할 수 있는 것은 아닙니다. 문서 사이트에 어떤 페이지가 있는지 찾을 수 있는지, HTML이 아닌 기계가 읽기 쉬운 형식으로 내용을 받을 수 있는지, AI 크롤러에 대한 접근 정책이 명시되어 있는지에 따라 에이전트의 문서 활용 방식이 달라집니다.

이번 글에서는 DoveRunner의 개발자 문서 사이트인 DoveRunner Docs를 대상으로 진행한 AI 에이전트 문서 스캔 결과를 분석합니다. DoveRunner Docs는 콘텐츠 보안 제품군(Multi-DRM, 포렌식 워터마킹 등)과 모바일 앱 보안 문서를 제공하는 기술 문서 사이트입니다.

Cloudflare의 Is Your Site Agent-Ready? 도구로 스캔한 결과, DoveRunner Docs는 43/100점, Level 1: Basic Web Presence로 평가되었습니다. 문서 내용 자체를 평가한 결과라기보다, AI 에이전트가 문서 사이트를 발견하고 구조화된 방식으로 접근할 수 있는 인프라가 얼마나 갖춰져 있는지를 보여줍니다.

이 글에서는 해당 스캔 결과를 항목별로 살펴보고, 43점이라는 점수가 실제로 무엇을 의미하는지, 그리고 이런 인프라 스캔만으로는 확인할 수 없는 영역이 무엇인지 정리합니다.

Is Your Site Agent-Ready? 도구가 측정하는 것

이 웹사이트 스캔 툴은 다섯 개 카테고리에 걸쳐 19개 항목을 검사합니다. 콘텐츠 사이트는 그중 해당하는 세 카테고리(Discoverability, Content, Bot Access Control)로 채점되며, 활성화되는 검사 항목은 총 7개입니다.

• Discoverability(발견 가능성): 에이전트가 사이트를 찾고 진입점을 파악할 수 있는가를 확인합니다. 검사 항목: robots.txt, 사이트맵, Link 헤더(RFC 8288), DNS-AID(에이전트 전용 DNS 레코드 표준).

• Content(콘텐츠): 에이전트가 HTML을 파싱하지 않고 콘텐츠를 소비할 수 있는가를 확인합니다. 검사 항목: Markdown 콘텐츠 협상(Accept: text/markdown 응답).

• Bot Access Control(봇 접근 제어): 사이트가 AI 봇에 대한 정책을 선언하고 있는가를 확인합니다. 검사 항목: 크롤러별 robots.txt 규칙, Content Signals(AI 학습/입력 선언), Web Bot Auth(봇 요청 서명 검증).

• API, Auth, MCP & Skill Discovery: 에이전트가 API 구조와 인증 흐름을 자율적으로 파악할 수 있는가를 확인합니다. 검사 항목: API Catalog(RFC 9727), OAuth/OIDC Discovery, MCP Server Card, Agent Skills Index, WebMCP.

• Commerce(결제): 에이전트가 소액 결제 표준(x402, MPP 등)을 처리할 수 있는가를 확인합니다. 이커머스 사이트에 해당하는 항목입니다.

요약하면, 이 도구는 웹사이트의 에이전트 준비도 기술 인프라를 측정합니다. 콘텐츠 품질은 검사하지 않습니다.

AI 에이전트 문서 스캔 결과: 43/100점 세부 분석

콘텐츠 사이트 프로파일은 도구의 19개 검사 중 7개(아래 세 카테고리)를 활성화하고, API, Auth, MCP & Skill Discovery와 Commerce 카테고리는 제외합니다. 이들 카테고리의 검사 항목(OAuth Discovery, MCP Server Card, 소액 결제 표준 등)은 콘텐츠 사이트가 아니라 API 서버와 트랜잭션 애플리케이션이 대상이기 때문입니다. 점수는 해당하는 7개 검사 항목을 반영합니다.

Discoverability — 4개 중 2개 통과, 카테고리 점수 50

DNS-AID는 에이전트가 DNS 수준에서 MCP 서버와 A2A(agent-to-agent) 엔드포인트를 발견할 수 있게 해줍니다. DNSSEC(DNS Security Extensions)가 필요하며 아직 초기 도입 단계에 있습니다. 당장의 우선순위는 아니지만, 이 표준이 존재한다는 사실은 알아두는 것이 좋습니다.

Content — 1개 중 0개 통과, 카테고리 점수 0

DoveRunner Docs 사이트는 Astro + Starlight 기반으로 구축되었습니다. 소스 콘텐츠는 전부 Markdown으로 작성되어 있지만, HTTP 응답은 항상 HTML입니다. Accept: text/markdown을 요청한 에이전트는 HTML을 받습니다. Markdown을 직접 소비하려면 에이전트가 HTML을 파싱하거나 소스 파일을 별도로 가져와야 합니다. 이 카테고리에는 검사 항목이 하나뿐이므로 결과는 0점입니다.

Bot Access Control — 2개 중 1개 조건부 통과, 카테고리 점수 50

AI 봇 통과는 조건부입니다. User-agent: * / Allow: /는 모든 크롤러를 허용하지만, AI 크롤링에 대해서는 아무것도 명시하지 않습니다. AI 학습, 검색 색인, 프롬프트 입력 허용 여부를 robots.txt에 직접 선언하는 표준인 Content Signals는 없습니다. 한 줄 추가로 해결할 수 있는 항목입니다.

이 카테고리의 세 번째 검사 항목인 Web Bot Auth(/.well-known/http-message-signatures-directory로 봇 요청 서명을 검증)는 콘텐츠 사이트 프로파일에서 제외됩니다. DoveRunner Docs의 문서는 읽는 데 인증이 필요 없으므로 에이전트가 서명해 인증할 대상 자체가 없기 때문입니다. 따라서 여기서 채점되는 항목은 3개가 아니라 2개입니다.

채점 제외: API, Auth, MCP & Skill Discovery와 Commerce

콘텐츠 사이트 프로파일은 두 카테고리를 채점에서 제외합니다. API, Auth, MCP & Skill Discovery(API Catalog(RFC 9727), OAuth/OIDC Discovery, OAuth Protected Resource Metadata, Auth.md agent registration, MCP Server Card, Agent Skills Index, WebMCP)는 에이전트가 사이트의 API 구조와 인증 흐름을 자율적으로 파악할 수 있는지를 평가합니다. Commerce(x402, MPP 같은 소액 결제 표준)는 에이전트 주도 결제를 평가합니다. 둘 다 문서 사이트를 설명하는 항목이 아니므로 도구가 점수에서 제외합니다.

다만 DoveRunner와 무관한 것은 아닙니다. 이들은 향후 MCP 서버와 직접 연결됩니다. MCP 서버가 구축되면 MCP Server Card를 게시하는 것이 에이전트 오케스트레이터가 서버를 발견하고 연결하는 방법이 되고, API Catalog는 에이전트가 어떤 API가 존재하는지 찾는 방법이 됩니다.

AI 에이전트 문서 스캔 43/100점의 의미

43/100은 여전히 Level 1에 머무는 점수이지만, 에이전트가 DoveRunner Docs를 이용할 수 없다는 의미는 아닙니다. Claude와 Codex는 지금 상태로도 HTML을 파싱해 URL에서 콘텐츠를 추출할 수 있습니다.

에이전트가 이 사이트를 최적으로 소비하기 위한 인프라가 갖춰져 있지 않다는 의미입니다. Markdown 콘텐츠 협상 없이는 에이전트가 레이아웃 노이즈를 통과해 작업해야 합니다. API Catalog 없이는 에이전트가 어떤 API가 존재하는지 자율적으로 파악할 수 없습니다. MCP Server Card 없이는 에이전트 오케스트레이터가 향후 MCP 서버가 제공하는 것을 선언적으로 파악할 수 없습니다.

2편에서 소개한 3단계 성숙도 모델에 매핑하면 다음과 같습니다.

• Stage 1 — 발견 가능성: 부분 달성. robots.txt와 사이트맵은 통과했습니다. Link 헤더와 llms.txt는 없습니다. llms.txt 파일은 즉시 적용할 수 있는 가장 효과가 높은 개선 조치입니다. public/ 디렉토리에 정적 파일 하나를 추가하면 이 검사를 통과할 수 있으며, Fern Agent Score의 콘텐츠 발견 가능성 실패 세 항목도 동시에 해결됩니다.

• Stage 2 — 거버넌스: 미달성. Markdown 콘텐츠 협상, Content-Signal, 크롤러별 AI 규칙 모두 없습니다. Content-Signal과 크롤러 규칙은 robots.txt 편집만으로 해결됩니다. Markdown 제공은 Astro/Starlight 설정 작업이 필요하지만, 한 번 완료되면 에이전트가 HTML 파싱 노이즈 없이 구조화된 Markdown을 직접 소비할 수 있게 됩니다.

• Stage 3 — 제어된 상호작용: 미시작. API Catalog, MCP Server Card, OAuth Discovery 모두 없습니다. 이 항목들은 콘텐츠 사이트 스캔이 채점하지 않는 카테고리에 속하지만, 더 넓은 성숙도 관점에서는 여전히 중요합니다. MCP 서버와 함께 개발해야 할 중장기적인 아키텍처 작업입니다.

두 번째 스캔: 보완적 관점

12일 후, 같은 사이트에 Fern의 Agent Score를 실행했습니다. 결과: 0/100. Grade F. 해당 스캔 툴에서 가장 중요시하는 다섯 개 검사 항목 모두 실패했습니다. 두 스캔은 서로 다른 계층을 측정합니다.

Is Your Site Agent-Ready?는 “진입 및 탐색” 경로를 검사합니다. 봇 접근 권한, API 카탈로그, MCP 서버 카드, OAuth Discovery가 그 대상입니다. Fern Agent Score는 크게 두 가지 영역을 확인합니다. 에이전트가 사이트에 어떤 페이지가 있는지 파악하기 위해 사용하는 표준 진입점인 llms.txt 파일의 존재 여부, 그리고 사이트가 HTML 대신 Markdown으로 콘텐츠를 제공할 수 있는지 여부입니다.

두 스캔 사이에 겹치는 실패가 하나 있습니다. Markdown 콘텐츠 협상입니다. Is Your Site Agent-Ready?의 Content 카테고리 실패와 Fern Agent Score의 Markdown 제공 실패는 같은 근본 원인을 가리킵니다.

0/100은 43/100과 같은 방식으로 읽어야 합니다. “에이전트가 이 문서를 읽을 수 없다”는 의미가 아니라, “에이전트가 레이아웃 노이즈 없이, 자율적으로, 대규모로 이 사이트를 소비하기 위한 표준화된 인프라가 갖춰져 있지 않다”는 의미입니다. 두 점수를 함께 보면 그 인프라 공백의 전체 윤곽이 드러납니다.

마치며

두 스캔에서 도출된 인프라 체크리스트는 명확하고 실행 가능합니다. 하지만 에이전트가 올바른 통합 코드를 생성할 수 있게 하려면 콘텐츠 계층을 별도로 평가해야 합니다.

다음 편에서는 그 작업을 다루겠습니다. Claude를 활용해 DoveRunner 문서에서 23개의 엔드투엔드 통합 시나리오를 도출하고, 각 시나리오가 드러낸 에이전트 실패 지점을 직접 분석한 내용입니다. 이 결과는 스캔 도구가 아닌, 문서를 통해 실제 통합 여정을 직접 따라가는 방식으로 얻어졌습니다.

이 시리즈는 DoveRunner의 개발자 문서와 AI 코딩 에이전트가 필요로 하는 것 사이의 간극을 체계적으로 정의하고 좁혀나가는 과정을 기록합니다.