AIエージェント時代のWebサイト最適化！Cloudflareでの実践と改善策

Cloudflareより、AIエージェント向けにWebサイトの対応状況を確認できる「Agent Readiness」が公開されました。

Cloudflare Blog: https://blog.cloudflare.com/ja-jp/agent-readiness/
計測ページ: https://isitagentready.com/

従来、Webサイトの最適化といえば、ブラウザで閲覧するユーザー向けの表示速度改善や、検索エンジン向けのSEO対策が中心でした。
しかし最近では、AIクローラーやAIエージェントがWebサイトの情報を取得し、検索、要約、回答生成、調査支援などに利用するケースが増えています。

AIエージェントにWebサイトの内容を正しく理解してもらうためには、単にHTMLページを公開しているだけでは十分ではありません。
robots.txtやsitemap.xmlによる発見性、AIボット向けのアクセス制御、Markdown形式でのコンテンツ提供、Content Signalsによるコンテンツ利用方針の明示などが重要になります。

そこで今回は、Cloudflareが公開しているAgent Readinessを使用し、アクセリアのコーポレートサイト www.accelia.net のAIエージェント対応状況を確認してみました。
また、Cloudflare側でMarkdown for Agentsなどの設定を行い、計測結果がどのように変化するかも検証します。

Agent Readinessは、WebサイトがAIエージェントにとって利用しやすい状態になっているかを確認できるCloudflareの計測ツールです。

計測ページに対象URLを入力すると、以下のような観点でチェックが行われます。

• ●Discoverability
• ●Content
• ●Bot Access Control
• ●API, Auth, MCP & Skill Discovery
• ●Commerce

それぞれのカテゴリでは、robots.txt、sitemap.xml、Markdown Negotiation、Content Signals、AI bot rules、API Catalog、MCP Server Card、Agent Skills indexなどの対応状況を確認できます。

検索エンジン向けのSEOでは、robots.txtやsitemap.xmlが重要でした。
AIエージェント向けのWebサイト運用では、これらに加えて、AIエージェントが読み取りやすい形式でコンテンツを取得できるか、またコンテンツの利用方針が明示されているかが重要になります。

今回の検証では、以下の流れで確認します。

1. 1現在の www.accelia.net をAgent Readinessで計測する
2. 2計測結果から不足している項目を確認する
3. 3Cloudflare側の検証用FQDNで対策を実施する
4. 4再度Agent Readinessで計測する
5. 5スコアやチェック結果に変化があるか確認する

初回計測

まず、Agent Readinessで `www.accelia.net` を計測しました。

計測対象は以下です。
https://www.accelia.net/
初回計測時の結果は以下の通りです。

チェック項目	結果
Total Score	14
Level	Level 1 / Basic Web Presence
Discoverability	2/4
Content	0/1
Bot Access Control	0/2
API, Auth, MCP & Skill Discovery	0/7
Commerce	Optional / Not checked

初回計測では、robots.txtとsitemap.xmlは検出されていました。
一方で、Markdown Negotiation、AI bot rules、Content Signals、Link headers、DNS for AI Discoveryなどは未対応という結果でした。

Commerceにつきましては、「このサイトでは、eコマース関連のシグナルは検出されませんでした。これらのチェック結果は情報提供のみを目的としており、スコアには影響しません。」と記載が出ましたので今回は改善対象からは外しています。

Discoverabilityの結果

Discoverabilityでは、以下の結果になりました。

チェック項目	結果
robots.txt	OK
Sitemap	OK
Link headers	NG
DNS for AI Discovery	NG

robots.txtとsitemap.xmlが検出されているため、基本的な発見性は確保できていました。
一方で、HTTPレスポンスヘッダーによる関連リソースの提示や、AI Discovery向けのDNS設定は未対応でした。

Contentの結果

チェック項目	結果
Markdown Negotiation	NG

Accept: text/markdown を指定したリクエストに対して、Markdown形式のレスポンスを返せていない状態でした。

AIエージェントはHTMLを解析することもできますが、HTMLにはナビゲーション、装飾用タグ、JavaScript、CSSなど、本文理解には不要な情報も多く含まれます。
Markdownでコンテンツを返せるようにすることで、AIエージェントがページ内容をより効率的に読み取れるようになります。

Bot Access Controlの結果

Bot Access Controlでは、以下の結果になりました。

チェック項目	結果
Web Bot Auth request signing	対象外または未評価
AI bot rules in robots.txt	NG
Content Signals in robots.txt	NG

AIボット向けのアクセス制御や、コンテンツ利用方針の明示が未対応という結果でした。
特にContent Signalsは、AIトレーニング、AI入力、検索利用などに関するサイト側の意向を示す仕組みです。

今後、AIクローラーやAIエージェントからのアクセスが増えることを考えると、どの用途を許可し、どの用途を制限するのかを明示することが重要になります。

API, Auth, MCP & Skill Discoveryの結果

API、Auth、MCP & Skill Discoveryでは、以下の結果になりました。

チェック項目	結果
API Catalog	NG
OAuth / OIDC discovery	NG
OAuth Protected Resource	NG
Auth.md agent registration	NG
MCP Server Card	NG
Agent Skills index	NG
WebMCP	NG

今回の対象はコーポレートサイトであり、外部のAIエージェントにAPIやMCPサーバーを公開する用途ではありません。
そのため、このカテゴリは今回の検証では対応を行わないこととします。

一方で、今後、公開API、ドキュメントサイト、サポート情報、ナレッジベースなどをAIエージェントから利用させたい場合には、API CatalogやAgent Skills indexなどの整備も検討対象になります。

改善方針

初回計測の結果から、今回の検証では以下の項目を中心に改善を行います。

No	対応項目	目的
1	Markdown for Agentsの有効化	Accept: text/markdown に対応する
2	robots.txtへのAI bot rules追加	AIボット向けのアクセス方針を明示する
3	robots.txtへのContent Signals追加	AIによる利用範囲を明示する
4	Linkヘッダーの追加	エージェントが関連リソースを発見しやすくする

Cloudflare側での対策

まずCloudflare越しに閲覧ができるように計測用の仮のFQDNを発行して、Cloudflareを通るようにしておきます。
今回の検証ではFQDNは `accelia-measurement.accelia.net`とします。

origin serverは `www.accelia.net` のオリジンサーバを指定しました。
こちらは環境に合わせて変更して下さい。

Markdown for Agentsの有効化

Cloudflare側でMarkdown for Agentsを有効化します。
Cloudflareの画面から、以下の箇所にてボタン一つで設定が可能です。

Cloudflare Doc: https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/

Markdown for Agentsを有効化すると、AIエージェントやクライアントが以下のようにリクエストした場合に、HTMLではなくMarkdown形式でコンテンツを返すことができます。

$ curl -vk https://accelia-measurement.accelia.net/ 
  -H "Accept: text/markdown"

期待されるレスポンスヘッダーの例は以下です。

content-type: text/markdown; charset=utf-8
x-markdown-tokens: xxxx

レスポンスの内容もMarkdown形式で返答されてます。

---
description: アクセリアはWebシステム、ネットワーク、サイバーセキュリティの開発・運用・保守までトータルサポート。企業のDX化やサイバーレジリエンスに関する
課題解決は、20年以上の純国産CDN開発・運用のノウハウを持つアクセリア株式会社へお任せください。
title: アクセリア株式会社 - CDN・セキュリティ・DXでビジネスを支援
---


# サイバーレジリエンスとDX
2つのソリューションで
お客さまのビジネスを加速させる

アクセリア株式会社は20年に渡り大手ISP、テレビ局、新聞社の大規模配信を支えてきました。
システム、ネットワーク、セキュリティを、専任スタッフのサポートとともにご提供し、
お客様のビジネスを守り・加速させます。
......

これにより、Agent Readinessの「Markdown Negotiation」が改善されるかを確認します。

robots.txtへのAI bot rules追加、Content Signalsの追加

次に、robots.txtにAIボット向けのルールを追加します。

具体的には `/robots.txt` に以下のAIボットに関する指示を入れる必要があります。

GPTBot、Claude-WebなどのAIクローラー向けにユーザーエージェントルールを追加

例：

User-agent: Amazonbot
Disallow: /

- Content-Signal ディレクティブを追加し、ai-train、search、ai-input などを宣言

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

今回はCloudflareの「robots.txt で AI ボットのトラフィックを指示する」機能を使用して対応をしていきます。
Cloudflareの画面から、以下の箇所にてボタン一つで設定が可能です。

Cloudflare Doc: https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/

こちらの機能をONにすると、以下に記載されている内容が表示されるようになります。

Cloudflare Doc: https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/#compatibility-with-existing-robotstxt-files

robots.txtがすでに存在する場合には、
既存の内容の上部に上記の記載内容が追加される形になります。
追加される内容は、ユーザ側でカスタムすることはできません。
追加する内容に過不足がある場合には、オリジンサーバ側で指定する対応が必要です。

今回は検証ですので、デフォルトの内容のままで問題ないとして、計測のためにこちらの機能をONにします

Linkヘッダーの追加

Agent Readinessでは、HTTPレスポンスヘッダーとしてLinkヘッダーが返却されるのも確認されます。
また、Linkヘッダー先にAIエージェントに関係ある内容が記載してないと以下の警告がでてしまいます。

「Linkヘッダーは存在するが、エージェントにとって有用な関係タイプが見つからない」

今回は既にLinkヘッダーが存在するので、CloudflareにてLinkヘッダーを書き換えて、書き換えた先の内容をsnippetsを使用して返答する形で対応していきます。

- Linkヘッダーの書き換え

Cloudflare画面のルール -> 概要 -> レスポンスヘッダー変換ルールからルールを作成を選択します。

以下の内容で設定して保存します。
スタティック設定のLinkの値は以下となっています。

<https://accelia-measurement.accelia.net/llms.txt>; rel="alternate"; type="text/plain"

- llms.txtの作成

/llms.txtの内容はsnippetsを作成して返します。
Cloudflare画面のルール -> snippets からスニペットの作成を選択します。

snippetsが適用される範囲を以下のように、「/llms.txt」のみにします。

snippetsのコードの内容は以下を設定しました。
検証ですのでAIに対しての簡単な内容を記載しております。

const SITE_HOST = "accelia-measurement.accelia.net";
const SITE_ORIGIN = `https://${SITE_HOST}`;

const LLMS_TXT = `# Accelia

## Overview

Accelia provides CDN, Cloudflare implementation support, web performance improvement, security, and managed operation services.

This site contains public corporate information, service information, technical columns, and inquiry pages.

## Guidance for AI agents

AI agents may use public pages on this site for search, summarization, and answer grounding.

Do not attempt to access administrative paths, private pages, form confirmation pages, form completion pages, preview pages, or non-public resources.

## Recommended paths

- /

## Restricted paths

- /search/
- /contact/confirm/
- /contact/thanks/

## Content usage policy

Search use: allowed.
AI input and answer grounding: allowed.
AI training: not allowed unless separately permitted.

## Sitemap

- https://accelia-measurement.accelia.net/sitemap.xml
`;

export default {
  async fetch(request) {
    const url = new URL(request.url);

    return new Response(LLMS_TXT, {
      status: 200,
      headers: {
        "Content-Type": "text/plain; charset=UTF-8",
        "Cache-Control": "max-age=86400",
        "X-Robots-Tag": "index, follow",
      },
    });

    const response = await fetch(request);
    const headers = new Headers(response.headers);

    return new Response(response.body, {
      status: response.status,
      statusText: response.statusText,
      headers,
    });
  },
};

再計測

Cloudflare側で対策を行った後、Agent Readinessで再計測します。

チェック項目	初回計測	再計測
Total Score	14	43
Level	Level 1 / Basic Web Presence	Level 4 / Agent-Integrated
Discoverability	2/4	3/4
Content	0/1	1/1
Bot Access Control	0/2	2/2
API, Auth, MCP & Skill Discovery	0/7	0/7
Commerce	Optional / Not checked	Optional / Not checked

改善前後の比較

今回の主な確認ポイントは、以下の項目です。

チェック項目	初回結果	対策内容	対策後結果
Markdown Negotiation	NG	Markdown for Agentsを有効化	OK
AI bot rules in robots.txt	NG	robots.txtにAIボット向けルールを追加	OK
Content Signals in robots.txt	NG	Content-Signalを追加	OK
Link headers	NG	Linkヘッダーを追加	OK

検証結果

今回の検証では、初回計測時にTotal Scoreが14で、Level 1 / Basic Web Presenceという結果でした。

改善後はTotal Scoreが43で、Level 4 / Agent-Integrated にまで上昇させることができました。
初回状態でもrobots.txtとsitemap.xmlは検出されており、基本的な発見性は確保できていました。

一方で、Markdown Negotiation、AI bot rules、Content Signals、Link headersなど、AIエージェント向けの追加対応は未対応でした。

Cloudflare側でMarkdown for Agentsを有効化し、robots.txtやレスポンスヘッダーを調整することで、AIエージェントがコンテンツを発見しやすく、読み取りやすく、利用方針を判断しやすい状態に近づけることができます。

今回は、CloudflareのAgent Readinessを使用して、www.accelia.net のAIエージェント対応状況を確認しました。

初回計測では、robots.txtとsitemap.xmlは検出されていたものの、Markdown Negotiation、AI bot rules、Content Signals、Link headersなどは未対応でした。

CloudflareのMarkdown for Agentsを利用すると、AIエージェントに対してHTMLではなくMarkdown形式でコンテンツを返すことができます。
これにより、AIエージェントがWebページの本文をより効率的に読み取りやすくなります。
また、robots.txtやContent Signalsを整備することで、AIボットに対するアクセス方針やコンテンツ利用方針を明示できます。

今後、AIエージェントがWebサイトを利用する機会はさらに増えると考えられます。
そのため、Webサイト運用では、従来のSEOやパフォーマンス対策に加えて、AIエージェント向けの発見性、可読性、アクセス制御も重要な検討項目になっていくと考えられます。


そしてCloudflareなら上記以外でも、

　・パフォーマンスの向上
　・サイトの信頼性の向上
　・セキュリティの向上

が、一つのサービスで実現できますので非常におすすめです。

アクセリア自社CDNの開発と運用は、20年以上にわたります。それらの経験とノウハウを駆使したプロフェッショナルサポートをパッケージしたサービスが、［Solution CDN］と［Solution GateCore］です。
移行支援によるスムーズな導入とともに、お客様の運用負担を最小限に​とどめながら、WEBサイトのパフォーマンスとセキュリティを最大限に高めます。運用サポートはフルアウトソーシングからミニマムサポートまで、ご要望に合わせてご提供します。

Cloudflare（クラウドフレア）の導入や運用について、またそれ以外のことでもなにか気になることがございましたらお気軽にご相談下さい。