Cloudflare、AIスクレイピング対策でウェブサイト課金マーケットプレイス開始

2025年07月02日

Cloudflareが新規ドメインでAIクローラーをデフォルト遮断する新方針を発表
「Pay Per Crawl」マーケットプレイスでウェブサイトがAI企業に課金可能
コンデナスト、TIME、AP通信など大手パブリッシャーが参画を表明

SEOの常識を覆す
AIライティングエージェント

プロフェッショナルの業務フローを完全再現するAIの活用で、飛躍的な品質向上とコストダウンの両立。「magicss」でAI時代のSEO＆AIOを実現してみませんか？

今なら 1記事無料で生成可能（カード登録不要）

最短3分で無料体験する

デフォルト遮断でパワーバランスが逆転

Cloudflareは2025年7月1日、AIクローラーに対する画期的な新方針を発表しました。新規ドメインではAIクローラーを自動的に遮断し、パブリッシャーが明示的に許可した場合のみアクセスを認める「許可ベースモデル」を導入します[1]。これまでAI企業は自由にウェブサイトをスクレイピングできましたが、今後はパブリッシャーの同意が必要となります。

この方針転換により、コンテンツ制作者とAI企業の力関係が根本的に変化します[2]。パブリッシャーは「遮断」「無料アクセス」「有料アクセス」の3つの選択肢から自由に選択でき、AI企業は訓練、推論、検索など、クローラーの目的を明確に示す必要があります。コンデナスト、TIME、AP通信などの大手メディア企業が既にこの取り組みに参画を表明しています[1]。

この変化は、インターネットの基本的な経済モデルを変える可能性があります。従来のウェブは「オープンアクセス」を前提としていましたが、AIの台頭により、コンテンツ制作者が一方的に搾取される構造が問題となっていました。Cloudflareの新方針は、まるで「無料で読み放題だった図書館が、突然有料制になった」ような変化です。これにより、質の高いコンテンツを制作するメディア企業が適切な対価を得られる環境が整備される一方、AI企業はより戦略的にデータ取得を行う必要が生じます。

深刻なスクレイピング格差が明らかに

Cloudflareが公開したデータは、AI企業によるスクレイピングの実態を赤裸々に示しています。Googleは14回のスクレイピングに対して1回の参照トラフィックを生成する程度ですが、OpenAIは17,000回、Anthropicは73,000回のスクレイピングに対してわずか1回の参照トラフィックしか生成していません[3]。

この極端な不均衡は、パブリッシャーにとって深刻な収益機会の損失を意味します[2]。従来のウェブエコシステムでは、検索エンジンがコンテンツをインデックス化する代わりに、ユーザーをウェブサイトに誘導し、広告収益をもたらしていました。しかし、AI企業は大量のコンテンツを抽出するだけで、ほとんど参照トラフィックを生成しないため、パブリッシャーは一方的に搾取される状況に陥っています。

この数字は衝撃的です。想像してみてください。あなたが経営するレストランに、毎日73,000人の人が無断で入ってきてレシピを盗み見て、そのうち実際に食事をするのはたった1人だけという状況です。これがまさに現在のAIスクレイピングの実態なのです。パブリッシャーは膨大なサーバー負荷とコンテンツ制作コストを負担しながら、AI企業からは何の対価も得られていません。Cloudflareのデータは、この「デジタル寄生」とも言える状況がいかに深刻かを数値で証明しており、新たな課金システムの必要性を明確に示しています。

「Pay Per Crawl」で新たな収益モデル誕生

Cloudflareが導入する「Pay Per Crawl」マーケットプレイスは、パブリッシャーがAI企業に対してクロール単位で課金できる革新的なシステムです[2]。パブリッシャーはリクエストごとの価格を設定でき、Cloudflareが仲介役として取引を処理します。AI企業が支払いを行わない場合、HTTP 402「Payment Required」ステータスが返され、コンテンツへのアクセスが拒否されます[4]。

このシステムにより、パブリッシャーは特定のクローラーを選択的に許可したり、遮断したり、価格設定を行ったりできます[2]。将来的には、「エージェンティック」なAIエージェントがコンテンツアクセスのための予算を持ち、自動的に支払いを行う可能性も示唆されています。ガネット、BuzzFeedなどの主要パブリッシャーもこの取り組みを支持しており、業界全体での採用が期待されます[3]。

この「Pay Per Crawl」システムは、デジタルコンテンツの価値を適切に評価する画期的な仕組みです。従来のウェブ広告モデルが「注目経済」に基づいていたとすれば、これは「情報経済」への転換を意味します。まるで「従量制の水道料金」のように、使った分だけ支払うという明確で公平なシステムです。AI企業にとっては新たなコストが発生しますが、同時に高品質なコンテンツへの確実なアクセスが保証されます。パブリッシャーにとっては、これまで無償で提供していた価値ある情報資産を適切に収益化できる機会となり、持続可能なコンテンツ制作環境の構築につながるでしょう。

まとめ

Cloudflareの新方針は、AIとコンテンツ制作者の関係を根本的に変革する可能性を秘めています。デフォルト遮断による権力の逆転、深刻なスクレイピング格差の是正、そして「Pay Per Crawl」による新たな収益モデルの確立により、より公平で持続可能なデジタルエコシステムの構築が期待されます。この変化は、AI技術の発展とコンテンツ制作の両立を図る重要な一歩となるでしょう。