Cloudflare、デフォルトでAIボットのウェブサイトクロールをブロック

インターネットインフラ企業のCloudflareは、クライアントのウェブサイトに対するAIボットのクロールをデフォルトでブロックすることを発表しました。この新しい方針により、CloudflareはクライアントがAIボットを個別に許可したり禁止したりするオプションを提供するとともに、AIボットがウェブサイトのコンテンツを収集するたびに報酬を受け取れる「pay-per-crawl」サービスも導入します。

AIボットとは、インターネット上をクロールしてウェブサイトの情報を収集・カタログ化するアルゴリズムの一種です。過去には、検索エンジンのためにデータを集めることが一般的でしたが、現在ではAIシステムの構築や利用のために開発者が利用することが多くなっています。