Perplexity、ウェブサイトのクロール禁止指示を「ステルス戦術」で回避との非難

AI検索エンジンPerplexityが、ウェブサイトのクロール禁止指示を回避するためにステルスボットやその他の戦術を使用していると、ネットワークセキュリティおよび最適化サービスを提供するCloudflareが月曜日に発表しました。この疑惑が本当であれば、30年以上にわたりインターネットの標準とされてきた規範に違反するものです。Cloudflareの研究者らはブログ投稿で、顧客からPerplexityのスクレイピングボットを拒否する設定をサイトのrobots.txtファイルやウェブアプリケーションファイアウォールで実施したにもかかわらず、Perplexityが引き続きサイトのコンテンツにアクセスしているとの苦情を受けたと述べました。これにより、ウェブサイト運営者が設定したクロール禁止の指示が無視されていることが明らかになり、ウェブのプライバシーとセキュリティに関する懸念が高まっています。この問題は、AI技術の倫理的な利用とウェブ標準の遵守について、さらなる議論を呼ぶ可能性があります。