ガーディアン誌はOpenAIのクローラーをブロックしたとのこと。
Googleの検索エンジン用クローラーと違って一切メリットがないし、コンテンツを商用ライセンスもしているからブロックするのは当然ですね。
OpenAIが知識ベースとしてのAIを目指すなら、ライセンスを受ける必要があるということでしょう。
フォロー
@taiyo https://www.theguardian.com/robots.txt を見ると、人間向けに
> The Guardian does not permit the unlicensed use of our content for large language models. Contact licensing@theguardian.com for assistance
と言っていました。
@pot 至れり尽くせりですね。