検索エンジンによるクローラーは結果的にサイトアクセスを呼び込む効果があったが、AIによるクローリングはおそらくサイトへのアクセスが減るからな。
---
robots.txtによるクローリング禁止が急増 — AIがWeb全体をクローズドにしつつある
https://techfeed.io/entries/66d62c82a367d26d906f9c78
#bookmarks