知乎已经完全禁止谷歌和必应搜索抓取内容 看起来真怕内容被训练AI? – 蓝点网

昨天蓝点网提到知乎开始强制要求登录账号,知乎否则将禁止查看知乎问答和专栏的已经应搜完整内容,之前通过脚本屏蔽知乎登录弹窗已经没有意义,完全网因为屏蔽弹窗后要查看内容还是禁止会继续弹出登录窗口。
为什么要强制用户登录暂时还不清楚,谷歌考虑到知乎在搜索引擎中的和必权重非常高,各大搜索引擎检索问题时都可能看到排在前面的索抓知乎页面,强制登录将对大量用户造成影响。取内起
一个可能的容看容被原因是知乎不愿意自己的内容被各大搜索引擎或其他爬虫抓取拿去训练 AI 模型,现在强制登录后想要限制抓取在技术手段上是怕内非常容易的,比如某个用户短时间内访问大量页面,训练那肯定是蓝点不正常的。
还禁止谷歌和必应等搜索引擎:
值得注意的是,今天早上蓝点网接到网友的已经应搜反馈,知乎 robots.txt 文件已经在 4~5 月某个时候修改(具体时间可能是完全网 5 月 22 日,与知乎强制登录时间近似),此次修改知乎仅允许百度搜索和搜狗(搜狗是新增的,之前禁止搜狗抓取内容)抓取其内容,不再允许其他搜索引擎内容。
知乎在几年前曾与百度达成合作因此在百度搜索中知乎的页面权重非常高可以获得更多点击量,现在只允许百度和搜狗而禁止其他一切搜索引擎,不知道知乎是否已经与百度达成了某些方面的协议。
目前的这种状况是用户在知乎发布的任何新内容,都不会被谷歌和必应收录了,也就是知乎所有新内容在谷歌和必应上都无法再查到。
大概率还是 AI 训练问题:
无论是强制登录还是禁止搜索引擎抓取内容,这些操作看起来都非常像是知乎为了避免自己的内容被抓取而拿去训练人工智能,这和之前埃隆马斯克对 X/Twitter 的操作本质上也就是类似的。
对于大型内容网站来说趁着 AI 热潮卖数据确实是个比较不错的变现方式,但禁止抓取也意味着开放的互联网正在逐渐走向封闭。
未来可能会有更多网站禁止搜索引擎或其他爬虫抓取内容甚至也同样强制要求登录,对互联网用户来说这肯定不是一个好消息。
附知乎此前的 robots.txt 文件:(2024-04-28)
User-agent: GooglebotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Googlebot-ImageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: bingbotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
最新的 robots.txt 文件(2024-05-27):
User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
感谢网友 颜黎明 投递的消息
相关文章
深耕广州一周年 效率品质再降级 如祺出行宣告全新品牌主张:天生更懂
深耕广州一周年 效率品质再降级如祺出行宣告全新品牌主张:天生更懂2020年6月24日,如祺出行于广州举行一周年宣告会,宣告全新品牌主张“天生更懂”。如祺出行首席实施官蒋华携多位营业线负责人,散漫宣告多2025-04-05- 全副装置历程简直可能说是一瞬间实现为了,还没反映以前,装置界面就展现已经装置微信灵通讯电脑版民间下载遥想电脑管家官网网址,这时候候点击绿色的[开始运用]按钮,就可能运用微信了灵通讯电脑版民间下载微信版2025-04-05
- 一、收受接管速率快条记本收受接管哪家好?在这个光阴便是款子的时期智慧通用电脑版下载,人们已经越来越不急躁去实现一件事了旧电脑接管价钱一、收受接管速率快条记本收受接管哪家好?在这个光阴便是款子的时期智慧2025-04-05
- 此外苹果电脑价钱,MacBook Air 15英寸反对于MagSafe充电电脑桌面壁纸高清大图电脑复原出厂配置,接管磁吸式想象,一吸就能毗邻苹果电脑价钱,轻拉就能断开电脑桌面壁纸高清大图电脑桌面壁纸高2025-04-05
- 着实良多时候,做菜不光自己吃的欢喜,而且还能熏陶情操,让自己放松。以是无意分咱们需要钻研一下做菜,下面就给巨匠介绍一道全麦饼卷素十锦的做法1.周全粉中打入鸡蛋,用牛奶调面糊2.用勺舀入煎锅中3.煎成薄2025-04-05
- 舒畅谈天:微信PC客户端反对于运用电脑键盘快捷输入微信电脑版 民间下载,收到新动态弹出赶快揭示,像上QQ同样上微信!首先请将手机以及电脑毗邻到不同群集舒畅谈天:微信PC客户端反对于运用电脑键盘快捷输入2025-04-05
最新评论