必应是不是不认Robots协议啊,一点行业规范不守?

76 阅读1分钟

知乎的robots

image.png

然后搜 www.zhihu.com/appview/

image.png

掘金的robots

image.png

然后搜 juejin.cn/user/settings

image.png

还有小红书的,人家完全禁止爬取,结果啥都给你列出来,但是假惺惺的给你放一句“由于此网站的设置,我们无法提供页面的具体描述”