必应是不是不认Robots协议啊，一点行业规范不守？

知乎的robots

然后搜 www.zhihu.com/appview/

掘金的robots

然后搜 juejin.cn/user/settings

还有小红书的，人家完全禁止爬取，结果啥都给你列出来，但是假惺惺的给你放一句“由于此网站的设置，我们无法提供页面的具体描述”