文章分类:搜索引擎基本原理介绍合集
使用Chrome查看与模拟网络请求的UserAgent,是SEO的一个基础知识点,可以方便的查看某个url在不同UA下的响应情况:
- 不同的设备 - PC与移动
- 不同的用户 - 真实用户与爬虫
查看网络请求UA步骤
1. 打开Chrome一个新的标签页,按 F12 进入调试模式,点击功能栏中的 Network。
2. Chrome地址栏中输入网址,比如 www.baidu.com,进行访问,可以看到Chrome发起了多个网络请求,选中其中的第一个,即可看到UserAgent的具体内容。
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36
切换调试设备
有时我们需要使用chrome查看一些网页在移动端的展示效果,需要这样做:
点击图片中红框部分,切换成移动设备。
此时的UA变成了:
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
切换为Chrome预定义的UA
按照下面两副截图进行操作,即可切换成chrome预定义的UA。
选中后,刷新页面,再次查看网络请求的UA,会发现已经改变。
使用Chrome自定义UA,伪装为百度爬虫
按照这篇文章搜索引擎爬虫UA大全中记录的百度爬虫的UA,填写在下面的位置上,就OK啦。
如果目标网站的服务器没有对网络请求的IP进行验证,那么伪装百度爬虫成功!