使用Chrome查看与模拟网络请求的UserAgent - 全栈SEO技术

4,683 阅读1分钟

文章分类:搜索引擎基本原理介绍合集

B站视频教程传送门

使用Chrome查看与模拟网络请求的UserAgent,是SEO的一个基础知识点,可以方便的查看某个url在不同UA下的响应情况:

  • 不同的设备 - PC与移动
  • 不同的用户 - 真实用户与爬虫

查看网络请求UA步骤

1. 打开Chrome一个新的标签页,按 F12 进入调试模式,点击功能栏中的 Network。

2. Chrome地址栏中输入网址,比如 www.baidu.com,进行访问,可以看到Chrome发起了多个网络请求,选中其中的第一个,即可看到UserAgent的具体内容。

User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36

切换调试设备

有时我们需要使用chrome查看一些网页在移动端的展示效果,需要这样做:

点击图片中红框部分,切换成移动设备。

此时的UA变成了:

User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1

切换为Chrome预定义的UA

按照下面两副截图进行操作,即可切换成chrome预定义的UA。

选中后,刷新页面,再次查看网络请求的UA,会发现已经改变。

使用Chrome自定义UA,伪装为百度爬虫

按照这篇文章搜索引擎爬虫UA大全中记录的百度爬虫的UA,填写在下面的位置上,就OK啦。

如果目标网站的服务器没有对网络请求的IP进行验证,那么伪装百度爬虫成功!