Python爬虫08--浏览器检查中的注意点

89 阅读1分钟

一、Elements 与 Network中的Response响应内容不同:

Eelments:

1. 包含CSSJS图片,当前url对应的响应

Response:

1. 只响应当前url地址,不会主动请求CSS,JS,图片

2.爬虫要以Response中响应的内容为准

3. 如果根据当前url对应的地址拿不到数据,说明数据可能在其他url对象的响应中

二、页面数据在那里呢

1. 当前url地址对应的响应中

2. 其他url地址对应的响应中(比如ajax中)

3.js生成的(部分数据在响应中 or 全部通过js生成)

备注:爬虫只会请求当前Response中对应的响应,当我们要提取数据时,要根据当前url对应的响应为准,即Response中的内容为准