学习爬虫的第一天

爬虫在使用场景中的分类:

    1.通用爬虫:抓取系统重要组成部分,抓取的是一整张网络页面数据
    2.聚焦爬虫:是建立在通用爬虫基础上,抓取的是页面中特定的局部内容
    3.增量式爬虫:监测网站中数据更新的情况.

反爬机制:

  门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

反反爬策略:

 爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站数据

君子协议:

 规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

http协议

    一概念:就是服务器和客户端进行数据交互的一种形式。常用请求头信息
    - User-Agent:请求载体的身份标识
    -Connection:请求完毕后，是断开连接还是保持连接

常用响应头信息

    -Content-Type:服务器响应回客户端的数据类型

https协议:

    一安全的超文本传输协议加密方式
    一对称秘钥加密一非对称秘钥加密-证书秘钥加密

案例(实现对搜狗网页的爬取)

    1.新手需要先导入requests模块,在如下图终端中安装:
        命令: pip install requests
    

案例代码如下:

import requests   #先导入requests模块
if __name__=="__main__":
    url="https://www.sogou.com/";   # 指定url
    response= requests.get(url=url); #发起请求
    page_text=response.text; #获取响应数据
    print(page_text)
    #持久化本地存储
    with open("./sougou.html","w",encoding="utf-8") as fp:
        fp.write(page_text)
    print("爬取结束");

执行完上述代码后,会在本地生成一个sougou.html文件(如下图),进入文件选择合适的浏览器即可看到效果.