爬虫

案例1 艺恩实战：https://www.endata.com.cn/BoxOffice/BO/Year/index.html......

AES和DES AES和DES对称加密，是一种比较传统的加密方式，其加密运算、解密运算使用的是同样的密钥，信息的发送者。 和信息的接收者在进行信息的传输与处理的时候，必须共同持有该密钥（称为对称密码）

js反爬指的是爬虫在获取网页数据时，遇到通过JavaScript代码实现的反爬虫措施。js反爬技术的实现方式包括动态渲染、异步加载、验证码、IP限制等多种方式......

验证码的作用 验证码的主要目的是防⽌恶意机器⼈或⾃动化程序对⽹站进⾏滥⽤、欺诈或恶意攻击。它通过要求用户识别和输⼊验证码来验证⽤⼾的“⼈类⾝份”，因为机器⽆法像⼈类⼀样正确地理解和回答验证码 中的内容

分布式的概念和作用 分布式：将一个业务分拆多个子任务，将任务分配运行在不同地方的电脑上 作用：提高安全性和效率 使用场景：scrapy框架已经可以提供异步数据获取,如果网站的数据非常庞大......

redis数据库 redis（ Remote Dictionary Service -- 远程字典服务），它是⼀款开源、⾼性能的键值存储数据库。 它⽀持各种数据结构，包括字符串(String)、哈希等

CrawlSpider介绍 CrawlSpider是Scrapy框架中Spider爬⾍类的⼀个⼦类，除了继承到Spider的特性和功能外，还 有⾃⼰更加强⼤的规则爬取。

图片管道的使用 使用scrapy自带的图片管道需要满足以下3点：（首先需要安装pillow模块） 1.使⽤scrapy⾃带的图⽚管道类。 2.设置图片存储路径 3.根据指定字段传输数据......

meta的深浅拷贝 当我们获取数据的时候，会创建⼀个存储对象(例如item)。如果不⽤涉及到传参，那么这个存储对象放置的位置是没有讲究的

数据获取 之前在学习xpath中，学到了get()和getall()的用法，get()可以获得符合条件的第一条数据，getall()可以获得符合条件的所有数据......

Scrapy中的Item类用于设置传输时的字段，它主要的作用是规范传输的数据格式，当然也可以直接用字典传输......

Scrapy了解 Scrapy是一个优秀的开源爬虫框架： 开源：代表整个爬虫框架的源码都进行了公布，所有人均可查看，修改，维护 框架：整个Scrapy由多个常用的爬虫功能组成，只需要填写一些基础的爬虫

行为链ActionChains 行为链可以完成简单的交互行为，例如鼠标移动，鼠标点击事件，键盘输入，以及内容菜单交互。这对于模拟那些复杂的类似于鼠标悬停和拖拽行为很有用。

selenium介绍 Selenium是广泛使用的模拟浏览器运行的库，它是一个用于Web自动化测试的工具。 Selenium测试直接运行在浏览器中，就像真正的用户在操作一样......

线程安全队列 Python内置了一个线程安全的模块叫做queue模块。Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue.....

进程是cpu进行资源分配和调度的基本单位 ，是一个在内存中运行的应用程序。每个进程都有自己独立的一块内存空间，一个进程可以有多个线程，比如在Windows系统中，一个运行的xx.exe就是一个进程。

MongoDB介绍 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。

MySQL查询数据 MySQL数据库使用SQL SELECT语句来查询数据 基础语句：select 字段1,字段2... from 表名 [where 条件] [limit n]

Mysql数据库介绍 MySQL是一个关系型数据库管理系统 ， 由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一。

正则表达式 正则表达式（regular expression）是一种字符串匹配模式或者规则，它可以用来检索、替换那些符合特定规则的文本。正则表达式几乎适用于所有编程语言。