Alemchy

1. 数据建模 2. 翻页请求的思路 3. 构造Request对象，并发送请求 4. meta参数的使用

3. 创建项目 4. 创建爬虫 允许爬取的域名: 为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。 5. 完善爬虫 配置项中键为使用的管道类，管道类使用.进行分割，第一个为项目目录，第二个为文件，第三个为定义的管道类。 配置项…

1. scrapy的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 2. scrapy框架的作用 3. scrapy的工作流程

1. mongdb和python交互的模块 2. 使用pymongo 3. pymongo模块其他api

1. 为什么要进行权限管理的设置 2. mongodb的权限管理方案 用户只能在用户所在数据库登录(创建用户的数据库)，包括管理员账号。 管理员可以管理所有数据库，但是不能直接管理其他数据库，要先认证后才可以。 3. mongodb超级管理员账号的创建 4. 创建普通用户 5.…

1. 为什么mongdb需要创建索引 2. mongodb创建简单的索引方法 3. 创建索引前后查询速度对比 4. 索引的查看 5. 删除索引 6. mongodb创建唯一索引 7. 建立复合索引 在进行数据去重的时候，可能用一个域来保证数据的唯一性，这个时候可以考虑建立复合索…

聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。

1. mongodb插入数据 2. mongodb的保存

1. mongodb服务端的启动 2. 启动mongodb的客户端：进入mongo shell 3. mongodb的简单使用 参数size：集合所占用的字节数。 当capped值为true时，需要指定此参数，表示上限大小，当文档达到上限时， 会将之前的数据覆盖，单位为字节