🏆🏆🏆教程全知识点简介：1.Mongodb数据库包括介绍、mongodb简单使用（mongodb服务端启动、启动mongodb客户端进入mongo shell）。2. scrapy爬虫框架涵盖 ip使用、启动爬虫、停止爬虫、scrapyd webapi。3. Gerapy包含通过Gerapy配置管理scrapy项目。4. appium移动端抓取涉及appium自动控制移动设备、appium-python-client模块安装、初始化获取移动设备分辨率、定位元素提取文本方法、控制抖某音app滑动、自动滑动代码整理。5. 爬虫概述包括爬虫概念、爬虫基础。6. http协议复习涵盖http及https概念区别、爬虫关注的请求头响应头、常见响应状态码、浏览器运行过程。7. requests模块包含requests发送post请求、POST请求练习、requests.session状态保持、课堂测试。8. 数据提取概述涉及响应内容分类、xml认识、html区别、常用数据解析方法。9. 数据提取-jsonpath模块包括jsonpath模块使用场景。10. 数据提取-lxml模块涵盖lxml模块xpath语法、谷歌浏览器xpath helper插件安装使用、xpath节点关系、xpath语法基础节点选择、xpath定位节点提取属性文本内容语法、语法练习、lxml模块安装使用示例。11. Selenium 包含获取当前标签页cookie信息、cookie转化为字典、删除cookie、页面等待。12. 反爬与反反爬涵盖常见反爬手段解决思路、服务器反爬原因、服务器反爬虫类型、反爬虫概念、反爬三个方向、基于身份识别反爬（session发送rKey获取登录信息、 加密、用户名 准备、js2py生成js执行环境）。
📚📚👉👉👉本站这篇博客： juejin.cn/post/752572… 中查看
📚📚👉👉👉本站这篇博客： juejin.cn/post/753787… 中查看
✨ 本教程项目亮点
🧠 知识体系完整：覆盖从基础原理、核心方法到高阶应用的全流程内容
💻 全技术链覆盖：完整前后端技术栈，涵盖开发必备技能
🚀 从零到实战：适合 0 基础入门到提升，循序渐进掌握核心能力
📚 丰富文档与代码示例：涵盖多种场景，可运行、可复用
🛠 工作与学习双参考：不仅适合系统化学习，更可作为日常开发中的查阅手册
🧩 模块化知识结构：按知识点分章节，便于快速定位和复习
📈 长期可用的技术积累：不止一次学习，而是能伴随工作与项目长期参考
🎯🎯🎯全教程总章节
🚀🚀🚀本篇主要内容
Mongodb数据库
介绍
在前面的中 学习了mysql这种关系型数据库，那么接下来， 会来学习一种非关系型数据库mongodb，mongodb数据库主要用于海量存储，常被用在数据采集项目中。
内容
-
mongodb的介绍和安装
-
mongodb的简单使用
-
mongodb的增删改查
-
mongodb的聚合操作
-
mongodb的索引操作
-
mongodb的权限管理
-
mongodb和python交互（pymongo模块）
mongodb文档
mongodb的聚合操作
学习目标
-
了解 mongodb的聚合原理
-
掌握 mongdb的管道命令
-
掌握 mongdb的表达式
1 mongodb的聚合是什么
聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。
语法：db.集合名称.aggregate({管道:{表达式}})
2 mongodb的常用管道和表达式
知识点：
-
掌握mongodb中管道的语法
-
掌握mongodb中管道命令
2.1 常用管道命令
在mongodb中，⽂档处理完毕后， 通过管道进⾏下⼀次处理 常用管道命令如下：
-
$group： 将集合中的⽂档分组， 可⽤于统计结果 -
$match： 过滤数据， 只输出符合条件的⽂档 -
$project： 修改输⼊⽂档的结构， 如重命名、 增加、 删除字段、 创建计算结果 -
$sort： 将输⼊⽂档排序后输出 -
$limit： 限制聚合管道返回的⽂档数 -
$skip： 跳过指定数量的⽂档， 并返回余下的⽂档
2.2 常用表达式
表达式：处理输⼊⽂档并输出 语法：表达式:'$列名' 常⽤表达式:
-
$sum： 计算总和， $sum:1 表示以⼀倍计数 -
$avg： 计算平均值 -
$min： 获取最⼩值 -
$max： 获取最⼤值 -
$push： 在结果⽂档中插⼊值到⼀个数组中
3 管道命令之$group
3.1 按照某个字段进行分组
$group是所有聚合命令中用的最多的一个命令，用来将集合中的文档分组，可用于统计结果
使用示例如下
db.stu.aggregate(
{$group:
{
_id:"$gender",
counter:{$sum:1}
}
}
)
其中注意点：
-
db.db_name.aggregate是语法，所有的管道命令都需要写在其中 -
_id表示分组的依据，按照哪个字段进行分组，需要使用$gender表示选择这个字段进行分组 -
$sum:1表示把每条数据作为1进行统计，统计的是该分组下面数据的条数
3.2 group by null
当 需要统计整个文档的时候，$group 的另一种用途就是把整个文档分为一组进行统计
使用实例如下：
db.stu.aggregate(
{$group:
{
_id:null,
counter:{$sum:1}
}
}
)
其中注意点：
-
_id:null表示不指定分组的字段，即统计整个文档，此时获取的counter表示整个文档的个数
3.3 数据透视
正常情况在统计的不同性别的数据的时候，需要知道所有的name，需要逐条观察，如果通过某种方式把所有的name放到一起，那么此时就可以理解为数据透视
使用示例如下：
- 统计不同性别的学生
db.stu.aggregate(
{$group:
{
_id:null,
name:{$push:"$name"}
}
}
)
- 使用
$$ROOT可以将整个文档放入数组中
db.stu.aggregate(
{$group:
{
_id:null,
name:{$push:"$$ROOT"}
}
}
)
3.4 动手
对于如下数据，需要统计出每个country/province下的userid的数量（同一个userid只统计一次）
{ "country" : "china", "province" : "sh", "userid" : "a" }
{ "country" : "china", "province" : "sh", "userid" : "b" }
{ "country" : "china", "province" : "sh", "userid" : "a" }
{ "country" : "china", "province" : "sh", "userid" : "c" }
{ "country" : "china", "province" : "bj", "userid" : "da" }
{ "country" : "china", "province" : "bj", "userid" : "fa" }
参考答案
db.tv3.aggregate(
{$group:{_id:{country:'$country',province:'$province',userid:'$userid'}}},
{$group:{_id:{country:'$_id.country',province:'$_id.province'},count:{$sum:1}}}
4 管道命令之$match
$match用于进行数据的过滤，是在能够在聚合操作中使用的命令，和find区别在于$match 操作可以把结果交给下一个管道处理，而find不行
使用示例如下：
- 查询年龄大于20的学生
db.stu.aggregate(
{$match:{age:{$gt:20}}
)
- 查询年龄大于20的男女学生的人数
db.stu.aggregate(
{$match:{age:{$gt:20}}
{$group:{_id:"$gender",counter:{$sum:1}}}
)
5 管道命令之$project
$project用于修改文档的输入输出结构，例如重命名，增加，删除字段
使用示例如下：
- 查询学生的年龄、姓名，仅输出年龄姓名
db.stu.aggregate(
{$project:{_id:0,name:1,age:1}}
)
- 查询男女生人生，输出人数
db.stu.aggregate(
{$group:{_id:"$gender",counter:{$sum:1}}}
{$project:{_id:0,counter:1}}
)
5.1 动手练习
对于如
