\
你没看错就是给你发红包了，识别小程序领红包。
今日报名课程的全部优惠200。
\
\
在 Python 语言几乎变成人人必会的一项技能时，你还不会这说的过去？作为一个互联网技术从业者连基本的爬数据都做不到，谈什么数据分析和了解互联网呢？学习爬虫技术，学会搜集数据绝对会是你工作和学习汇总的神助手。51Reboot 第18期 Python 公开课内容介绍如下：
**
**
主题：Python3 从青铜到王者——scrapy 爬虫实战
\
目录
- 爬虫是什么
- requests + pyquery 做简单爬虫
- scrapy 是什么
- scrapy 核心概念
- 实战抓取
\
主讲师
\
蜗牛
非典型程序员，毕业之后接触了编程，从零基础成长至 BAT 高级工程师，为部门从零组建开发团队，带领完成多个大、中型项目，项目开发经验丰富并且深 悉初学者学编程的方法，为人热情，乐于分析。前百度高级工程师、Python 老司机，擅长可视化，追求简洁极致的代码，现任 51Reboot.com 的 Python 课程总监。
\
\
爬虫是什么
\
爬虫一种按照一定的规则，自动地抓取万维网信息的程序或者脚本
- 万维网（抓取目标）
- 规则（获取数据的规则）
- 自动（脚本）
当你需要别的网站的数据的时候，你就需要爬虫
\
兴趣驱动学习
\
- 我要爬整个豆瓣！...
- 我要爬整个草榴社区！
- 我要爬知乎各种妹子的联系方式
这些情况，你都需要爬虫
\
爬虫通用策略
\
- 下载抓取目标的数据
-
- http 下载
- 设置具体获取数据的规则
-
- html 解析或者 json 解析
- 数据存储或者解析
-
- 文件| mysql | mongodb
\
http 下载
\
- 神器 requests
- get
- text
- json 进阶（cookie 代理等）
\
html 解析
\
- pyquery
- 使用 jquery 的语法 解析 html 告别正则
- #id
- .class
- html text
\
爬虫复杂后的问题
\
- 网站反爬虫策略
- 速度
- 数据去重
- 抓取策略，深度还是广度
\
Scrapy
\
- Scrapy 核心概念
- 理解 html 和 xpath
- items 设计
- pipeline loader 机制
\
进阶
\
- 模拟登录
- 保存数据
- 验证码
- 分布式爬虫 scrapy-redis
- 反爬虫策略
- phantormjs 动态网页
\
\
分享时间：
18年3月8日（周四）
21:00-22:00
**
**
分享方式：
网络直播
**
**
报名方式：
1、扫码添加小助手微信，备注"公开课"，进入分享群
\
\
\
