爬虫

urlopen()的使用，返回的类文件对象的读取方法 主要的工作是urlopen()的到的是一个类似于文件的对象，可以使用文件读取内容的几种方法 read 的返回结果：行式文件类型 readline

BeautifulSoup的总结，包括前面5节中的所有的知识点和系统的了解BeautifulSoup的使用

stockstar综合案例，爬取的部分使用的是urllib2，解析的部分使用的是BeautifulSoup

bs4的find_all配合selenium 这个使用bs4的find_all配合selenium的方式进行职位数字的提取 urllib2配合bs4进行数据的提取 urllib2配合bs4进行数据的提

bs4的find_all的使用方法(重点) bs4的select的使用方法(重点) 这两种方法非常重要

巩固bs4的标签，属性，文本的提取 基本属性，标签，文字的获取 数据的展示 bs4的儿子节点等部分展示 bs4的祖先节点，父节点，兄弟节点，儿子节点，子孙节点的使用，部分展示 children数据展示

bs4的Beautiful对象的生成 数据展示如下 bs4的标签，属性，文本的提取 极其常见： 标签 name,attrs string

关于requests的xmind的总结 包括之前写过的四个部分的所有知识点的总结 还有样例的使用 可以细读

requests的高级使用 超时的使用 Request对象构造 auth认证 chardet编码 数据展示如下

爬虫的requests的使用 ssl证书校验 本地证书验证 代理的使用 代理的部分比较重要，需要多加记忆

cookie的使用 在get中传递cookie,网络请求中会使用这个cookie，但是并不会将其存储变成 requests的cookie 数据展示如下： cookies设置 从网上粘贴下来的cooki

上传文件 注意我们使用 files = ** 这里面的files是一个打开的文件对象 标准化后的数据的样子 cookies的获取 cookies的获取，用于展示cookies的数据 数据的展示 coo

响应代码 get方式的代码 上面标准化后的数据的样子 post方式的代码 注意post方式中传递的参数是data,而get 是params 标准化后的数据的样子

步骤 第一步： 我们打开我们的目标网站，在F12检查中，找到目标的地址 第二步 我们在我们我们找到的网址上右键，拷贝curl命令 第三步 打开我们的上面的网址：https://curl.trillwo