爬虫

还是从最基本的开始，url、resquest的定制、response的请求，等下载使用urlretrieve方法，需要的参数有URL、文件存储的位置等。 需要注意的是，xpath的路径的书写，需要根据

爬虫在发生情请求时，需要根据根据不同的请求方式，做不同的处理，post请求就需要使用到encode()方法。二而对于批量下载，可以知道data数据的方式，这需要观察网页的响应中，data的数据定制，这

urlib在处理请求上有着强大的作用，xpath对于HTML的处理同样出色，主要分为两部分，一个是对本地文件的处理，使用etree.parse()，还有一个是处理服务器的响应，使用etree.HTML

请求对象的定制 #url的组成 #1。协议 http/https（加密） #2。主机（域名） #3。端口号 http(80)/https（443） mysql(3306)

urllib.request.urlopen（）模拟浏览器向服务器发送请求 response 服务器返回的数据 response 的数据类型是httpresponse 字节--》字符串 解码decod