python爬虫学习笔记简记(一)

92 阅读1分钟

urllib库---内置库(1)

1.urllib库基本使用

from urllib import request



url = 'https://www.biedoul.com/index/21868/'

resp = request.urlopen(url)

print(resp.read().decode('utf-8'))

2.网页数据保存格式---urlretrieve

request.urlretrieve(url,'bie.html')

在py文件相同目录下,会生成一个html文件:

bie_html

打开即可浏览网页源代码

3.加密与解密---urllib编解码

urlencode函数

实现字典数据--->url编码数据

示例代码:

from urllib import parse

data = {

  'name':'python爬虫',  'greet':'hello world','author':'ZHiLuan'

}

qs = parse.urlencode(data)

print(qs)

运行结果:

name=python%E7%88%AC%E8%99%AB&greet=hello+world&author=ZHiLuan

4.url地址解析---parse/split

·urlparse和urlsplit

示例代码:

from urllib import parse

url = 'https://www.biedoul.com/index/21868/'

result = parse.urlparse(url)

print(result)

运行结果:

ParseResult(scheme='https', netloc='www.biedoul.com', path='/index/21868/', params='', query='', fragment='')

由运行结果可知,urlparse函数可以解析出网页中的scheme、netloc、 path、params、query、fragment。

urlsplit函数的功能差不多,用法一致,只是缺少params项

此外,地址解析也可单独打印出相关内容,如:

ptint(result.scheme)
print(result.netloc)
...

未完待续......