掘金 - 代码不止，掘金不停

--- title: 用python爬取网络图——简单便捷 comments: true date: 2021-06-10T08:14:35.000Z categories: 后端 tags: 后端 theme: qklhk-chocolate highlight: a11y-dark --- 这是我参与更文挑战的第10天，活动详情查看： [更文挑战](https://juejin.cn/post/6967194882926444557) > 是以圣人居无为之事，行不言之教，万物作而弗始也，为而弗志也，成功而弗居也。夫唯弗居，是以弗去。经常有需求说需要爬取某某网站的某些数据，因为python的包最多的，首先尝试使用python爬~便有了本文有了python爬网页爬图这项技能，不光能爬数据，爬图，，，嗯~ 建议大家在法律范围内做爬虫，毕竟命令是领导下的，锅却要我们来背~ ## python基本配置 ### 安装pip 通过pip我们可以很方便的通过包名安装其他的python包。在Python 2 >=2.7.9 or Python 3 >=3.4 中已经内置了pip。可以使用如下命令查看是否已安装pip。 ```python python -m pip --version # output: pip 18.0 from C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\site-packages\pip (python 3.6) ``` 如果没有，可以通过下载[get-pip.py](https://bootstrap.pypa.io/get-pip.py)，并运行如下命令安装： ```python python get-pip.py ``` 我们可以使用pip安装其他包，如下文需要使用的`BeautifulSoup`需要我们安装`bs4` ```python pip3 install bs4 ``` ## 爬虫常用包 ### requests `requests`是一个处理URL资源很方便的包。 ```python import requests r = requests.get('https://juejin.cn') print(r) print(r.status_code) print(r.text) ``` 输出结果： ```python 200 掘金 - 代码不止，掘金不停data") # 浏览数据的方式 soup.title # The Dormouse's story soup.title.name # u'title' soup.title.string # u'The Dormouse's story' soup.title.parent.name # u'head' soup.p #

The Dormouse's story

soup.p['class'] # u'title' soup.a # Elsie soup.find_all('a') # [Elsie, # Lacie, # Tillie] soup.find(id="link3") # Tillie ``` ### open函数文件下载 open是python的内置函数，用于打开一个文件，并返回文件对象。常用参数为`file`与`mode`，完整参数如下： ```python open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) """ 参数说明: file: 必需，文件路径（相对或者绝对路径）。 mode: 可选，文件打开模式: buffering: 设置缓冲 encoding: 一般使用utf8 errors: 报错级别 newline: 区分换行符 closefd: 传入的file参数类型 opener: """ ``` ## 开启爬图之路爬图链接：https://www.easyapi.com/xxx 这个链接的特点是： 1. 简单，只有一张图片 2. 链接不变，但刷新后图片变化网页HTML代码与页面展示如图： ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8e9b4e0842e1401eafa1a973f4a18c3a~tplv-k3u1fbpfcp-watermark.image) 我们取其中的重要源码查看： ```html ...

欣赏美女

.... ``` 刷新页面，会发现`img`的`src`路径在编号，但`title`不变。因此，我们可以通过``来获取这个标签以及`src` ### 获取html内容使用requests获取html内容： ```python headers = {'referer': 'https://www.easyapi.com/xxx', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'} htmltxt = requests.get(res_url, headers=headers).text ``` ### 查找html中的图片链接 ```python html = BeautifulSoup(htmltxt) for link in html.find_all('img', {'title': '欣赏美女'}): # print(link.get('src')) srcLink = link.get('src') ``` ### 下载图片 ```python # 'wb'表示以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片等。 with open('./pic/' + os.path.basename(srcLink), 'wb') as file: file.write(requests.get(srcLink).content) ``` ## 完整代码网页图片是随机的，因此我们循环请求1000次，获取并下载图片。完整代码： ```python import requests from bs4 import BeautifulSoup import os index = 0 headers = {'referer': 'https://www.easyapi.com/xxx/service', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'} # 保存图片 def save_jpg(res_url): global index html = BeautifulSoup(requests.get(res_url, headers=headers).text) for link in html.find_all('img', {'title': '欣赏美女'}): print('./pic/' + os.path.basename(link.get('src'))) with open('./pic/' + os.path.basename(link.get('src')), 'wb') as jpg: jpg.write(requests.get(link.get('src')).content) print("正在抓取第"+str(index)+"条数据") index += 1 if __name__ == '__main__': url = 'https://www.easyapi.com/xxx/service' # 其实不需要循环到1000，通过打印链接可以发现，图片名称地址为 xxx/girl(number).jpg，优化方向可以舍弃获取html再获取图片链接 for i in range(0, 1000): save_jpg(url) ``` 运行效果： ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2d971bee684f4f98b66f47ca5af43dcd~tplv-k3u1fbpfcp-watermark.image) ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a702ea06ca56491b907bd1c5de7f84a1~tplv-k3u1fbpfcp-watermark.image) 有了这项技能，你不光能爬图片~~ 若不吝，请点个赞！