# 开始爬取虎牙的妹子
response = requests.get(url, headers=headers)
content = response.text # 大家注意此处没有使用json()直接获取，是因为json字符串前面有一长串字符串
# 使用切片截取字符串
result = content[len('getLiveListJsonpCallback('): -1]
# 查看截取结果
print(result)
if name == 'main':
# 假设我们要爬取的是10页的主播封面图
for i in range(1,11):
url = 'www.huya.com/cache.php?m…
get_parse_json(url)
获取结果截图：
我们发现成功获取了3条json结果，接下来就是分析和解析数据了。
因为json内容很长，我们不便分析它们，所以我们使用json的格式化工具完成：www.bejson.com/
点开格式化工具的链接，将json数据复制到上面，进行格式化查看会更加清晰。
通过分析我们发现所有的数据都在data-->datas中，而图片在screenshot对应的值上。
所以我们开始解析，先将json字符串使用json.loads()进行转换，得到的是一个字典，然后层层的获取数据。
解析的代码是：
import json
# json解析: json字符串 => python字典
result2 = json.loads(result)
# 当前页的所有妹子
meizi_list = result2['data']['datas']
for meizi in meizi_list:
nick = meizi['nick'] # 昵称
img = meizi['screenshot'] # 图片url
我们虽然提取出来了图片的url，但是还没有保存到本地。所以接下来要做第四步持久化保存了。
因为我们下载的仅仅是图片，所以直接使用request.urlretrieve实现就可以
from urllib from request
request.urlretrieve(img, f'huya/{nick}.png')
request.urlcleanup() # 清空缓存
print(f'{nick}.png 下载完成!')
因此最后的完整代码是：
# 导入requests
import time
import json
from urllib import request
import ssl
import requests # 爬虫
# 模拟浏览器来访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}
# ssl._create_default_https_context = ssl._create_unverified_context
def get_parse_json(url):
# 开始爬取虎牙的妹子
response = requests.get(url, headers=headers)
content = response.text # 大家注意此处没有使用json()直接获取，是因为json字符串前面有一长串字符串
# 使用切片截取字符串
result = content[len('getLiveListJsonpCallback('): -1]
# json解析: json字符串 => python字典
result2 = json.loads(result)
# 当前页的所有妹子
meizi_list = result2['data']['datas']
for meizi in meizi_list:
nick = meizi['nick'] # 昵称
img = meizi['screenshot'] # 图片url
try:
# 这句话是在下载图片的时候有可能会有证书认证问题，如果没有可以不加
ssl._create_default_https_context = ssl._create_unverified_context
request.urlretrieve(img, f'huya/{nick}.png')
request.urlcleanup() # 清空缓存
print(f'{nick}.png 下载完成!')
except:
print('error:', nick)
if name == 'main':
# 自动创建huya文件夹
if not os.path.exists('huya'):
os.mkdir('huya')
# 假设我们要爬取的是10页的主播封面图
for i in range(1, 3):
url = 'www.huya.com/cache.php?m…' + str(
i)
get_parse_json(url)
time.sleep(5)
在上面的代码中我们我们使用过单线程完成的，代码中加完time.sleep(5)每页会有5秒的延迟。
当然要想速度更快可以使用多进程完成：multiprocessing，所以代码我们可以升级成：
# 导入requests
import requests # 爬虫
import json # json解析
import os # 自动创建文件夹
from urllib import request # 下载图片
import multiprocessing # 多进程爬取多页
import ssl
# 模拟浏览器来访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}
def get_huya_meizi(page=1):
'''
:param url: 下载路径
:return:
'''
# 开始爬取虎牙的妹子
response = requests.get(url, headers=headers)
content = response.text
result = content[len('getLiveListJsonpCallback('): -1]
# json解析: json字符串 => python字典
result2 = json.loads(result)
# 当前页的所有妹子
meizi_list = result2['data']['datas']
for meizi in meizi_list:
nick = meizi['nick'] # 昵称
img = meizi['screenshot'] # 图片url
# 下载图片,并以昵称作为图片名
try:
ssl._create_default_https_context = ssl._create_unverified_context
request.urlretrieve(img, f'huya/{nick}.png')
request.urlcleanup() # 清空缓存
print(f'{nick}.png 下载完成!')
except Exception as e:
print('error:', e)
if name == 'main':
# 自动创建huya文件夹
if not os.path.exists('huya'):
os.mkdir('huya')
# 获取虎牙妹子
# 使用多进程
for i in range(1, 3):
url = 'www.huya.com/cache.php?m…' + str(
i)
# 创建进程来同时获取多页数据
multiprocessing.Process(target=get_huya_meizi, args=(url,)).start() 文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉 四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传
