python爬虫公众号所有信息,并批量下载公众号视频

265 阅读4分钟

主要功能


  • 如何简单爬虫微信公众号

  • 获取信息:标题、摘要、封面、文章地址

  • 自动批量下载公众号内的视频

一、获取公众号信息:标题、摘要、封面、文章URL


操作步骤:

1、先自己申请一个公众号

2、登录自己的账号,新建文章图文,点击超链接

代码

import re

import requests

import jsonpath

import json

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",

"Host": "mp.weixin.qq.com",

"Referer": "mp.weixin.qq.com/cgi-bin/app…",

"Cookie": "自己获取信息时的cookie"

}

def getInfo():

for i in range(80):

token random 需要要自己的 begin:参数传入

url = "mp.weixin.qq.com/cgi-bin/app… * 5))

response = requests.get(url, headers = headers)

jsonRes = response.json()

titleList = jsonpath.jsonpath(jsonRes, "$..title")

coverList = jsonpath.jsonpath(jsonRes, "$..cover")

urlList = jsonpath.jsonpath(jsonRes, "$..link")

遍历 构造可存储字符串

for index in range(len(titleList)):

title = titleList[index]

cover = coverList[index]

url = urlList[index]

scvStr = "%s,%s, %s,\n" % (title, cover, url)

with open("info.csv", "a+", encoding="gbk", newline='') as f:

f.write(scvStr)

获取结果(成功):

在这里插入图片描述

二、获取文章内视频:实现批量下载


通过对单篇视频文章分析,我找到了这个链接:

在这里插入图片描述

通过网页打开发现,是视频的网页下载链接:

在这里插入图片描述

哎,好像有点意思了,找到了视频的网页纯下载链接,那就开始吧。

发现链接里的有一个关键参数vid 不知道哪来的?

和获取到的其他信息也没有关系,那就只能硬来了。

通过对单文章的url请求信息里发现了这个参数,然后进行获取。

response = requests.get(url_wxv, headers=headers)

我用的是正则,也可以使用xpath

jsonRes = response.text # 匹配:wxv_1105179750743556096

dirRe = r"wxv_.{19}"

result = re.search(dirRe, jsonRes)

wxv = result.group(0)

print(wxv)

视频下载:

def getVideo(video_title, url_wxv):

video_path = './videoFiles/' + video_title + ".mp4"

页面可下载形式

video_url_temp = "mp.weixin.qq.com/mp/videopla…" + wxv

response = requests.get(video_url_temp, headers=headers)

如果你也是看准了Python,想自学Python,在这里为大家准备了丰厚的免费学习大礼包,带大家一起学习,给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间,但是打下坚实的基础只要几周就可以,如果你按照我提供的学习路线以及资料有意识地去实践,你就有很大可能成功! 最后祝你好运!!!

了解详情:docs.qq.com/doc/DSnl3ZG…