Python爬虫技术5:保存数据_python 爬虫 类属性保存数据

38 阅读5分钟

得到一个xls文件:  
 ![在这里插入图片描述](https://p9-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/9f0fbf4c89974de095c8757ddb20943e~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3NTc5MjMwMTY3MDI=:q75.awebp?rk3s=f64ab15b&x-expires=1771413484&x-signature=gV32nzPl%2BJW0anRofAiFY2UqfOg%3D)  
 练习:九九乘法表



import xlwt #九九乘法表 workbook=xlwt.Workbook(encoding="utf-8") worksheet=workbook.add_sheet('sheet1') for i in range(0,9): for j in range(0,i+1): worksheet.write(i,j,"%d*%d=%d"%(i+1,j+1,(i+1)*(j+1)))

workbook.save('student.xls') #保存数据表


得到:  
 ![在这里插入图片描述](https://p9-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/4fa67d3f1be14c929b085172d4bf6f51~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3NTc5MjMwMTY3MDI=:q75.awebp?rk3s=f64ab15b&x-expires=1771413484&x-signature=Ew8CBCzusXc8q9z63Jftkaq3wbI%3D)


![在这里插入图片描述](https://p9-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/720a28d4ae3a4d258fa74d5c528fc720~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3NTc5MjMwMTY3MDI=:q75.awebp?rk3s=f64ab15b&x-expires=1771413484&x-signature=ZoI%2FrfAREXxMMPJu3F03cPHircA%3D)  
 最终代码!!!!



#-*- coding = utf-8 -*- #@Time : 2020/9/8 23:17 #@Author : Vivian #@File : spider.py #@Sofeware : PyCharm

from bs4 import BeautifulSoup #网页解析,获取数据 import re #正则表达式,进行文件匹配 import urllib.request,urllib.error #指定URL,获取网页数据 import xlwt #进行excel操作 import sqlite3 #进行SQLite数据库操作

def main(): baseurl="movie.douban.com/top250?star…" #1.爬取网页 datalist=getData(baseurl)

savepath="豆瓣电影Top250.xls"    #保存在当前路径下
#3.保存数据
saveData(datalist,savepath)

askURL("https://movie.douban.com/top250?start=0")

#正则表达式 #()里的东西是我们要的

#影片详情链接的正则表达式 findLink=re.compile(r'') #创建正则表达式对象,表示规则(字符串的模式) #影片图片 findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S 让换行符包含在字符中 #影片的片名 findTitle=re.compile(r'(.*)') #影片的评分 findRating=re.compile(r'(.*)') #评价人数 findJudge=re.compile(r'(\d*)人评价') #找到概况 findInq=re.compile(r'(.*)') #找到影片的相关内容 findBd=re.compile(r'

(.*?)

',re.S)

#1.爬取网页 def getData(baseurl): datalist=[] for i in range(0,10): #调用获取页面信息的函数:十次 url=baseurl+str(i*25) html=askURL(url) #保存获取到的网页源码

    # 2.逐一解析数据
    soup=BeautifulSoup(html,"html.parser")

    # 查找符合要求的字符串,形成列表
    #下面查找div标签,有一个class属性(要加上下划线)等于item的内容
    for item in soup.find_all('div',class_="item"):
        #print(item) #测试:查看电影item全部信息
        data=[]             #保存一部电影的所有信息
        item=str(item)      #变成字符串,可以用正则表达式分析

        #获取影片详情链接
        link=re.findall(findLink,item)[0]   #re库用来通过正则表达式(findLink)查找指定的字符串(item),获得第一个满足的存到link里
        data.append(link)                   #添加链接

        imgSrc=re.findall(findImgSrc,item)[0]
        data.append(imgSrc)                 #添加图片

        titles=re.findall(findTitle,item)
        if (len(titles)==2):
            ctitle=titles[0]
            data.append(ctitle)             #添加中文名
            otitle=titles[1].replace("/","")    #去掉无关符号
            data.append(otitle)             #添加外国名
        else:
            data.append(titles[0])
            data.append(' ')       #外国名留空

        rating=re.findall(findRating,item)[0]
        data.append(rating)             #添加评分

        judgeNum=re.findall(findJudge,item)[0]
        data.append(judgeNum)           #添加评价人数

        inq=re.findall(findInq,item)
        if len(inq)!=0:
            inq=inq[0].replace("。","")      #去掉句号
            data.append(inq)                # 添加概述
        else:
            data.append(" ")                #留空

        bd=re.findall(findBd,item)[0]
        bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)    #去掉<br/>
        bd=re.sub('/'," ",bd)
        data.append(bd.strip())             #去掉前后空格

        datalist.append(data)      #把处理好的一部电影信息放入datalist

#print(datalist)
return datalist

#得到指定一个URL的网页内容 def askURL(url): head={ #模拟浏览器头部信息向豆瓣服务器发送消息 注意空格去掉 "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 80.0.3987.106Safari / 537.36" } #用户代理:告诉豆瓣服务器我们是什么类型的机器(浏览器)(表示我们可以接收什么水平的文件内容)

request=urllib.request.Request(url,headers=head)
html=""
try:
    response=urllib.request.urlopen(request)

最后

Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样,是不能只看书不做题的,直接看步骤和答案会让人误以为自己全都掌握了,但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码,教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

了解详情:docs.qq.com/doc/DSnl3ZG…