python爬虫爬取豆瓣读书Top250

29 阅读3分钟

{'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},

{'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},

{

'User-Agent': 'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 '

'Safari/535.11'},

{'User-Agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},

{'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:40.0) Gecko/20100101 Firefox/40.0'},

{

'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu '

'Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}]

file_path = "..\Files\Books"

def Parse_Page(self):

req = Request(self.url+str(self.page_num * 25), headers=random.choice(self.headers))

page = urlopen(req).read()

bsObj = BeautifulSoup(page, "html.parser")

books_items = bsObj.find_all("a")

for item in books_items:

if 'title' in item.attrs:

self.Parse_Book(item.attrs['href'])

self.top_num += 1

self.page_num += 1

def Parse_Book(self, book_url):

print("book_url is: " + book_url)

try:

book_request = Request(book_url, headers=random.choice(self.headers))

book_html = urlopen(book_request).read()

book_bsObj = BeautifulSoup(book_html, "html.parser")

book_title = book_bsObj.h1

book_info = book_bsObj.find("div", {"id": "info"})

intro = book_bsObj.find_all("div", {"class": "intro"})

if intro[0].get_text().find("展开全部") != -1:

book_intro = intro[1]

if intro[2].get_text().find('展开全部') != -1:

author_intro = intro[3]

else:

author_intro = intro[2]

else:

book_intro = intro[0]

if intro[1].get_text().find('展开全部') != -1:

author_intro = intro[2]

else:

author_intro = intro[1]

with open(self.file_path + '\Top' + str(self.top_num) + '.txt', 'w', errors='ignore') as f:

f.write(book_title.get_text().strip() + '\n')

info_text = book_info.get_text().split(' ')

for info in info_text:

if info != '\n' and info != '':

f.write(info.strip())

f.write("\n\n内容简介: ")

f.write(book_intro.get_text())

f.write("\n\n作者简介: ")

f.write(author_intro.get_text())

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

了解详情:docs.qq.com/doc/DSnl3ZG…