我平时喜欢看电影，也会习惯性参考豆瓣电影评分，而豆瓣对于爬虫爱好者是很友好的，没有太多反爬措施，对新手是很友好的。

本文将爬取豆瓣电影 TOP 250榜单的数据进行可视化，主要用了 BeautifulSoup, pandas , Matplotlib 等数据分析常用的库。

数据爬取

首先打开页面，进入调试模式，我们会看到如下页面：

如图所示，我们可以很直观的看到数据，图示信息就是我们本次要爬取的信息。

接下来，点击页面最下面的翻页，我们注意到第 2 页的地址为：https://movie.douban.com/top250?start=25&filter=，第 3 页的地址为：https://movie.douban.com/top250?start=50&filter=

不难发现其规律,那就开始写代码吧。

 import os
 
 import matplotlib.pyplot as plt
 import pandas as pd
 import requests
 from bs4 import BeautifulSoup
 
 def movies_spider():
    records = []
    for start in (range(250)[::25]):
        url = f"https://movie.douban.com/top250?start={start}"
        response = requests.get(url).text
        soup = BeautifulSoup(response, 'html.parser')
        movie_list = soup.find_all(class_='item')
        for item in movie_list:
            rank = int(item.find('em').string)  # 排名
            pic = item.find(class_='pic')
            href = pic.find('a')['href']  # 链接

            info = item.find(class_='info')
            name = info.find(class_='title').string  # 电影名称
            rating_num = info.find(class_='rating_num').string  # 评分
            total = info.find(
                class_='rating_num').find_next_sibling().find_next_sibling().string[:-3]  # 评价人数
            inq = info.find(class_='inq')  # 简评
            try:
                quote = inq.get_text()
            except AttributeError:
                quote = None
                print("Type error")
            bd_div = item.find(class_='bd')
            infos = bd_div.find('p').get_text().strip().split('\n')
            # infos = ['导演: 弗兰克·德拉邦特 Frank Darabont\xa0\xa0\xa0主演: 蒂姆·罗宾斯 Tim Robbins /...',
            #          '                            1994\xa0/\xa0美国\xa0/\xa0犯罪 剧情']
            info1 = infos[0].split('\xa0\xa0\xa0')
            director = info1[0][4:]  # 导演
            info2 = infos[1].lstrip().split('\xa0/\xa0')
            year = info2[0][:4]
            area = info2[1]
            movie_type = info2[2]

            movie = {
                'rank': rank,
                'name': name,
                'director': director,
                'year': year,
                'area': area,
                'type': movie_type,
                'rating_num': rating_num,
                'comment_num': total,
                'quote': quote,
                'url': href
            }
            records.append(movie)
    return records

代码配合前面的源代码，还是很好理解的，接下来先将数据保存为 csv 文件，然后再利用 pandas 分析处理

headers = ['rank', 'name', 'director', 'year', 'area', 'type', 'rating_num', 'comment_num',
           'quote', 'url']
df = pd.DataFrame(rows, columns=headers)
df.to_csv('top250.csv')

我们来看一下数据：

数据分析和可视化

国家地区

先分析制片的国家地区，可以看到，有的电影不止一个国家地区，比如霸王别姬的制片国家地区是：中国大陆香港，因此我们可以用 split 进行处理

area_split = df['area'].str.split(' ').apply(pd.Series)

可以看到电影最多有5个国家地区，我们进行统计，求和，最后绘图

a = area_split.apply(pd.value_counts)
area_count = a.sum(axis=1)
area_df = pd.DataFrame(area_count, columns=['count'], dtype=int).sort_values(by='count')
area_df.plot.barh()

美国以 144 部遥遥领先，香港 25 部排名第 4，中国大陆 17 部位居第 7

美国：144
日本：34
英国：34
香港：25
法国：21

电影类型

我们以同样的方法分析分析电影类型

剧情片 191 部同样遥遥领先，爱情、冒险、喜剧和犯罪，也是大家喜欢的类型。

剧情：192
爱情：57
冒险：47
喜剧：47
犯罪：44

导演

前5的导演是：

克里斯托弗·诺兰：7
宫崎骏：6
王家卫：5
史蒂文·斯皮尔伯格：5
李安：5

这几位导演真是实至名归

评分

首先看一下排名前 10 的电影

排名	电影	评分
1	肖申克的救赎	9.6
33	控方证人	9.6
2	霸王别姬	9.6
5	美丽人生	9.5
8	辛德勒的名单	9.5
3	这个杀手不太冷	9.4
4	阿甘正传	9.4
32	十二怒汉	9.4
14	放牛班的春天	9.3
217	城市之光	9.3

注意到《城市之光》以 9.3 分排名 217，那么我们就会有疑问，评分与排名之间有什么关系呢，我们通过绘制散点图和直方图来分析

df.plot.scatter(x='rating_num', y='rank')
plt.title('评分与排名关系')
plt.xlabel('评分')
plt.ylabel('排名')
plt.gca().invert_yaxis()

df['rating_num'].plot.hist(bins=10, rwidth=0.9)
plt.title('评分分布')

从上图分析，随着评分升高，排名也基本靠前，评分主要集中在 8.4~9.2 之间。同时可以通过 pandas 计算平均数，众数和相关系数，平均分为 8.83 分，众数为 8.7 分，而相关系数为 -0.6882，评分与排名强相关。

评价人数

评价人数前 10 电影

用之前同样的方法，我们来分析评价人数的分布情况以及评价人数和排名之间的关系

与评分不同的是，随着评价人数的增多，电影排名有提前的趋势，评价人数主要分布在 10w-50w 之间，平均值为 34.36w，相关系数为 -0.6865，评价人数与排名强相关。

年份

电影主要集中在 1990 年以后，相关系数为 0.0173，年份与排名没有相关性。

最早的电影是在 1931 年，卓别林的《城市之光》

最近的电影是在 2017 年，三部

《请以你的名字呼唤我》：117
《三块广告牌》：191
《寻梦环游记》：63

电影数量前三的年份分别是：

2010：14
2004：12
1994：11

没想到贡献了三部前 5 的电影大年 1994 也只能屈居第 3 位，最后我们来看看贡献数量最多的 2010 年都有哪些佳作

排名	电影
9	盗梦空间
24	怦然心动
68	让子弹飞
86	禁闭岛
99	告白
118	驯龙高手
123	神偷奶爸
125	借东西的小人阿莉埃蒂
128	岁月神偷
142	黑天鹅
155	玩具总动员3
163	你看起来好像很好吃
214	初恋这件小事
237	国王的演讲

结语

本文仅对数据进行简单的爬取分析和可视化，目的在于学习这些库的基本使用，你还可以进行深度挖掘分析，比如可以进一步分析评价人数，评分，排名的关系，分析演员，语言以及时长等等，一个好的思路可能比技术更重要。

最后上一个 TOP250 全家福

愿你在电影中遇见另一个世界

愿你在编码中感受学习的快乐

如果你对 Python 开发以及全栈工程师感兴趣，欢迎关注微信公众号，这里不止 Python 哦