哔哩哔哩热门视频数据可视化分析系统-简介
本系统全称为“基于Hadoop+Spark的哔哩哔哩热门视频数据可视化分析系统”，是一个完整的大数据处理与Web可视化项目。在技术架构上，系统以后端数据处理为核心，采用Hadoop作为分布式文件系统（HDFS）来存储海量的B站热门视频原始数据，并利用Spark强大的内存计算能力，特别是通过Spark SQL对这些数据进行高效的清洗、转换和聚合分析。整个后端逻辑提供了两个主流技术栈版本，分别是基于Java的SpringBoot和基于Python的Django框架，两者都负责调度Spark任务并为前端提供标准的API接口。前端部分则采用了目前流行的Vue全家桶技术，配合ElementUI构建美观统一的交互界面，而数据的最终呈现则交给了强大的Echarts图表库，它能够将后端计算出的复杂数据，如分区统计、时间趋势、UP主排名、用户行为相关性、地理位置分布以及聚类分析结果等，转化为直观、动态、可交互的柱状图、折线图、饼图、热力图、地理地图和词云等16种以上的可视化图表。用户通过浏览器访问该系统，即可一目了然地洞察B站热门视频背后的数据规律，实现了从原始数据到最终商业智能（BI）洞察的全流程贯通。
哔哩哔哩热门视频数据可视化分析系统-技术
开发语言：Python或Java 大数据框架：Hadoop+Spark（本次没用Hive，支持定制） 后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis) 前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery 详细技术点：Hadoop、HDFS、Spark、Spark SQL、Pandas、NumPy 数据库：MySQL
哔哩哔哩热门视频数据可视化分析系统-背景
选题背景
这几年，B站（哔哩哔哩）早就不是以前那个只有动漫二次元的小圈子了，它现在已经成了一个啥内容都有的、特别大的视频社区。每天都有成千上万的UP主上传各种各样的视频，从游戏攻略、生活Vlog到知识科普、数码评测，内容五花八门。咱们作为用户，每天刷到的热门视频背后，其实都藏着海量的数据。比如一个视频有多少人看、多少人点赞、投了多少币、发了多少弹幕，这些行为数据就像是用户留下的“数字脚印”。这些脚印汇集起来，就形成了一座巨大的数据金矿。到底什么样的视频标题更容易火？哪个时间点发布视频看的人最多？哪个领域的内容大家最愿意三连？这些问题光靠感觉去猜肯定不准。想搞清楚这些，唯一的办法就是对数据进行分析。但是数据量太大了，用普通的电脑和Excel根本处理不过来，所以就需要用到像Hadoop和Spark这样的大数据技术。咱们这个课题，就是想尝试搭建一个这样的系统，去挖一挖这些数据，看看能不能发现一些有意思的规律。
选题意义
说实话，做一个毕业设计，要说能产生多大的商业价值那肯定是夸张了，它最大的意义还是在于对咱们自己学习和能力的提升。这个项目对一个即将毕业的计算机学生来说，实践意义还是挺足的。它能让你真正上手去用Hadoop和Spark这些在招聘市场上很火的大数据技术，不再只是停留在理论课本上。在做的过程中，你会完整地经历一个从数据采集、存储、处理分析到最终前端可视化的全过程，这比单纯做一个增删改查的管理系统要锻炼人得多。通过分析B站的数据，也能培养一种“用数据说话”的思维习惯，以后看待问题会多一个数据分析的视角。同时，项目最终的产出是一个看得见摸得着的可视化网站，里面有各种图表，这在毕业答辩的时候会是一个很不错的展示成果，能清楚地告诉老师你做了什么、有什么发现。总的来说，这个选题的意义不在于能创造多大的轰动效应，而在于它是一个很好的实践机会，能把大学里学的零散知识（像数据库、前后端、大数据框架）串联起来，做一个完整、有技术含量、还有点意思的个人项目。
哔哩哔哩热门视频数据可视化分析系统-图片展示
哔哩哔哩热门视频数据可视化分析系统-代码展示
from pyspark.sql.functions import col, count, sum as _sum, avg, udf
from pyspark.sql.types import StringType
import pyspark.sql.functions as F
# 假设已经初始化了SparkSession
# spark = SparkSession.builder.appName("BilibiliAnalysis").master("local[*]").getOrCreate()
# 假设df是已经加载了数据的Spark DataFrame，例如：df = spark.read.csv("hdfs://path/to/your/data.csv", header=True, inferSchema=True)
def process_partition_stats(df):
"""
核心功能1：热门视频分区数量统计分析
业务逻辑：按视频分区（typename）分组，统计每个分区的热门视频数量，并按数量降序排序。
"""
print("开始处理分区数量统计...")
partition_counts = df.groupBy("typename").agg(
count("*").alias("video_count")
).orderBy(col("video_count").desc())
# 为了方便API返回，通常会转换为JSON格式
result_list = []
collected_data = partition_counts.collect()
for row in collected_data:
result_list.append({
"partition_name": row["typename"],
"count": row["video_count"]
})
print("分区数量统计处理完成。")
# 在实际项目中，这里会 return json.dumps(result_list)
return result_list
def process_top_authors(df, top_n=10):
"""
核心功能2：高产热门视频创作者TOP10分析
业务逻辑：按作者（author）分组，统计每个作者产出的热门视频数量，并按数量降序排序，取前10名。
"""
print(f"开始处理TOP {top_n} 高产作者分析...")
top_authors = df.groupBy("author").agg(
count("*").alias("video_count")
).orderBy(col("video_count").desc()).limit(top_n)
# 转换为适合前端Echarts的格式
authors = [row["author"] for row in top_authors.collect()]
counts = [row["video_count"] for row in top_authors.collect()]
result_dict = {
"authors": authors,
"counts": counts
}
print("高产作者分析处理完成。")
# 在实际项目中，这里会 return json.dumps(result_dict)
return result_dict
def process_correlation_analysis(df):
"""
核心功能3：热门视频互动数据相关性分析
业务逻辑：计算播放、点赞、弹幕、评论、收藏、分享、投币这些核心指标之间的皮尔逊相关系数。
由于Spark的corr函数只能计算两列，这里转为Pandas进行矩阵计算更高效。
"""
print("开始处理互动数据相关性分析...")
numeric_cols = ['playcount', 'likes', 'danmaku', 'commentcount', 'favorite', 'share', 'coin']
# 对数据类型进行转换，确保都是数值类型
for c in numeric_cols:
df = df.withColumn(c, col(c).cast('double'))
# 对大数据集进行采样，以避免OOM错误
pandas_df = df.select(numeric_cols).sample(fraction=0.2, seed=123).toPandas()
# 计算皮尔逊相关系数矩阵
correlation_matrix = pandas_df.corr(method='pearson')
# 将结果格式化为Echarts热力图需要的数据格式 [col_index, row_index, value]
heatmap_data = []
for i, col_name_i in enumerate(correlation_matrix.columns):
for j, col_name_j in enumerate(correlation_matrix.index):
value = correlation_matrix.loc[col_name_j, col_name_i]
heatmap_data.append([i, j, round(value, 2) if value is not None else 0])
result_dict = {
"axis": numeric_cols,
"data": heatmap_data
}
print("相关性分析处理完成。")
return result_dict
哔哩哔哩热门视频数据可视化分析系统-结语
咱们这个基于Hadoop+Spark的B站热门视频数据可视化分析系统就阶段性地介绍到这里啦！从分区热度排行、UP主影响力分析，到视频发布时间规律的探索，希望能用数据带大家从一个新的角度看懂B站。
如果你也是计算机专业的同学，对大数据技术感兴趣，或者正在为自己的毕设选题和实现发愁，希望这个项目能给你带来一点点启发。觉得内容还不错的话，别忘了给个【一键三连】支持一下哦！大家对哪个分析功能最感兴趣？或者有什么更好玩的数据分析想法？都可以在【评论区】留言一起交流，让我们在技术的道路上共同进步！感谢观看！
