化妆品数据可视化分析系统-简介
本系统全称为“基于Spark+HDFS的化妆品数据可视化分析系统”，是一个集数据存储、处理、分析与可视化于一体的综合性大数据应用平台。系统的核心目标是针对海量的化妆品市场数据，提供一个高效、可扩展的分析解决方案，以应对传统单体应用在处理大规模数据集时面临的性能瓶颈。在技术架构上，系统底层采用Hadoop分布式文件系统（HDFS）作为海量原始数据的持久化存储方案，确保数据的可靠性与高吞吐量访问。数据处理与分析的核心引擎是Apache Spark，我们充分利用其基于内存的计算优势，特别是通过Spark SQL模块对存储在HDFS上的结构化数据进行高效的交互式查询与复杂分析。整个系统的后端服务逻辑基于Python语言和Django框架开发，负责封装Spark作业的调用接口，管理分析任务的生命周期，并向前端提供标准化的RESTful API。前端界面则采用目前主流的Vue.js框架，并结合Element-UI组件库和Echarts图表库，将后端分析得出的复杂数据结果，如图表、排行、聚类等，以直观、动态、交互性强的方式呈现给用户。系统完整地实现了从数据采集、分布式存储、并行计算分析到最终可视化呈现的全链路流程，具体功能涵盖了品类分布、品牌排行、价格与评分相关性、用户群体聚类（K-Means）等十五项深度数据挖掘与分析任务，为理解化妆品市场提供了多维度的洞察视角。
化妆品数据可视化分析系统-技术
大数据框架：Hadoop+Spark（本次没用Hive，支持定制） 开发语言：Python+Java（两个版本都支持） 后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis)（两个版本都支持） 前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery 数据库：MySQL
化妆品数据可视化分析系统-背景
选题背景 如今的化妆品市场，简直就是一个信息大爆炸的缩影。消费者打开购物软件，成千上万的品牌、琳琅满目的产品、复杂的成分列表和褒贬不一的用户评价迎面扑来，常常让人感到选择困难。对于品牌方和市场分析师来说，情况也同样复杂，他们需要从这些海量、杂乱的数据中找到有价值的信息，比如当前哪个品类最受欢迎、自家产品的市场定位如何、消费者的真实口碑怎么样等等。说白了，无论是买家还是卖家，都面临着“信息过载”和“决策困难”的问题。在这种情况下，传统的分析工具，比如用Excel或者简单的数据库查询，处理起几十万甚至上百万条的数据时就显得有些力不从心了，不仅速度慢，而且很多复杂的分析（比如文本挖掘、机器学习聚类）根本无法实现。因此，如何利用更强大的技术手段来高效地处理和分析这些数据，从中提炼出有价值的洞察，就成了一个非常实际且有挑战性的课题。
选题意义 坦白说，这首先对我个人而言是一个非常宝贵的学习和实践机会。在学校里我们学了Hadoop、Spark这些大数据理论，但总感觉有点纸上谈兵。通过做这个项目，我能亲手把HDFS的数据存储、Spark的数据处理、Django的后端逻辑和Vue的前端展示串联起来，完整地走一遍大数据项目开发的流程。这比单纯做一个增删改查的管理系统，在技术深度和广度上都有更大的挑战和收获，能让我对分布式计算的理解更深一层。从实际应用的角度来看，虽然它只是一个毕业设计，但它确实模拟了一个小型的数据分析场景。这个系统提供的一系列分析功能，在一定程度上可以帮助市场分析人员快速洞察市场格局，比如通过品牌排行和均价分析，可以摸清主流品牌的市场定位；通过热门成分分析，可以洞察产品研发的趋势。对于消费者来说，像“敏感肌友好度排行”这样的分析结果，也能在购物时提供一些有用的参考，帮大家少踩点坑。总而言之，这个课题不仅锻炼了我的工程实践能力，也尝试着用技术去解决一个真实世界里存在的问题，我觉得这挺有意义的。
化妆品数据可视化分析系统-视频展示
[video(video-4q4cLbEv-1761916062480)(type-csdn)(url-live.csdn.net/v/embed/498…)]
化妆品数据可视化分析系统-图片展示
化妆品数据可视化分析系统-代码展示
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, corr, desc
from pyspark.ml.feature import VectorAssembler
from pyspark.ml import Pipeline
from pyspark.ml.clustering import KMeans
# 初始化SparkSession，这是所有Spark应用的入口
spark = SparkSession.builder.appName("CosmeticAnalysis").master("local[*]").getOrCreate()
# 假设df是已经从HDFS加载并清洗好的Spark DataFrame
# df = spark.read.csv("hdfs://path/to/your/data.csv", header=True, inferSchema=True)
def get_brand_ranking(df, top_n=10):
"""
核心功能1：各品牌产品数量排行分析
业务逻辑：按品牌(Brand)分组，统计每个品牌的产品数量，然后按数量降序排序，最后取前N个品牌。
这是最基础也是最重要的市场格局分析功能之一。
"""
print("Executing brand ranking analysis...")
brand_counts_df = df.groupBy("Brand").count()
top_brands_df = brand_counts_df.orderBy(col("count").desc()).limit(top_n)
# 将Spark DataFrame的结果收集到Driver端
results = top_brands_df.collect()
# 转换为Python字典列表，方便后续通过Django API返回给前端
output_data = []
for row in results:
output_data.append({
"brand": row["Brand"],
"count": row["count"]
})
print(f"Top {top_n} brands analysis completed.")
return output_data
def get_price_rank_correlation(df, category=None):
"""
核心功能2：产品价格与评分的相关性分析
业务逻辑：计算价格(Price)和评分(Rank)两列的皮尔逊相关系数。
这个功能可以帮助验证“一分价钱一分货”的市场规律是否在化妆品领域成立。
如果指定了品类(category)，则只分析该品类下的数据。
"""
print("Executing price-rank correlation analysis...")
target_df = df
if category and category != 'all':
print(f"Filtering for category: {category}")
target_df = df.filter(col("Label") == category)
# 确保数据不为空
if target_df.count() == 0:
return {"correlation": 0, "message": "No data for this category."}
# 计算相关系数，需要处理数据类型
target_df = target_df.withColumn("Price", col("Price").cast("double"))
target_df = target_df.withColumn("Rank", col("Rank").cast("double"))
# Spark的corr函数直接计算相关性
correlation_value = target_df.select(corr("Price", "Rank")).collect()[0][0]
# 对可能出现的null值进行处理
if correlation_value is None:
correlation_value = 0
print("Correlation analysis completed.")
return {"correlation": round(correlation_value, 4)}
def perform_kmeans_clustering(df, k=4):
"""
核心功能3：基于价格与评分的用户群体聚类分析 (K-Means)
业务逻辑：使用Spark MLlib中的K-Means算法，将产品根据价格和评分两个维度进行聚类。
这是项目中的一个亮点功能，体现了机器学习在数据分析中的应用。
"""
print("Executing K-Means clustering...")
# 步骤1: 特征工程，将价格和评分合并成一个特征向量
feature_assembler = VectorAssembler(inputCols=["Price", "Rank"], outputCol="features")
# 步骤2: 定义K-Means模型
kmeans = KMeans(featuresCol="features", k=k, seed=1)
# 步骤3: 创建一个Pipeline，将特征工程和模型训练串联起来
pipeline = Pipeline(stages=[feature_assembler, kmeans])
# 步骤4: 训练模型
model = pipeline.fit(df)
# 步骤5: 对数据进行变换，生成聚类标签（prediction列）
predictions_df = model.transform(df)
# 步骤6: 选取需要的列，并收集结果
result_df = predictions_df.select("Brand", "Price", "Rank", "prediction").limit(500)
results = result_df.collect()
output_data = []
for row in results:
output_data.append({
"brand": row["Brand"],
"price": row["Price"],
"rank": row["Rank"],
"cluster": row["prediction"]
})
print("K-Means clustering completed.")
return output_data
化妆品数据可视化分析系统-结语
通过这个系统的开发，我不仅将课堂上学到的Spark、HDFS等大数据理论知识付诸实践，也对一个完整的数据项目从后端处理到前端展示的全貌有了更深刻的理解。从环境搭建的种种困难，到Spark调优的反复尝试，整个过程挑战与收获并存。虽然系统还有很多可以完善的地方，比如加入更复杂的算法模型，但它成功地走完了一个数据项目的核心流程。感谢老师的耐心指导和同学的帮助，希望这次经历能为未来的学习和工作打下坚实的基础。
各位计科的同学，还在为毕设选题发愁吗？分享一个我刚完成的大数据毕业设计：【基于Spark+HDFS的化妆品数据可视化分析系统】！项目告别传统的增删改查，用Spark做了一次真正的数据分析，技术栈超硬核！从环境搭建到15个功能实现，希望能给正在选题或开发中的你一些灵感和参考。如果觉得内容对你有帮助，别忘了点赞、收藏、转发支持一下哦，也非常欢迎大家在评论区一起交流毕设心得，共同进步呀！
