化妆品数据可视化分析系统-简介
基于Hadoop+Spark的化妆品数据可视化分析系统是一个专为解决海量化妆品市场数据处理与分析难题而设计的综合性平台。该系统整体采用成熟的前后端分离架构，后端基于Python语言和高效的Django框架开发，负责处理所有的业务逻辑、API接口以及与大数据组件的复杂交互。在核心数据处理层，系统充分利用了大数据生态的强大能力：它首先将庞大的化妆品数据集存储在Hadoop分布式文件系统（HDFS）上，确保了数据的可靠存储和高吞吐量访问；随后，利用Apache Spark作为核心计算引擎，通过其内存计算的特性和强大的Spark SQL模块，对存储在HDFS上的数据进行高速、并行的分布式处理与分析。系统实现了包括品类分布、品牌排行、价格区间、用户评分、价格与评分相关性、肤质适用性分析、热门成分提取以及基于K-Means算法的用户群体聚类等在内的十五项核心数据分析功能。所有经过Spark分析处理后的结构化结果，会通过Django后端封装成标准化的RESTful API接口。前端则采用现代化的技术栈，以Vue.js作为核心框架，结合Element-UI构建美观统一的用户界面，并调用强大的Echarts图表库，将后端传递来的复杂数据转化为直观、可交互的柱状图、饼图、散点图、词云等多种可视化图表，最终为用户呈现一个动态、易于理解的化妆品市场洞察仪表盘，实现了从海量原始数据到商业价值洞察的端到端解决方案。
化妆品数据可视化分析系统-技术
开发语言：Python或Java 大数据框架：Hadoop+Spark（本次没用Hive，支持定制） 后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis) 前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery 详细技术点：Hadoop、HDFS、Spark、Spark SQL、Pandas、NumPy 数据库：MySQL
化妆品数据可视化分析系统-背景
选题背景 现在化妆品市场真的太卷了，各种品牌、各种产品层出不穷，社交媒体和电商平台上的信息更是多到让人眼花缭乱。对于我们普通消费者来说，想买个东西，得在成千上万条评价、复杂的成分表和各种营销文案里做选择，真的挺头疼的。说白了，就是信息太多，反而不知道该信哪个、该买哪个了。另一方面，对于化妆品行业的从业者或者市场分析师来说，他们也需要搞清楚现在市场上什么产品最火、哪个牌子口碑好、消费者到底喜欢什么样的产品。面对这种每天都在产生的海量产品信息和用户反馈数据，如果只靠传统的人工统计或者用个Excel表格来分析，那效率太低了，而且很难发现数据背后隐藏的深层规律。这就自然而然地引出了一个技术需求：我们能不能用更强大的工具来自动化地处理和分析这些数据，把它们变成谁都能看懂的图表和结论呢？所以，结合我们学的计算机知识，用大数据技术来解决这个现实生活中的问题，就成了这个课题的出发点。
选题意义 说到底，这只是一个毕业设计，主要目的还是为了检验和巩固我们大学四年学的知识。这个项目的实际意义，我觉得可以从几个比较实在的角度来看。首先，它是一个很好的技术实践机会。这个项目不是一个简单的增删改查管理系统，它把Python后端开发（Django）、大数据处理（Hadoop和Spark）和前端可视化（Vue和Echarts）这些热门的技术都整合到了一起。完整地做下来，能让我们亲手体验一个数据从存储、处理、分析到最终展示的全过程，这对于理解大数据应用的工作流程非常有帮助。其次，这个系统做出来的东西确实有一定的参考价值。虽然它不能像商业软件那样做到尽善尽美，但它分析出来的品牌热度排行、不同价位产品的口碑情况、针对特定肤质（比如敏感肌）的产品友好度等，对于正在纠结如何选购化妆品的同学来说，或许能提供一些数据上的参考，让选择不那么盲目。最后，从个人发展的角度看，完成这样一个技术栈比较综合、又能解决一个具体问题的项目，对我们自己来说也是个不错的锻炼，算是一份能体现实践能力的学习成果。
化妆品数据可视化分析系统-视频展示
[video(video-X8lLHB8K-1761904026475)(type-csdn)(url-live.csdn.net/v/embed/498…)]
化妆品数据可视化分析系统-图片展示
化妆品数据可视化分析系统-代码展示
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, count, avg, desc, corr
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.clustering import KMeans
from django.http import JsonResponse
import pandas as pd
# 模拟Django视图函数，实际项目中这些函数会在views.py中
def data_analysis_api_view(request):
# 初始化SparkSession，连接到Spark集群
spark = SparkSession.builder.appName("CosmeticsAnalysis").master("local[*]").getOrCreate()
# 假设数据已从HDFS加载到名为df的DataFrame中
# df = spark.read.csv("hdfs://namenode:9000/path/to/cosmetics.csv", header=True, inferSchema=True)
# 为演示方便，这里创建一个虚拟DataFrame
data = [
("BrandA", "Cleanser", 150.0, 4.5, 1, 0, 1, 0, 1, "Water,Glycerin"),
("BrandB", "Moisturizer", 300.0, 4.8, 0, 1, 0, 1, 1, "Hyaluronic Acid,Water"),
("BrandA", "Sunscreen", 200.0, 4.2, 1, 0, 0, 0, 0, "Zinc Oxide,Titanium Dioxide"),
("BrandC", "Cleanser", 80.0, 3.9, 1, 1, 1, 1, 0, "Salicylic Acid,Water"),
("BrandB", "Serum", 500.0, 4.9, 0, 1, 0, 1, 1, "Niacinamide,Water"),
("BrandA", "Moisturizer", 250.0, 4.6, 1, 0, 1, 0, 1, "Ceramide,Glycerin")
]
columns = ["Brand", "Label", "Price", "Rank", "Combination", "Dry", "Normal", "Oily", "Sensitive", "Ingredients"]
df = spark.createDataFrame(data, columns)
# 确保数值类型正确
df = df.withColumn("Price", col("Price").cast("double")).withColumn("Rank", col("Rank").cast("double"))
# --- 核心功能1: 各品牌产品数量排行分析 ---
brand_rank_df = df.groupBy("Brand").agg(count("Label").alias("ProductCount")).orderBy(desc("ProductCount")).limit(10)
brand_rank_result = [row.asDict() for row in brand_rank_df.collect()]
# --- 核心功能2: 不同品类化妆品均价分析 ---
# 为了结果更准确，可以先过滤掉价格异常或缺失的数据
category_avg_price_df = df.filter(col("Price").isNotNull() & (col("Price") > 0)) \
.groupBy("Label") \
.agg(avg("Price").alias("AveragePrice")) \
.orderBy(desc("AveragePrice"))
# 将结果中的浮点数格式化为两位小数
category_avg_price_df_pandas = category_avg_price_df.toPandas()
category_avg_price_df_pandas['AveragePrice'] = category_avg_price_df_pandas['AveragePrice'].round(2)
category_avg_price_result = category_avg_price_df_pandas.to_dict('records')
# --- 核心功能3: 产品价格与评分的相关性分析 ---
# 计算皮尔逊相关系数，需要先过滤掉空值
price_rank_correlation_df = df.filter(col("Price").isNotNull() & col("Rank").isNotNull())
correlation_value = price_rank_correlation_df.stat.corr("Price", "Rank")
# 为了可视化，通常会展示散点图数据
scatter_data_df = price_rank_correlation_df.select("Price", "Rank").limit(500) # 取样以防前端卡顿
price_rank_scatter_result = [row.asDict() for row in scatter_data_df.collect()]
price_rank_correlation_result = {
'correlation': round(correlation_value, 4) if correlation_value is not None else 0,
'scatterData': price_rank_scatter_result
}
# 汇总所有结果
final_response = {
'brandRank': brand_rank_result,
'categoryAveragePrice': category_avg_price_result,
'priceRankCorrelation': price_rank_correlation_result
}
spark.stop()
return JsonResponse(final_response)
化妆品数据可视化分析系统-结语
从确定选题到系统最终成型，这段毕业设计的旅程让我收获颇丰。通过亲手搭建这个系统，我不仅将课堂上学到的关于大数据和Web开发的理论知识应用到了实践中，更重要的是学会了如何整合不同技术去解决一个具体问题。当然，由于时间和个人能力所限，本系统还有许多可以完善的地方，比如引入实时数据流处理、加入更复杂的推荐算法等。但作为一份学习成果，它已达到了预期的目标。在此，真诚感谢指导老师的悉心教导和同学们的帮助，这段经历将是我宝贵的财富。
还在为大数据毕设选题发愁吗？来看看我的毕业设计项目——“基于Hadoop+Spark的化妆品数据可视化分析系统”！它能帮你分析哪个化妆品品牌最火，哪个品类的产品性价比最高，还能揭秘“是不是越贵的东西评分就越高？”。我把整个项目的思路和实现过程都整理了一下，希望能给正在选题或开发中的你一些灵感和启发。如果觉得这份分享对你有帮助，请别忘了点赞、收藏、转发支持一下，也特别欢迎大家在评论区一起交流毕设中遇到的各种问题呀！
