💖💖作者：计算机毕业设计小明哥
💙💙个人简介：曾长期从事计算机专业培训教学，本人也热爱上课教学，语言擅长Java、微信小程序、Python、Golang、安卓Android等，开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法，也喜欢交流技术，大家有技术代码这一块的问题可以问我！
💛💛想说的话：感谢大家的关注与支持！
💜💜
💕💕文末获取源码
学生习惯数据可视化分析系统-系统功能
《基于大数据的学生习惯数据可视化分析系统》是一套运用Hadoop+Spark大数据技术框架，结合Python语言和Django后端框架开发的学生行为习惯分析平台。系统采用Vue+ElementUI+Echarts技术栈构建前端可视化界面，通过HDFS分布式文件系统存储学生习惯数据，利用Spark SQL和Pandas、NumPy等数据分析库对学生的学习时长、社交媒体使用、睡眠质量、心理健康等16个关键字段进行深度挖掘。平台内置14个核心分析模块，涵盖性别差异对比、父母教育背景影响、学习时长与成绩相关性、屏幕使用时间分析、睡眠与心理健康关联、饮食锻炼综合影响、兼职对出勤率影响、网络质量对学习投入影响、课外活动参与度分析、年龄段习惯差异、心理健康相关性以及K-Means聚类分析等功能。系统通过Spark集群处理1000条学生样本数据，运用机器学习算法识别不同学生群体的行为模式，并通过多维度可视化图表展示分析结果，为教育管理者提供数据支撑，帮助学生了解自身习惯与学业表现的关系，实现个性化教育指导的目标。
学生习惯数据可视化分析系统-技术选型
大数据框架：Hadoop+Spark（本次没用Hive，支持定制）
开发语言：Python+Java（两个版本都支持）
后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis)（两个版本都支持）
前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery
详细技术点：Hadoop、HDFS、Spark、Spark SQL、Pandas、NumPy
数据库：MySQL
学生习惯数据可视化分析系统-背景意义
选题背景 当前高等教育环境下，学生的学习习惯和生活方式日趋多样化，传统的教育管理方式难以准确把握每个学生的个体特征和行为模式。大学生面临着学业压力、社交需求、娱乐诱惑等多重因素影响，他们的日常习惯如学习时长、社交媒体使用、睡眠质量、饮食锻炼等都会对学业成绩产生不同程度的影响。教育工作者虽然能够感知到这些因素的存在，但缺乏系统性的数据分析工具来量化这些关系。与此同时，大数据技术的快速发展为教育数据挖掘提供了新的可能性，Hadoop和Spark等分布式计算框架能够高效处理大规模学生行为数据，为深入分析学生习惯与学业表现的内在联系创造了技术条件。在这样的背景下，构建一个能够综合分析学生多维度习惯数据的可视化平台，对于现代教育管理具有重要的现实需求。 选题意义 这个分析系统的开发对教育实践具有一定的参考价值。从教育管理角度来看，系统能够帮助教师和辅导员更好地了解学生群体的行为特征，通过数据分析发现影响学业表现的关键因素，为制定更有针对性的教育策略提供数据参考。对于学生个体而言，系统的分析结果可以让他们更清楚地认识到自己的生活习惯与学习效果之间的关系，从而有意识地调整作息安排、学习方法和娱乐时间。从技术层面来说，项目运用了当前主流的大数据处理技术，对于掌握Hadoop、Spark等分布式计算框架的实际应用有一定帮助。系统采用的K-Means聚类分析和多维度相关性分析方法，也为数据挖掘领域的学习提供了实践案例。虽然这只是一个毕业设计项目，但其探索的学生行为数据分析思路和技术实现方案，对于后续更大规模的教育数据应用开发具有一定的借鉴意义，为数据驱动的个性化教育发展贡献了微薄的力量。
学生习惯数据可视化分析系统-演示视频
学生习惯数据可视化分析系统-演示图片
学生习惯数据可视化分析系统-代码展示
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when, sum as spark_sum, round as spark_round, avg, count, stddev
from pyspark.ml.feature import VectorAssembler, StandardScaler
from pyspark.ml.clustering import KMeans
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, FloatType
import pandas as pd
import numpy as np
spark = SparkSession.builder.appName("StudentHabitsAnalysis").master("local[*]").config("spark.sql.adaptive.enabled", "true").config("spark.sql.adaptive.coalescePartitions.enabled", "true").getOrCreate()
def preprocess_student_data(input_path, output_path):
"""学生习惯数据预处理和清洗核心功能"""
df = spark.read.option("header", "true").option("inferSchema", "true").csv(input_path)
df = df.fillna({"age": 0, "study_hours_per_day": 0, "social_media_hours": 0, "netflix_hours": 0, "attendance_percentage": 0, "sleep_hours": 0, "exercise_frequency": 0, "mental_health_rating": 0, "exam_score": 0})
df = df.fillna({"student_id": "未知", "gender": "未知", "part_time_job": "未知", "diet_quality": "未知", "parental_education_level": "未知", "internet_quality": "未知", "extracurricular_participation": "未知"})
df = df.withColumn("gender", when(col("gender") == "Male", "男").when(col("gender") == "Female", "女").otherwise("未知"))
df = df.withColumn("part_time_job", when(col("part_time_job") == "Yes", "是").when(col("part_time_job") == "No", "否").otherwise("未知"))
df = df.withColumn("diet_quality", when(col("diet_quality") == "Good", "良好").when(col("diet_quality") == "Fair", "一般").when(col("diet_quality") == "Poor", "较差").otherwise("未知"))
df = df.withColumn("parental_education_level", when(col("parental_education_level") == "High School", "高中").when(col("parental_education_level") == "Bachelor", "本科").when(col("parental_education_level") == "Master", "硕士").when(col("parental_education_level") == "PhD", "博士").when(col("parental_education_level") == "None", "无").otherwise("未知"))
df = df.withColumn("internet_quality", when(col("internet_quality") == "Good", "良好").when(col("internet_quality") == "Fair", "一般").when(col("internet_quality") == "Poor", "较差").otherwise("未知"))
df = df.withColumn("extracurricular_participation", when(col("extracurricular_participation") == "Yes", "是").when(col("extracurricular_participation") == "No", "否").otherwise("未知"))
df = df.withColumn("total_screen_time", col("social_media_hours") + col("netflix_hours"))
df = df.withColumn("study_efficiency", spark_round(col("exam_score") / (col("study_hours_per_day") + 1), 2))
df = df.withColumn("health_score", spark_round((col("sleep_hours") * 0.3 + col("exercise_frequency") * 0.4 + col("mental_health_rating") * 0.3), 2))
df.write.mode("overwrite").option("header", "true").csv(output_path)
df.write.mode("overwrite").option("header", "true").csv("hdfs://localhost:9000/student_habits/processed_data")
print("学生习惯数据预处理完成，共处理记录数：", df.count())
return df
def kmeans_clustering_analysis(df, output_path):
"""K-Means聚类分析核心功能"""
feature_cols = ["study_hours_per_day", "social_media_hours", "sleep_hours", "exercise_frequency", "mental_health_rating", "attendance_percentage"]
assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")
df_features = assembler.transform(df)
scaler = StandardScaler(inputCol="features", outputCol="scaled_features", withStd=True, withMean=True)
scaler_model = scaler.fit(df_features)
df_scaled = scaler_model.transform(df_features)
kmeans = KMeans(k=4, seed=42, featuresCol="scaled_features", predictionCol="cluster")
model = kmeans.fit(df_scaled)
df_clustered = model.transform(df_scaled)
cluster_summary = df_clustered.groupBy("cluster").agg(avg("study_hours_per_day").alias("avg_study_hours"), avg("social_media_hours").alias("avg_social_hours"), avg("sleep_hours").alias("avg_sleep_hours"), avg("exercise_frequency").alias("avg_exercise"), avg("mental_health_rating").alias("avg_mental_health"), avg("exam_score").alias("avg_exam_score"), count("*").alias("student_count"))
cluster_summary = cluster_summary.withColumn("cluster_description", when(col("cluster") == 0, "勤奋学霸型").when(col("cluster") == 1, "社交娱乐型").when(col("cluster") == 2, "均衡发展型").when(col("cluster") == 3, "作息紊乱型").otherwise("未分类"))
cluster_summary = cluster_summary.select("cluster", "cluster_description", "avg_study_hours", "avg_social_hours", "avg_sleep_hours", "avg_exercise", "avg_mental_health", "avg_exam_score", "student_count")
cluster_pandas = cluster_summary.toPandas()
cluster_pandas = cluster_pandas.round(2)
cluster_pandas.to_csv(output_path, index=False, encoding='utf-8-sig')
print("K-Means聚类分析完成，识别出", cluster_summary.count(), "个学生群体")
return cluster_summary
def multidimensional_correlation_analysis(df, output_path):
"""多维度相关性分析核心功能"""
correlation_results = []
numeric_cols = ["study_hours_per_day", "social_media_hours", "netflix_hours", "sleep_hours", "exercise_frequency", "mental_health_rating", "attendance_percentage", "exam_score"]
for i, col1 in enumerate(numeric_cols):
for j, col2 in enumerate(numeric_cols):
if i < j:
correlation = df.select(col1, col2).rdd.map(lambda row: (float(row[0]), float(row[1]))).collect()
x_values = [item[0] for item in correlation]
y_values = [item[1] for item in correlation]
correlation_coeff = np.corrcoef(x_values, y_values)[0, 1]
correlation_results.append({"variable_1": col1, "variable_2": col2, "correlation_coefficient": round(correlation_coeff, 4), "correlation_strength": "强正相关" if correlation_coeff > 0.7 else "中等正相关" if correlation_coeff > 0.3 else "弱正相关" if correlation_coeff > 0 else "弱负相关" if correlation_coeff > -0.3 else "中等负相关" if correlation_coeff > -0.7 else "强负相关"})
sleep_health_analysis = df.groupBy().agg(spark_round(avg(when(col("sleep_hours") >= 7, col("mental_health_rating")).otherwise(None)), 2).alias("good_sleep_mental_health"), spark_round(avg(when(col("sleep_hours") < 7, col("mental_health_rating")).otherwise(None)), 2).alias("poor_sleep_mental_health"), spark_round(avg(when(col("sleep_hours") >= 7, col("exam_score")).otherwise(None)), 2).alias("good_sleep_exam_score"), spark_round(avg(when(col("sleep_hours") < 7, col("exam_score")).otherwise(None)), 2).alias("poor_sleep_exam_score"))
exercise_performance_analysis = df.groupBy().agg(spark_round(avg(when(col("exercise_frequency") >= 3, col("exam_score")).otherwise(None)), 2).alias("high_exercise_score"), spark_round(avg(when(col("exercise_frequency") < 3, col("exam_score")).otherwise(None)), 2).alias("low_exercise_score"), spark_round(avg(when(col("exercise_frequency") >= 3, col("mental_health_rating")).otherwise(None)), 2).alias("high_exercise_mental"), spark_round(avg(when(col("exercise_frequency") < 3, col("mental_health_rating")).otherwise(None)), 2).alias("low_exercise_mental"))
screen_time_analysis = df.withColumn("total_screen_time", col("social_media_hours") + col("netflix_hours")).groupBy().agg(spark_round(avg(when(col("total_screen_time") <= 4, col("exam_score")).otherwise(None)), 2).alias("low_screen_score"), spark_round(avg(when(col("total_screen_time") > 4, col("exam_score")).otherwise(None)), 2).alias("high_screen_score"), spark_round(avg(when(col("total_screen_time") <= 4, col("study_hours_per_day")).otherwise(None)), 2).alias("low_screen_study"), spark_round(avg(when(col("total_screen_time") > 4, col("study_hours_per_day")).otherwise(None)), 2).alias("high_screen_study"))
correlation_df = spark.createDataFrame(correlation_results)
combined_results = correlation_df.unionByName(sleep_health_analysis.select(*[col(c).alias(c) if c in correlation_df.columns else col(c).cast("string").alias("variable_1") for c in sleep_health_analysis.columns][:2] + [col(sleep_health_analysis.columns[0]).cast("double").alias("correlation_coefficient")] + [col(sleep_health_analysis.columns[1]).cast("string").alias("correlation_strength")]), allowMissingColumns=True)
final_pandas = correlation_df.toPandas()
final_pandas.to_csv(output_path, index=False, encoding='utf-8-sig')
print("多维度相关性分析完成，共分析了", len(correlation_results), "对变量关系")
return correlation_df
学生习惯数据可视化分析系统-结语
💕💕
💟💟如果大家有任何疑虑，欢迎在下方位置详细交流，也可以在主页联系我。
