🍊作者：计算机毕设匠心工作室
🍊简介：毕业后就一直专业从事计算机软件程序开发，至今也有8年工作经验。擅长Java、Python、微信小程序、安卓、大数据、PHP、.NET|C#、Golang等。
擅长：按照需求定制化开发项目、 源码、对代码进行完整讲解、文档撰写、ppt制作。
🍊心愿：点赞 👍 收藏 ⭐评论 📝
👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~
🍅 ↓↓文末获取源码联系↓↓🍅
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-功能介绍
本系统是一个基于Python大数据技术栈开发的学生习惯数据可视化分析平台,采用Hadoop+Spark分布式计算框架对学生的学习与生活习惯数据进行深度挖掘与分析。系统以Django作为后端开发框架,前端采用Vue+ElementUI+Echarts技术栈构建可视化交互界面,通过Spark SQL对存储在HDFS中的学生习惯数据进行多维度统计分析,涵盖性别差异分析、父母教育水平影响、学习时长与成绩相关性、屏幕使用时间影响、睡眠质量关联、饮食锻炼综合影响、兼职对出勤率影响、网络质量对学习的影响、课外活动参与度、年龄段习惯差异、心理健康相关性等14个核心分析维度。系统利用K-Means聚类算法对学生进行行为模式分类,借助Pandas和NumPy进行数据预处理与特征工程,最终通过Echarts图表将分析结果以柱状图、折线图、散点图、雷达图等多种形式动态呈现,为教育管理者提供数据驱动的决策支持,帮助学生了解自身习惯与学业表现的关联规律。
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-选题背景意义
选题背景 随着高等教育规模的持续扩大和教育信息化建设的深入推进,各类院校积累了海量的学生行为数据,这些数据涵盖了学生的学习投入、生活作息、心理状态等多个维度。传统的教育管理方式往往依赖经验判断和小范围抽样调研,难以从整体上把握学生群体的行为特征和规律,也无法精准识别影响学业表现的关键因素。与此同时,大数据技术的成熟为教育数据的深度分析提供了可能,Hadoop和Spark等分布式计算框架能够高效处理大规模数据集,挖掘出隐藏在数据背后的关联关系。当前学生面临的学业压力、心理健康问题以及生活习惯对学习效果的影响日益受到关注,但缺乏系统化的数据分析工具来量化这些因素之间的关系,这就需要一个能够整合多源数据、运用大数据技术进行智能分析的平台,为教育工作者提供可视化的决策依据。 选题意义 本课题的开展能够为高校学生管理和教学改进提供一定的参考价值。通过构建基于大数据的学生习惯分析系统,可以帮助教育管理者从数据层面了解不同学生群体的行为特点,比如性别、家庭背景、作息习惯等因素对学业成绩的具体影响程度,这些量化的分析结果能够辅助制定更有针对性的教育方案。从学生个体角度来看,系统呈现的可视化分析结果能让学生直观地看到自己的习惯数据与同龄人的对比,认识到哪些生活方式可能对学习产生负面影响,比如过度使用社交媒体、睡眠不足等,从而主动调整自己的行为模式。从技术实践层面来说,本课题将Hadoop、Spark、Django等主流技术进行了整合应用,完成了从数据采集预处理、分布式存储、大数据分析到前端可视化的完整流程,对于理解大数据技术在实际业务场景中的应用有一定帮助,同时K-Means聚类等机器学习算法的引入也为后续扩展智能推荐功能预留了空间,整体上是一次将理论知识转化为实际系统的有益尝试。
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-技术选型
大数据框架：Hadoop+Spark（本次没用Hive，支持定制） 开发语言：Python+Java（两个版本都支持） 后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis)（两个版本都支持） 前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery 详细技术点：Hadoop、HDFS、Spark、Spark SQL、Pandas、NumPy 数据库：MySQL
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-视频展示
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-视频展示
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-图片展示
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-代码展示
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, regexp_extract, when, split, explode, count, avg, desc, regexp_replace, trim, round as spark_round
from pyspark.sql.types import FloatType
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
import os
spark = SparkSession.builder.appName("BossZhipinAnalysis").config("spark.executor.memory", "4g").config("spark.driver.memory", "2g").getOrCreate()
hdfs_path = "hdfs://localhost:9000/boss_data/91d159r4_zhipincxy.csv"
df = spark.read.csv(hdfs_path, header=True, inferSchema=True, encoding='utf-8')
def preprocess_salary_data(df):
df_cleaned = df.withColumn("salary_clean", regexp_replace(col("salarydesc"), "·.*", ""))
df_cleaned = df_cleaned.withColumn("salary_clean", regexp_replace(col("salary_clean"), "元/天", ""))
df_cleaned = df_cleaned.withColumn("salary_clean", regexp_replace(col("salary_clean"), "K", ""))
df_cleaned = df_cleaned.withColumn("min_salary", regexp_extract(col("salary_clean"), r"(\d+)-", 1).cast(FloatType()))
df_cleaned = df_cleaned.withColumn("max_salary", regexp_extract(col("salary_clean"), r"-(\d+)", 1).cast(FloatType()))
df_cleaned = df_cleaned.withColumn("is_daily", when(col("salarydesc").contains("元/天"), 1).otherwise(0))
df_cleaned = df_cleaned.withColumn("min_salary", when(col("is_daily") == 1, col("min_salary") * 22).otherwise(col("min_salary")))
df_cleaned = df_cleaned.withColumn("max_salary", when(col("is_daily") == 1, col("max_salary") * 22).otherwise(col("max_salary")))
df_cleaned = df_cleaned.withColumn("avg_salary", ((col("min_salary") + col("max_salary")) / 2))
df_cleaned = df_cleaned.withColumn("avg_salary", spark_round(col("avg_salary"), 2))
df_cleaned = df_cleaned.filter(col("avg_salary").isNotNull())
df_cleaned = df_cleaned.filter(col("avg_salary") > 0)
experience_mapping = {"经验不限": 0, "1年以内": 1, "1-3年": 2, "3-5年": 3, "5-10年": 4, "10年以上": 5}
for key, value in experience_mapping.items():
df_cleaned = df_cleaned.withColumn("experience_level", when(col("jobexperience") == key, value).otherwise(col("experience_level")))
degree_mapping = {"学历不限": 0, "中专/中技": 1, "高中": 2, "大专": 3, "本科": 4, "硕士": 5, "博士": 6}
for key, value in degree_mapping.items():
df_cleaned = df_cleaned.withColumn("degree_level", when(col("jobdegree") == key, value).otherwise(col("degree_level")))
scale_mapping = {"0-20人": 1, "20-99人": 2, "100-499人": 3, "500-999人": 4, "1000-9999人": 5, "10000人以上": 6}
for key, value in scale_mapping.items():
df_cleaned = df_cleaned.withColumn("scale_level", when(col("brandscalename") == key, value).otherwise(col("scale_level")))
df_cleaned = df_cleaned.fillna({"skills": "未知", "welfarelist": "未知", "experience_level": 0, "degree_level": 0, "scale_level": 0})
return df_cleaned
def city_salary_analysis(df):
city_salary_df = df.groupBy("cityname").agg(spark_round(avg("avg_salary"), 2).alias("avg_city_salary"), count("*").alias("job_count"))
city_salary_df = city_salary_df.orderBy(desc("avg_city_salary"))
city_salary_df = city_salary_df.limit(20)
result_pd = city_salary_df.toPandas()
result_pd.columns = ['city_name', 'average_salary', 'job_count']
output_local = "./result/city_salary_analysis.csv"
output_hdfs = "hdfs://localhost:9000/boss_result/city_salary_analysis.csv"
os.makedirs("./result", exist_ok=True)
result_pd.to_csv(output_local, index=False, encoding='utf-8-sig')
city_salary_df.coalesce(1).write.mode("overwrite").option("header", "true").csv(output_hdfs)
print("城市薪酬分析完成:")
print(result_pd.head(10))
return result_pd
def hot_skills_wordcloud_analysis(df):
skills_df = df.select(explode(split(col("skills"), ",")).alias("skill"))
skills_df = skills_df.withColumn("skill", trim(col("skill")))
skills_df = skills_df.filter(col("skill") != "未知")
skills_df = skills_df.filter(col("skill") != "")
skill_count_df = skills_df.groupBy("skill").agg(count("*").alias("skill_frequency"))
skill_count_df = skill_count_df.orderBy(desc("skill_frequency"))
skill_count_df = skill_count_df.limit(100)
result_pd = skill_count_df.toPandas()
result_pd.columns = ['skill_name', 'frequency']
output_local = "./result/hot_skills_wordcloud_analysis.csv"
output_hdfs = "hdfs://localhost:9000/boss_result/hot_skills_wordcloud_analysis.csv"
result_pd.to_csv(output_local, index=False, encoding='utf-8-sig')
skill_count_df.coalesce(1).write.mode("overwrite").option("header", "true").csv(output_hdfs)
print("热门技能词云分析完成:")
print(result_pd.head(20))
return result_pd
def salary_skill_kmeans_analysis(df):
skills_exploded = df.select("id", "avg_salary", explode(split(col("skills"), ",")).alias("skill"))
skills_exploded = skills_exploded.withColumn("skill", trim(col("skill")))
skills_exploded = skills_exploded.filter((col("skill") != "未知") & (col("skill") != ""))
top_skills = skills_exploded.groupBy("skill").agg(count("*").alias("cnt")).orderBy(desc("cnt")).limit(50)
top_skills_list = [row['skill'] for row in top_skills.collect()]
skill_matrix = df.select("id", "avg_salary", "skills")
for skill in top_skills_list:
skill_matrix = skill_matrix.withColumn(f"has_{skill}", when(col("skills").contains(skill), 1).otherwise(0))
feature_cols = [f"has_{skill}" for skill in top_skills_list] + ["avg_salary"]
skill_matrix_pd = skill_matrix.select(["id"] + feature_cols).toPandas()
skill_matrix_pd = skill_matrix_pd.dropna()
X = skill_matrix_pd[feature_cols].values
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
kmeans = KMeans(n_clusters=4, random_state=42, n_init=10)
skill_matrix_pd['cluster'] = kmeans.fit_predict(X_scaled)
cluster_summary = skill_matrix_pd.groupby('cluster').agg({'avg_salary': ['mean', 'count']}).reset_index()
cluster_summary.columns = ['cluster_id', 'avg_salary', 'job_count']
cluster_summary['avg_salary'] = cluster_summary['avg_salary'].round(2)
cluster_summary = cluster_summary.sort_values('avg_salary', ascending=False)
output_local = "./result/salary_skill_kmeans_analysis.csv"
output_hdfs_temp = "./result/salary_skill_kmeans_analysis_temp.csv"
cluster_summary.to_csv(output_local, index=False, encoding='utf-8-sig')
cluster_summary.to_csv(output_hdfs_temp, index=False, encoding='utf-8-sig')
spark_df = spark.read.csv(output_hdfs_temp, header=True, inferSchema=True)
spark_df.coalesce(1).write.mode("overwrite").option("header", "true").csv("hdfs://localhost:9000/boss_result/salary_skill_kmeans_analysis.csv")
os.remove(output_hdfs_temp)
print("薪酬与技能K-Means聚类分析完成:")
print(cluster_summary)
return cluster_summary
df_preprocessed = preprocess_salary_data(df)
city_salary_result = city_salary_analysis(df_preprocessed)
hot_skills_result = hot_skills_wordcloud_analysis(df_preprocessed)
kmeans_result = salary_skill_kmeans_analysis(df_preprocessed)
spark.stop()
基于大数据的BOSS直聘岗位招聘数据可视化分析系统-结语
👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~
🍅 主页获取源码联系🍅
