计算机毕 设 指导师
⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。
大家都可点赞、收藏、关注、有问题都可留言评论交流
实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
⚡⚡如果遇到具体的技术问题或计算机毕设方面需求！你也可以在个人主页上咨询我~~
国家基站整点数据分析系统 - 简介
基于Hadoop的国家基站整点数据分析系统是一套面向海量气象观测数据的大数据分析平台，采用Hadoop+Spark分布式计算架构对全国基站采集的整点气象数据进行深度挖掘。系统通过HDFS实现PB级气象数据的分布式存储，利用Spark SQL引擎完成气温、湿度、气压、风速等多维度气象要素的时间序列分析与关联性挖掘。平台实现了四大核心分析维度：气象数据时间序列特征分析涵盖年度气温变化趋势、季节性差异、24小时日变化规律等；关键气象要素关联性深度挖掘包含温湿负相关性验证、气压与风速关系、能见度与湿度非线性关系等；风况时空分布特征分析提供全年及季节性风玫瑰图、风速日变化规律、强风事件频率统计；应用气象专题分析支持人体舒适度指数计算、低能见度事件风险评估、日照时数资源评估、地层温度梯度分析等18项专业分析功能。系统前端采用Vue+ElementUI+Echarts构建可视化交互界面，后端支持Django和Spring Boot双技术栈选择，结合Pandas、NumPy科学计算库实现复杂气象模型算法，为气象研究、农业生产、能源规划、交通安全等领域提供数据决策支持。
国家基站整点数据分析系统 -技术
开发语言：java或Python
数据库：MySQL
系统架构：B/S
前端：Vue+ElementUI+HTML+CSS+JavaScript+jQuery+Echarts
大数据框架：Hadoop+Spark（本次没用Hive，支持定制）
后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis)
国家基站整点数据分析系统 - 背景
选题背景 随着物联网技术和传感器网络的普及，全国各地气象基站每小时产生的观测数据呈现指数级增长态势,单个省份每年累积的气象数据量就可达到TB级别,传统关系型数据库在处理如此规模的时序数据时面临着存储瓶颈和查询性能严重下降的困境。与此同时,气象数据蕴含着温度、湿度、气压、风向风速等多个维度要素,这些要素之间存在复杂的物理关联关系,比如温度升高往往伴随湿度下降,低压系统通常带来强风天气,这些规律的深度挖掘需要强大的分布式计算能力支撑。当前气象部门和科研机构迫切需要一套能够高效存储海量历史数据、快速完成多维度统计分析、灵活支持关联性挖掘的大数据处理平台,而Hadoop生态的HDFS分布式文件系统和Spark内存计算引擎恰好能够解决这些痛点问题,通过将数据分散存储在集群节点并利用并行计算框架,可以将原本需要数小时的全年气温趋势分析缩短到分钟级别完成。
选题意义 本系统的开发能够为气象数据的深度利用提供一套完整的技术解决方案,从实际应用层面来看,通过对基站整点数据进行时间序列分析可以帮助农业部门掌握作物生长期的温湿度变化规律,合理安排播种和灌溉时间;通过温湿负相关性验证和能见度分析能够为交通部门提供雾霾高发时段的预警依据,降低高速公路和机场因低能见度造成的安全隐患;通过风玫瑰图和主导风向统计可以为城市规划部门的建筑布局、污染物扩散模拟提供基础数据支持。从技术层面来说,本系统展示了Hadoop和Spark在气象大数据场景下的实际应用能力,验证了HDFS对海量时序数据的存储可行性,以及Spark SQL在复杂聚合查询和多表关联分析中的性能优势,这些实践经验可以为其他领域的大数据平台建设提供参考。同时系统集成了Pandas和NumPy科学计算库来实现热指数计算、地温梯度分析等专业气象模型,体现了Python生态在数据科学领域的强大能力,整个项目从数据接入、分布式存储、并行计算到可视化展示形成了完整的技术闭环,对于理解大数据处理全流程有比较好的学习价值。
国家基站整点数据分析系统 -图片展示
国家基站整点数据分析系统 -代码展示
from pyspark.sql.functions import year, month, hour, avg, max, min, col, count, when, expr, abs as spark_abs, corr, concat_ws, floor
from pyspark.sql.window import Window
import pandas as pd
import numpy as np
from django.http import JsonResponse
from django.views import View
spark = SparkSession.builder.appName("WeatherAnalysis").config("spark.sql.warehouse.dir", "/user/hive/warehouse").config("spark.executor.memory", "4g").config("spark.driver.memory", "2g").getOrCreate()
def load_weather_data_from_hdfs(hdfs_path):
weather_df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load(hdfs_path)
weather_df = weather_df.withColumn("year", year(col("data_time"))).withColumn("month", month(col("data_time"))).withColumn("hour", hour(col("data_time"))).withColumn("season", when(col("month").isin([3, 4, 5]), "春季").when(col("month").isin([6, 7, 8]), "夏季").when(col("month").isin([9, 10, 11]), "秋季").otherwise("冬季"))
return weather_df
class AnnualTemperatureTrendAnalysis(View):
def get(self, request):
hdfs_path = "hdfs://namenode:9000/data/station_weather/*.csv"
weather_df = load_weather_data_from_hdfs(hdfs_path)
annual_temp_df = weather_df.groupBy("year").agg(avg("air_temperature").alias("avg_temp"),max("air_temperature").alias("max_temp"),min("air_temperature").alias("min_temp"),count("*").alias("record_count"))
annual_temp_sorted = annual_temp_df.orderBy("year")
annual_temp_pandas = annual_temp_sorted.toPandas()
years = annual_temp_pandas['year'].tolist()
avg_temps = annual_temp_pandas['avg_temp'].round(2).tolist()
max_temps = annual_temp_pandas['max_temp'].round(2).tolist()
min_temps = annual_temp_pandas['min_temp'].round(2).tolist()
trend_coefficient = np.polyfit(years, avg_temps, 1)[0]
trend_direction = "升温趋势" if trend_coefficient > 0 else "降温趋势" if trend_coefficient < 0 else "平稳"
result_data = {"status": "success","trend_analysis": {"direction": trend_direction,"coefficient": round(float(trend_coefficient), 4)},"annual_data": {"years": years,"avg_temperature": avg_temps,"max_temperature": max_temps,"min_temperature": min_temps},"data_quality": {"total_years": len(years),"avg_records_per_year": int(annual_temp_pandas['record_count'].mean())}}
return JsonResponse(result_data, safe=False)
class TemperatureHumidityCorrelationAnalysis(View):
def get(self, request):
hdfs_path = "hdfs://namenode:9000/data/station_weather/*.csv"
weather_df = load_weather_data_from_hdfs(hdfs_path)
valid_data_df = weather_df.filter((col("air_temperature").isNotNull()) & (col("relative_humidity").isNotNull()) & (col("air_temperature") > -50) & (col("air_temperature") < 60) & (col("relative_humidity") >= 0) & (col("relative_humidity") <= 100))
correlation_value = valid_data_df.stat.corr("air_temperature", "relative_humidity")
hourly_corr_df = valid_data_df.groupBy("hour").agg(corr("air_temperature", "relative_humidity").alias("hourly_correlation"),avg("air_temperature").alias("avg_temp"),avg("relative_humidity").alias("avg_humidity"),count("*").alias("sample_count"))
hourly_corr_sorted = hourly_corr_df.orderBy("hour")
hourly_corr_pandas = hourly_corr_sorted.toPandas()
temp_bins = [floor(col("air_temperature") / 5) * 5]
temp_humidity_grouped = valid_data_df.withColumn("temp_range", floor(col("air_temperature") / 5) * 5).groupBy("temp_range").agg(avg("relative_humidity").alias("avg_humidity"),count("*").alias("count")).orderBy("temp_range")
temp_humidity_pandas = temp_humidity_grouped.toPandas()
scatter_sample = valid_data_df.sample(False, 0.01).select("air_temperature", "relative_humidity").limit(5000).toPandas()
correlation_strength = "强负相关" if correlation_value < -0.7 else "中等负相关" if correlation_value < -0.4 else "弱负相关" if correlation_value < 0 else "正相关"
result_data = {"status": "success","overall_correlation": {"value": round(float(correlation_value), 4),"strength": correlation_strength,"sample_size": valid_data_df.count()},"hourly_correlation": {"hours": hourly_corr_pandas['hour'].tolist(),"correlation_values": hourly_corr_pandas['hourly_correlation'].round(4).tolist(),"avg_temperature": hourly_corr_pandas['avg_temp'].round(2).tolist(),"avg_humidity": hourly_corr_pandas['avg_humidity'].round(2).tolist()},"temperature_humidity_distribution": {"temp_ranges": temp_humidity_pandas['temp_range'].tolist(),"avg_humidity_by_temp": temp_humidity_pandas['avg_humidity'].round(2).tolist(),"sample_counts": temp_humidity_pandas['count'].tolist()},"scatter_data": {"temperature": scatter_sample['air_temperature'].round(2).tolist(),"humidity": scatter_sample['relative_humidity'].round(2).tolist()}}
return JsonResponse(result_data, safe=False)
class WindRoseAnalysis(View):
def get(self, request):
hdfs_path = "hdfs://namenode:9000/data/station_weather/*.csv"
weather_df = load_weather_data_from_hdfs(hdfs_path)
season_filter = request.GET.get('season', 'all')
if season_filter != 'all':
wind_df = weather_df.filter(col("season") == season_filter)
else:
wind_df = weather_df
wind_valid_df = wind_df.filter((col("ten_minute_avg_wind_direction_degree").isNotNull()) & (col("ten_minute_avg_wind_speed").isNotNull()) & (col("ten_minute_avg_wind_direction_degree") >= 0) & (col("ten_minute_avg_wind_direction_degree") <= 360) & (col("ten_minute_avg_wind_speed") >= 0))
wind_direction_binned = wind_valid_df.withColumn("direction_bin", when(col("ten_minute_avg_wind_direction_degree") < 22.5, "N").when(col("ten_minute_avg_wind_direction_degree") < 67.5, "NE").when(col("ten_minute_avg_wind_direction_degree") < 112.5, "E").when(col("ten_minute_avg_wind_direction_degree") < 157.5, "SE").when(col("ten_minute_avg_wind_direction_degree") < 202.5, "S").when(col("ten_minute_avg_wind_direction_degree") < 247.5, "SW").when(col("ten_minute_avg_wind_direction_degree") < 292.5, "W").when(col("ten_minute_avg_wind_direction_degree") < 337.5, "NW").otherwise("N"))
wind_direction_binned = wind_direction_binned.withColumn("speed_level", when(col("ten_minute_avg_wind_speed") < 1.6, "0-1.5").when(col("ten_minute_avg_wind_speed") < 3.4, "1.6-3.3").when(col("ten_minute_avg_wind_speed") < 5.5, "3.4-5.4").when(col("ten_minute_avg_wind_speed") < 8.0, "5.5-7.9").when(col("ten_minute_avg_wind_speed") < 10.8, "8.0-10.7").otherwise(">=10.8"))
wind_rose_data = wind_direction_binned.groupBy("direction_bin", "speed_level").agg(count("*").alias("frequency"))
wind_rose_pandas = wind_rose_data.toPandas()
direction_order = ["N", "NE", "E", "SE", "S", "SW", "W", "NW"]
speed_order = ["0-1.5", "1.6-3.3", "3.4-5.4", "5.5-7.9", "8.0-10.7", ">=10.8"]
wind_rose_pivot = wind_rose_pandas.pivot_table(index='direction_bin', columns='speed_level', values='frequency', fill_value=0)
wind_rose_pivot = wind_rose_pivot.reindex(direction_order, fill_value=0)
wind_rose_pivot = wind_rose_pivot.reindex(columns=speed_order, fill_value=0)
total_records = wind_rose_pivot.sum().sum()
wind_rose_percentage = (wind_rose_pivot / total_records * 100).round(2)
dominant_direction_stats = wind_direction_binned.groupBy("direction_bin").agg(count("*").alias("total_count"),avg("ten_minute_avg_wind_speed").alias("avg_speed")).orderBy(col("total_count").desc())
dominant_direction_pandas = dominant_direction_stats.toPandas()
result_data = {"status": "success","season": season_filter,"wind_rose_matrix": {"directions": direction_order,"speed_levels": speed_order,"frequency_percentage": wind_rose_percentage.to_dict(orient='index')},"dominant_direction": {"direction": dominant_direction_pandas.iloc[0]['direction_bin'] if len(dominant_direction_pandas) > 0 else "N/A","frequency_percent": round(float(dominant_direction_pandas.iloc[0]['total_count'] / total_records * 100), 2) if len(dominant_direction_pandas) > 0 else 0,"avg_speed": round(float(dominant_direction_pandas.iloc[0]['avg_speed']), 2) if len(dominant_direction_pandas) > 0 else 0},"total_samples": int(total_records)}
return JsonResponse(result_data, safe=False)
国家基站整点数据分析系统 -结语
4大维度18项分析功能：基于Hadoop的国家基站数据分析系统，HDFS存储亿级数据
选题难+技术难？基站数据分析毕设：Spark SQL实现风玫瑰图等18项功能全解析
导师最认可的毕设选题：国家基站数据分析，HDFS+Spark+Django完整技术栈错过再等一年
支持我记得一键三连+关注，感谢支持，有技术问题、求源码，欢迎在评论区交流！
⚡⚡如果遇到具体的技术问题或计算机毕设方面需求！你也可以在个人主页上咨询我~~
