💖💖作者：计算机毕业设计江挽 💙💙个人简介：曾长期从事计算机专业培训教学，本人也热爱上课教学，语言擅长Java、微信小程序、Python、Golang、安卓Android等，开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法，也喜欢交流技术，大家有技术代码这一块的问题可以问我！ 💛💛想说的话：感谢大家的关注与支持！ 💜💜 网站实战项目 安卓/小程序实战项目 大数据实战项目 深度学习实战项目
基于大数据的上海二手房数据可视化分析系统介绍
《基于大数据的上海二手房数据可视化分析系统》是一个集成了Hadoop分布式存储与Spark计算引擎的数据分析平台，采用Python+Django技术栈构建，专门针对上海地区的二手房交易数据进行深度挖掘与可视化展示。系统核心功能模块包括数据采集管理、用户权限控制、多维度数据分析及大屏可视化展示，通过HDFS实现海量房产数据的分布式存储，利用Spark SQL进行高效的数据清洗与聚合分析，结合Pandas和NumPy进行数据预处理，最终通过Vue+ElementUI+Echarts技术栈实现直观的数据可视化效果。系统支持购房性价比分析、市场价格结构分析、房产属性特征分析和区域热点分析等多个业务场景，能够帮助用户快速了解上海二手房市场的价格走势、区域分布特点、户型偏好等重要信息，为购房决策提供数据支撑。整个系统采用前后端分离架构，后端使用Django REST framework提供API接口，前端通过Vue实现响应式用户界面，MySQL数据库负责存储用户信息和业务数据，大数据处理框架负责海量房产数据的计算分析，实现了传统数据库与大数据技术的有机结合。
基于大数据的上海二手房数据可视化分析系统演示视频
基于大数据的上海二手房数据可视化分析系统演示图片
基于大数据的上海二手房数据可视化分析系统代码展示
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, avg, sum, count, when, round
from pyspark.sql.types import StructType, StructField, StringType, DoubleType, IntegerType
import pandas as pd
import numpy as np
from django.http import JsonResponse
from rest_framework.decorators import api_view
spark = SparkSession.builder \
.appName("ShanghaiRealEstateAnalysis") \
.config("spark.sql.warehouse.dir", "/user/hive/warehouse") \
.enableHiveSupport() \
.getOrCreate()
def house_price_cost_performance_analysis():
df = spark.read.csv("hdfs://localhost:9000/data/shanghai_houses.csv", header=True, inferSchema=True)
df_cleaned = df.filter((col("total_price") > 0) & (col("area") > 0) & (col("unit_price") > 0))
df_cleaned = df_cleaned.withColumn("price_per_square", col("total_price") / col("area"))
district_avg = df_cleaned.groupBy("district").agg(
avg("price_per_square").alias("avg_price_per_square"),
avg("unit_price").alias("avg_unit_price"),
count("id").alias("house_count")
)
district_avg = district_avg.withColumn("cost_performance_score",
when(col("avg_price_per_square") < 50000, "高性价比")
.when((col("avg_price_per_square") >= 50000) & (col("avg_price_per_square") < 80000), "中等性价比")
.otherwise("低性价比")
)
district_avg = district_avg.withColumn("price_rank",
when(col("avg_price_per_square") < 40000, 1)
.when((col("avg_price_per_square") >= 40000) & (col("avg_price_per_square") < 60000), 2)
.when((col("avg_price_per_square") >= 60000) & (col("avg_price_per_square") < 80000), 3)
.otherwise(4)
)
room_type_analysis = df_cleaned.groupBy("district", "room_type").agg(
avg("price_per_square").alias("room_avg_price"),
count("id").alias("room_count")
)
result = district_avg.join(room_type_analysis, "district", "left_outer")
result = result.withColumn("recommend_index",
(col("price_rank") * 0.6 + col("house_count") / 1000 * 0.4)
)
pandas_result = result.toPandas()
spark.stop()
return pandas_result.to_dict('records')
def market_price_structure_analysis():
df = spark.read.csv("hdfs://localhost:9000/data/shanghai_houses.csv", header=True, inferSchema=True)
df_cleaned = df.filter((col("total_price") > 0) & (col("area") > 0))
price_ranges = df_cleaned.withColumn("price_range",
when(col("total_price") < 200, "200万以下")
.when((col("total_price") >= 200) & (col("total_price") < 400), "200-400万")
.when((col("total_price") >= 400) & (col("total_price") < 600), "400-600万")
.when((col("total_price") >= 600) & (col("total_price") < 800), "600-800万")
.otherwise("800万以上")
)
price_distribution = price_ranges.groupBy("district", "price_range").agg(
count("id").alias("count"),
(count("id") / sum("count").over(Window.partitionBy("district")) * 100).alias("percentage")
)
area_ranges = df_cleaned.withColumn("area_range",
when(col("area") < 50, "50平米以下")
.when((col("area") >= 50) & (col("area") < 80), "50-80平米")
.when((col("area") >= 80) & (col("area") < 120), "80-120平米")
.otherwise("120平米以上")
)
area_distribution = area_ranges.groupBy("district", "area_range").agg(
count("id").alias("area_count"),
avg("total_price").alias("area_avg_price")
)
time_trend = df_cleaned.groupBy("district", "listing_date").agg(
avg("total_price").alias("daily_avg_price"),
count("id").alias("daily_listing_count")
)
final_result = price_distribution.join(area_distribution, "district", "left_outer")
from pyspark.sql.window import Window
final_result = final_result.orderBy(col("district"), col("percentage").desc())
pandas_result = final_result.toPandas()
spark.stop()
return pandas_result.to_dict('records')
def regional_hotspot_analysis():
df = spark.read.csv("hdfs://localhost:9000/data/shanghai_houses.csv", header=True, inferSchema=True)
df_cleaned = df.filter((col("total_price") > 0) & (col("area") > 0) & (col("view_count") > 0))
district_heat = df_cleaned.groupBy("district").agg(
count("id").alias("listing_count"),
avg("total_price").alias("avg_price"),
avg("view_count").alias("avg_view_count"),
sum("view_count").alias("total_view_count")
)
district_heat = district_heat.withColumn("heat_index",
(col("listing_count") * 0.3 + col("avg_view_count") * 0.4 + col("total_view_count") / 1000 * 0.3)
)
district_heat = district_heat.withColumn("heat_level",
when(col("heat_index") > 80, "热门区域")
.when((col("heat_index") >= 50) & (col("heat_index") <= 80), "温热区域")
.otherwise("冷门区域")
)
subway_analysis = df_cleaned.filter(col("subway_distance") > 0).groupBy("district").agg(
avg("subway_distance").alias("avg_subway_distance"),
count("id").alias("subway_house_count")
)
facility_analysis = df_cleaned.groupBy("district").agg(
when(col("has_school") == True, 1).otherwise(0).alias("school_score"),
when(col("has_hospital") == True, 1).otherwise(0).alias("hospital_score"),
when(col("has_shopping") == True, 1).otherwise(0).alias("shopping_score")
)
facility_analysis = facility_analysis.withColumn("facility_score",
col("school_score") + col("hospital_score") + col("shopping_score")
)
final_result = district_heat.join(subway_analysis, "district", "left_outer")
final_result = final_result.join(facility_analysis, "district", "left_outer")
final_result = final_result.withColumn("comprehensive_score",
col("heat_index") * 0.4 + col("facility_score") * 20 + (100 - col("avg_subway_distance")) * 0.3
)
final_result = final_result.orderBy(col("comprehensive_score").desc())
pandas_result = final_result.toPandas()
spark.stop()
return pandas_result.to_dict('records')
基于大数据的上海二手房数据可视化分析系统文档展示
💖💖作者：计算机毕业设计江挽 💙💙个人简介：曾长期从事计算机专业培训教学，本人也热爱上课教学，语言擅长Java、微信小程序、Python、Golang、安卓Android等，开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法，也喜欢交流技术，大家有技术代码这一块的问题可以问我！ 💛💛想说的话：感谢大家的关注与支持！ 💜💜 网站实战项目 安卓/小程序实战项目 大数据实战项目 深度学习实战项目
