基于Hadoop+Spark的眼科疾病数据分析与可视化系统

💖💖作者：计算机编程小央姐 💙💙个人简介：曾长期从事计算机专业培训教学，本人也热爱上课教学，语言擅长Java、微信小程序、Python、Golang、安卓Android等，开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法，也喜欢交流技术，大家有技术代码这一块的问题可以问我！ 💛💛想说的话：感谢大家的关注与支持！ 💜💜

💕💕文末获取源码

@TOC

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统功能介绍

基于大数据的眼科疾病数据分析与可视化系统是一个集数据采集、处理、分析与展示于一体的综合性医疗数据平台。该系统采用Hadoop分布式文件系统作为底层存储架构，通过Spark大数据处理引擎实现海量眼科疾病数据的高效分析，运用Spark SQL进行复杂的数据查询与统计计算。系统后端基于Django框架构建RESTful API接口，前端采用Vue.js结合ElementUI组件库打造现代化的用户界面，通过Echarts图表库实现数据的多维度可视化展示。系统核心功能涵盖患者人口学特征分析、疾病临床特征分布分析、治疗方案与模式分析、患者预后与生存状况分析以及疾病风险因素关联分析等五大维度，能够对眼癌患者的年龄分布、性别比例、地理分布、癌症类型构成、诊断分期、治疗方式选择、预后状况及遗传风险因素等进行深入挖掘。通过Pandas和NumPy进行数据预处理，MySQL数据库存储结构化数据，最终形成直观的统计图表和分析报告，为眼科疾病的临床研究和医疗决策提供数据支撑。

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统技术介绍

大数据框架：Hadoop+Spark（本次没用Hive，支持定制） 开发语言：Python+Java（两个版本都支持） 后端框架：Django+Spring Boot(Spring+SpringMVC+Mybatis)（两个版本都支持） 前端：Vue+ElementUI+Echarts+HTML+CSS+JavaScript+jQuery 详细技术点：Hadoop、HDFS、Spark、Spark SQL、Pandas、NumPy 数据库：MySQL

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统背景意义

随着现代医疗技术的不断发展和医疗信息化程度的持续提升，医院在日常诊疗过程中积累了大量的患者数据，特别是在眼科疾病领域，从患者基本信息、病史记录、检查结果到治疗方案、预后跟踪等各个环节都产生了海量的数据信息。传统的数据处理方式往往局限于简单的统计分析，难以深入挖掘数据背后的潜在规律和关联关系，也无法有效处理大规模数据集。眼科疾病种类繁多，从常见的近视、远视到复杂的眼癌、视网膜疾病等，每种疾病的发病机制、治疗方案和预后情况都存在显著差异。医生和研究人员迫切需要一种能够综合分析患者特征、疾病类型、治疗效果等多维度信息的工具，以便更好地理解疾病规律，优化治疗策略。大数据技术的兴起为解决这一问题提供了新的思路和方法，通过分布式计算和先进的数据分析算法，能够高效处理和分析大规模医疗数据，发现传统方法难以识别的模式和趋势。 本课题的研究具有多重实际意义，主要体现在医疗实践、学术研究和技术应用等方面。从医疗实践角度来看，该系统能够帮助医生更全面地了解眼科疾病的发病特征和治疗规律，通过对患者人口学特征、疾病类型分布、治疗方案选择等数据的深入分析，为临床诊疗决策提供有价值的参考依据。系统生成的可视化报告可以直观展示不同治疗方案的效果对比，有助于医生选择最优的治疗策略，提升医疗服务质量。从学术研究层面而言，该平台为眼科疾病的流行病学研究、病因分析和预后评估等提供了强有力的数据分析工具，研究人员可以利用系统的多维度分析功能探索疾病的发生发展规律，为相关学术研究贡献数据支撑。从技术应用价值来说，本系统将大数据技术与医疗领域相结合，验证了Hadoop、Spark等分布式计算技术在医疗数据处理中的可行性和有效性，为类似的医疗信息化项目提供了技术参考和实践经验。该系统的开发过程也体现了跨学科融合的特点，将计算机技术与医学知识相结合，展现了信息技术在传统行业中的应用潜力。

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统演示视频

演示视频

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统演示图片

基于Hadoop+Spark的眼科疾病数据分析与可视化系统-系统部分代码

from pyspark.sql import SparkSession

from pyspark.sql.functions import col, count, avg, when, isnan, isnull, desc, asc

import pandas as pd

import numpy as np

from django.http import JsonResponse

from django.views.decorators.http import require_http_methods

import json

spark = SparkSession.builder.appName("EyeDiseaseAnalysis").config("spark.sql.adaptive.enabled", "true").config("spark.sql.adaptive.coalescePartitions.enabled", "true").getOrCreate()

@require_http_methods(["GET"])

def patient_demographics_analysis(request):

    eye_cancer_df = spark.read.csv("data/eye_cancer_patients.csv", header=True, inferSchema=True)

    cleaned_df = eye_cancer_df.filter(col("Age").isNotNull() & col("Gender").isNotNull() & col("Country").isNotNull())

    age_distribution = cleaned_df.groupBy("Age").agg(count("*").alias("patient_count")).orderBy("Age")

    age_bins = cleaned_df.select(when(col("Age") < 18, "0-17岁").when((col("Age") >= 18) & (col("Age") < 30), "18-29岁").when((col("Age") >= 30) & (col("Age") < 45), "30-44岁").when((col("Age") >= 45) & (col("Age") < 60), "45-59岁").otherwise("60岁以上").alias("age_group")).groupBy("age_group").agg(count("*").alias("count"))

    gender_distribution = cleaned_df.groupBy("Gender").agg(count("*").alias("count")).orderBy(desc("count"))

    country_distribution = cleaned_df.groupBy("Country").agg(count("*").alias("count")).orderBy(desc("count")).limit(10)

    cancer_age_analysis = cleaned_df.groupBy("Cancer_Type", "Gender").agg(avg("Age").alias("avg_age"), count("*").alias("patient_count")).orderBy("Cancer_Type", "Gender")

    age_bins_pandas = age_bins.toPandas()

    gender_pandas = gender_distribution.toPandas()

    country_pandas = country_distribution.toPandas()

    cancer_age_pandas = cancer_age_analysis.toPandas()

    age_bins_pandas.to_csv("analysis_results/age_distribution.csv", index=False)

    gender_pandas.to_csv("analysis_results/gender_distribution.csv", index=False)

    country_pandas.to_csv("analysis_results/country_distribution.csv", index=False)

    cancer_age_pandas.to_csv("analysis_results/cancer_age_analysis.csv", index=False)

    result_data = {"age_distribution": age_bins_pandas.to_dict('records'), "gender_distribution": gender_pandas.to_dict('records'), "country_distribution": country_pandas.to_dict('records'), "cancer_age_analysis": cancer_age_pandas.to_dict('records'), "total_patients": cleaned_df.count()}

    return JsonResponse({"status": "success", "data": result_data, "message": "患者人口学特征分析完成"})

@require_http_methods(["GET"])

def clinical_characteristics_analysis(request):

    eye_cancer_df = spark.read.csv("data/eye_cancer_patients.csv", header=True, inferSchema=True)

    valid_df = eye_cancer_df.filter(col("Cancer_Type").isNotNull() & col("Stage_at_Diagnosis").isNotNull() & col("Laterality").isNotNull())

    cancer_type_stats = valid_df.groupBy("Cancer_Type").agg(count("*").alias("patient_count")).withColumn("percentage", col("patient_count") * 100.0 / valid_df.count()).orderBy(desc("patient_count"))

    stage_distribution = valid_df.groupBy("Stage_at_Diagnosis").agg(count("*").alias("count")).withColumn("percentage", col("count") * 100.0 / valid_df.count()).orderBy("Stage_at_Diagnosis")

    cancer_stage_cross = valid_df.groupBy("Cancer_Type", "Stage_at_Diagnosis").agg(count("*").alias("count")).orderBy("Cancer_Type", "Stage_at_Diagnosis")

    laterality_analysis = valid_df.groupBy("Laterality").agg(count("*").alias("count")).withColumn("percentage", col("count") * 100.0 / valid_df.count()).orderBy(desc("count"))

    severity_mapping = valid_df.select("Cancer_Type", when(col("Stage_at_Diagnosis").isin(["Stage I", "Stage II"]), "Early").when(col("Stage_at_Diagnosis").isin(["Stage III", "Stage IV"]), "Advanced").otherwise("Unknown").alias("severity_level")).groupBy("Cancer_Type", "severity_level").agg(count("*").alias("count"))

    bilateral_cases = valid_df.filter(col("Laterality") == "Bilateral").groupBy("Cancer_Type").agg(count("*").alias("bilateral_count"))

    total_cases = valid_df.groupBy("Cancer_Type").agg(count("*").alias("total_count"))

    bilateral_rate = bilateral_cases.join(total_cases, "Cancer_Type", "left").select("Cancer_Type", "bilateral_count", "total_count", (col("bilateral_count") * 100.0 / col("total_count")).alias("bilateral_percentage"))

    cancer_type_pandas = cancer_type_stats.toPandas()

    stage_pandas = stage_distribution.toPandas()

    cancer_stage_pandas = cancer_stage_cross.toPandas()

    laterality_pandas = laterality_analysis.toPandas()

    severity_pandas = severity_mapping.toPandas()

    bilateral_pandas = bilateral_rate.toPandas()

    cancer_type_pandas.to_csv("analysis_results/cancer_type_distribution.csv", index=False)

    stage_pandas.to_csv("analysis_results/stage_distribution.csv", index=False)

    cancer_stage_pandas.to_csv("analysis_results/cancer_stage_cross.csv", index=False)

    laterality_pandas.to_csv("analysis_results/laterality_analysis.csv", index=False)

    severity_pandas.to_csv("analysis_results/severity_mapping.csv", index=False)

    bilateral_pandas.to_csv("analysis_results/bilateral_analysis.csv", index=False)

    analysis_results = {"cancer_types": cancer_type_pandas.to_dict('records'), "stage_distribution": stage_pandas.to_dict('records'), "cancer_stage_cross": cancer_stage_pandas.to_dict('records'), "laterality_stats": laterality_pandas.to_dict('records'), "severity_analysis": severity_pandas.to_dict('records'), "bilateral_analysis": bilateral_pandas.to_dict('records')}

    return JsonResponse({"status": "success", "data": analysis_results, "message": "疾病临床特征分析完成"})

@require_http_methods(["GET"])

def treatment_outcome_analysis(request):

    eye_cancer_df = spark.read.csv("data/eye_cancer_patients.csv", header=True, inferSchema=True)

    treatment_df = eye_cancer_df.filter(col("Treatment_Type").isNotNull() & col("Outcome_Status").isNotNull() & col("Survival_Time_Months").isNotNull())

    treatment_frequency = treatment_df.groupBy("Treatment_Type").agg(count("*").alias("frequency")).withColumn("percentage", col("frequency") * 100.0 / treatment_df.count()).orderBy(desc("frequency"))

    stage_treatment_pattern = treatment_df.groupBy("Stage_at_Diagnosis", "Treatment_Type").agg(count("*").alias("count")).orderBy("Stage_at_Diagnosis", desc("count"))

    treatment_outcome_relation = treatment_df.groupBy("Treatment_Type", "Outcome_Status").agg(count("*").alias("count")).orderBy("Treatment_Type", "Outcome_Status")

    outcome_rates = treatment_df.groupBy("Treatment_Type").pivot("Outcome_Status").agg(count("*")).fillna(0)

    survival_analysis = treatment_df.groupBy("Cancer_Type").agg(avg("Survival_Time_Months").alias("avg_survival"), count("*").alias("patient_count")).orderBy(desc("avg_survival"))

    chemotherapy_stats = treatment_df.filter(col("Chemotherapy").isNotNull()).select("Treatment_Type", "Chemotherapy").groupBy("Treatment_Type").agg(avg("Chemotherapy").alias("avg_chemo_intensity"), count("*").alias("chemo_patient_count"))

    radiation_stats = treatment_df.filter(col("Radiation_Therapy").isNotNull()).select("Treatment_Type", "Radiation_Therapy").groupBy("Treatment_Type").agg(avg("Radiation_Therapy").alias("avg_radiation_intensity"), count("*").alias("radiation_patient_count"))

    combined_therapy = treatment_df.filter((col("Chemotherapy").isNotNull()) & (col("Radiation_Therapy").isNotNull())).select("Treatment_Type", "Chemotherapy", "Radiation_Therapy", "Outcome_Status").groupBy("Treatment_Type").agg(avg("Chemotherapy").alias("avg_chemo"), avg("Radiation_Therapy").alias("avg_radiation"), count("*").alias("combined_count"))

    genetic_outcome = treatment_df.filter(col("Genetic_Markers").isNotNull()).groupBy("Genetic_Markers", "Outcome_Status").agg(count("*").alias("count")).orderBy("Genetic_Markers", "Outcome_Status")

    treatment_freq_pandas = treatment_frequency.toPandas()

    stage_treatment_pandas = stage_treatment_pattern.toPandas()

    outcome_relation_pandas = treatment_outcome_relation.toPandas()

    outcome_rates_pandas = outcome_rates.toPandas()

    survival_pandas = survival_analysis.toPandas()

    chemo_pandas = chemotherapy_stats.toPandas()

    radiation_pandas = radiation_stats.toPandas()

    combined_pandas = combined_therapy.toPandas()

    genetic_pandas = genetic_outcome.toPandas()

    treatment_freq_pandas.to_csv("analysis_results/treatment_frequency.csv", index=False)

    stage_treatment_pandas.to_csv("analysis_results/stage_treatment_pattern.csv", index=False)

    outcome_relation_pandas.to_csv("analysis_results/treatment_outcome_relation.csv", index=False)

    outcome_rates_pandas.to_csv("analysis_results/outcome_rates.csv", index=False)

    survival_pandas.to_csv("analysis_results/survival_analysis.csv", index=False)

    chemo_pandas.to_csv("analysis_results/chemotherapy_stats.csv", index=False)

    radiation_pandas.to_csv("analysis_results/radiation_stats.csv", index=False)

    combined_pandas.to_csv("analysis_results/combined_therapy.csv", index=False)

    genetic_pandas.to_csv("analysis_results/genetic_outcome.csv", index=False)

    comprehensive_results = {"treatment_frequency": treatment_freq_pandas.to_dict('records'), "stage_treatment_pattern": stage_treatment_pandas.to_dict('records'), "treatment_outcome_relation": outcome_relation_pandas.to_dict('records'), "outcome_rates": outcome_rates_pandas.to_dict('records'), "survival_analysis": survival_pandas.to_dict('records'), "chemotherapy_stats": chemo_pandas.to_dict('records'), "radiation_stats": radiation_pandas.to_dict('records'), "combined_therapy_analysis": combined_pandas.to_dict('records'), "genetic_outcome_analysis": genetic_pandas.to_dict('records')}

    return JsonResponse({"status": "success", "data": comprehensive_results, "message": "治疗方案与预后分析完成"})


## 基于Hadoop+Spark的眼科疾病数据分析与可视化系统-结语

💟💟如果大家有任何疑虑，欢迎在下方位置详细交流。