智慧学成Spring Boot+Vue+Spark项目总结

891 阅读1分钟

       针对在线教育平台业务进行大数据统计分析的系统,对课程、用户、教育机构三个业务领域,进行数据挖掘,从不同维度进行数据分析,为在线教育平台运营提供参考数据依据。
采用Vue.js 前端技术和 Spring Boot 服务端技术,Hadoop、Spark等主流技术栈开发

  • 技术栈

1.采用 Apache NiFi 完成 ETL 过程的智能化配置及管理,对数据清洗、离线分析、实现分析任务统一调度。

2.采用 Spark 实现海量数据的清洗,编写 Spark Core 程序由 NiFi 调度实现数据清洗。
3.采用 Elasticsearch、HBase 实现海量数据的即时查询,发挥 ES 搜索性能 HBase 存储性能实现日志数据查询功能。
4.采用 Hive、Spark 离线数据分析技术对课程、用户、机构数据进行分析。
...../............

  • 功能架构

  • 环境搭建

数据仓库与ETL
课程分析

参考资料:pan.baidu.com/s/Ioew2…

平板看台
即时查询
系统集成测试

Elasticsearch、HBase 实现海量数据的即时查询,发挥 ES 搜索性能 HBase 存储性能实现日志数据查询功能。

 Hive、Spark 离线数据分析技术对课程、用户、机构数据进行分析。