基于JAVA大数据得智慧学成--day01

64 阅读1分钟

首先提前声明一下这个项目是大数据得项目,也就是说电脑得配置要足够好,内存至少16G起步,加上硬盘至少要有100G得空余空间,做这个项目比较有优势,这个是虚拟机得详细参数,各位可以看一下这个参数来决定是否要做这个项目,这个智慧学车得项目,比较吃电脑配置,如果电脑配置不行得,建议部要做这个项目,虚拟机需要得空间非常得大

智慧学成 第1章 环境搭建

1 CDH环境搭建

1.1 版本说明 基于Docker: 虚拟机系统:

Ubuntu 18.04 容器系统:Centos6.9 jdk:Jdk1.8 CDH5.14.0: zookeeper3.4.5、hadoop2.6.0,Hive1.1.0、Hue3.9、hbase1.2.0 Spark:Spark2.3.3、Scala2.11.8 Zeppelin 0.8.0 kafka_2.11-2.2.0 nifi-1.9.2 elasticsearch 6.4.0

1.2 环境安装

载入虚拟机镜像文件进行读取之后的信息载入

初始账户是xc;密码是123456

目前正在运行的docker 镜像文件

 

接下来是导入scala的工程,也就是代码工程文件

这里有一个关于测试的工程文件

运行之控制台输出对应的内容

可以看到控制台导入的代码文件POM坐标等信息均正常

3,Zeppelin调试spark程序,可以正常的启动该该程序,则docker配置正常,先将文件上传到HDFS中进行查看,查看存在该文件则进行详细的配置

接着Spark也配置正常

4,hue 

4.2 登陆hue 启动hue容器, 如果已启动, 此步可跳过, 继续下一步

这个就是环境搭建的过程部分,要注意的是这个智慧学成项目非常的吃电脑配置。要做这个项目请慎重考虑。