大数据物流项目中CM的安装与运用_cm大数据服务器启动,2024年最新大数据开发入门教程

116 阅读5分钟

img img img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

文章目录

大数据服务器之CM安装架构及目录

​ 针对整个物流项目来说,1台虚拟机安装部署大数据环境:基于CM6.2.1安装CDH6.2.1

关于CM功能及CM安装,不再过多赘述,项目还是要注重于业务及数据和实现。

1615795864918

提供虚拟机【node2.itcast.cn】解压后,导入VMWare 软件中,启动虚拟机即可(选择我已移动该虚拟机)

  • 1)、启动之前,设置node2.itcast.cn内存:4GB或者6GB或者8GB即可

  • 2)、第一次启动虚拟机时,很慢很慢很慢,由于启动所有服务(CM安装CDH服务),时间5分钟以上

  • 3)、测试时,需要什么服务,启动什么服务,不要全部启动(耗内存,耗性能,没有任何意义)

1615796135090

架构原理:CM如何安装CDH框架,原理架构是什么?????

  • 1)、CM安装CDH集群时,架构属于主从分布式架构(Master/Slaves)

    • 主节点(老大):CMS(ClouderaManagerServer),在一台机器上运行
    • 从节点(小弟):安装服务(Cloudera Agent),所有大数据集群机器

    此时大数据集群机器,被CM管理,监控到基本信息(磁盘IO、网络IO和CPU与内存使用等等)

image-20210520171157255

  • 2)、Cloudera 将所有大数据框架放在某个目录,打成包:parcel

    • 首先parcel包,存储在CMServer主机的目录:/opt/cloudera/parcel-repo1615796586659

1615796536760

  • 3)、CMServer服务,将parcel包,分发给所有大数据集群机器:Cloudera Agent

    • 当所有集群机器下载parcel包以后,解压:/opt/cloudera/parcels1615796680185

    • 每个框架安装目录:/opt/cloudera/parcels/CDH/lib/框架名称1615796799129

    • 进入Kafka软件安装目录:/opt/cloudera/parcels/CDH/lib/kafka1615796842444

下图表示使用CM安装CDH架构原理图,多多理解。

1612340738839

大数据服务器之CDH框架安装细节

当使用CM安装CDH集群以后,可以通过CM界面UI,管理整个集群服务和查看监控运行状态。

  • 第一、框架用户,实际项目中按照大数据各个框架时,不建议使用root用户,创建普通用户。

​ 使用CM安装CDH集群时,针对每个框架(比如,HDFS、MAPREDUCE、YARN等)创建用户,不可以被用于登录操作系统。以框架名称创建用户,所有用户名为框架名称。

  1. 第一点:linux系统:/etc/passwd

1615797831875 2. 第二点:启动服务,所使使用用户

1615797948191

  • 第二、服务配置

​ 使用CM安装CDH组件时,配置分为2类:

img img img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取