Hadoop3.0

一、HSFS命令格式 写法：hdfs dfs 操作的文件系统说明 hdfs dfs -ls file:/// #操作本地文件系统 hdfs dfs -ls hdfs://node1:8020/ #操作

一、HDFS设计目标 硬件故障是常态，HDFS可能由成百上千的服务器组成，每一个组件都有可能出现故障。因此故障检测和自动快速恢复是HDFS的核心架构目标 HDFS上的应用主要是以流式读取数据。HDFS

前言 Hadoop配置文件所在目录：etc 配置参数并不是只有下文的那些，很多没配置都是官方默认的参数 默认参数查看方式：https://hadoop.apache.org/docs/r3.1.4/

一、大数据的特点（5V特征） Volume：数据体量大，采集、存储、计算的数据量大； Variety：种类来源多样化，结构化、半结构化、非结构化数据，文本、图片、音频、视频数据； Value：低价值密

使用VMware在Centos7虚拟机上搭建Hadoop3.1.4集群 主要包括： 1、虚拟机创建 2、服务器环境同步 3、Hadoop配置文件修改 4、集群启停 5、Hadoop的web ui界面

Hadoop部署模式 1、单机模式：一个机器运行一个Java进程，所有角色在一个进程中运行，主要用于调试； 2、伪分布式：一个机器运行多个Java进程，每个角色一个进程，主要用于调试； 3、集群模式：