Big Data

HDFS创建目录 HDFS查看目录 HDFS复制文件和目录 HDFS移动文件和目录 HDFS上传文件命令 HDFS下载文件命令 HDFS删除文件命令 Java API Java抽象类org.apach

通过Docker安装Hadoop镜像 启动Hadoop 通过jar启动Hadoop Hadoop UI 在这里可以看到启动过程，以及NN和DN的信息。 http://localhost:50070/d

Hadoop1.0存在的问题 NameNode SPOF，NameNode挂掉整个集群不可用 内存受限，整个集群的size受限于NameNode的内存空间大小 HDFS2.0的解决方案 HDFS2.0

Data Block 在HDFS中大文件会被切分成数据块分布在不同的机器上，每个数据块是以单独的文件形式存储在各自的文件系统中。 比如下面一个6440MB的一个大文件会以101个64MB大小的Bloc

分布式存储技术是如何产生的？ 分布式存储是大数据平台中的根基， 其是在数据存储技术不断优化的过程中诞生的，分布式存储技术提高了磁盘读写的性能以及提供了横向拓展和容灾的特性。 数据存储优化的基本思路 对

MapReduce MR是一种典型的离线分布式计算技术。 两个函数: Map和Reduce • 核心思想: 分而治之 • 设计理念: 计算向数据靠拢 MapReduce vs 并行计算 分布式的4种计

什么是Hadoop 我们常常说大数据平台一般是指Hadoop集群，Hadoop集群包含HDFS分布式文件系统和YARN资源管理系统以及分布式离线计算MR。 Hadoop基础组件 现在Hadoop的生态

什么是大数据？ 大数据是一种规模大到在获取、存储、管理和分析方面大大超出了传统数据库软件工具能力范围的数据集合。 并且无法在一定时间范围内用常规软件工具进行捕捉、管理和处理，是需要新处理模式才能具有更