kocdaniel

大数据

分享，交友，进步

赞

0

|

搜索文章

Hive使用过程中踩过的坑

hive启动时错误1hive启动时错误2hive建表时出现在drop表时卡死欢迎关注下方公众号，获取更多文章信息

5年前
815
点赞
评论

Zookeeper工作过程详解

一、Zookeeper工作机制分布式和集中式系统相比，有很多优势，比如更强的计算能力，存储能力，避免单点故障等问题。但是由于在分布式部署的方式遇到网络故障等问题的时候怎么保证各个节点数据的一致性和可用

5年前
2.5k
3
评论

MapReduce与Yarn 的详细工作流程分析

MapReduce详细工作流程之Map阶段首先有一个200M的待处理文件切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片提交：提交可以提交到本地工作环境或者Yarn工作

5年前
1.7k
1
评论

MapReduce之Job提交流程源码和切片源码分析

MapReduce作业提交时连接集群通过Job的Connect方法实现，它实际上是构造集群Cluster实例clustercluster是连接MapReduce集群的一种工具，提供了获取MapRedu

5年前
634
1
评论

浅谈HDFS（三）之DataNote

DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。DataNode启动后向NameN

5年前
1.1k
点赞
评论

浅谈HDFS（二）之NameNode与SecondaryNameNode

NN与2NN工作机制假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中的但是，如果存储在内存中，一旦断电，元数据丢失，整个集群便无法工作，因此

5年前
1.2k
点赞
评论

浅谈HDFS（一）

随着数据量越来越大，一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是管理和维护极不方便，于是迫切需要一种系统来管理多台机器上的文件，这就是分布式管理系统，HDFS是其中一种。 HDFS采用流式的数据访问方式：特点就是像流水一样，数据不是一次过来，而是一…

5年前
847
点赞
评论

个人成就

文章被点赞 5

文章被阅读 8,823

加入于

2019-09-25