首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
虚伪的小萝卜
掘友等级
我们的征途是大数据
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
最新
热门
Hive基础入门(二)
将一个大文件分成n多小文件。本质和MapReduce的分区类似,都是在分文件。 lzo需要创建索引,才可以支持分割。 常用压缩方式为lzo和snappy。因为尽管gzip和bzip2拥有极高的压缩比,但是其压缩与解压缩的速度并不理想,从而影响计算效率。 顾名思义,根据表中数据,…
Hadoop3.x基础入门(三)
YARN(Yet Another Resource Negotiator)是一种资源调度框架。作为一种通用的资源管理平台,可以运行各种各样的程序。 YARN由一个ResourceManager和多个NodeManager共同组成。 YARN中以Container为资源分配单位。…
Hadoop3.x基础入门(二)
元数据作为描述数据的数据,非常重要。NameNode是用来管理元数据信息的。为了保证对元数据能够进行快速检索,一般元数据都保存在NameNode所在机器的内存中。这意味着,一旦NameNode所在机器宕机,元数据将不再安全。所以这里引入三个概念,FSImage,Edits和Se…
Hive基础入门(一)
提高效率,用空间换时间。 此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。 经过对ODS进行ETL(Extract Transfer Load)的清洗之后得到的干净数据。 一个基于Hadoop的数…
读Hadoop 3.1.4官方文档(一)—— HDFS架构
以下不是翻译,只是看完文档之后的一点提炼。 理解:HDFS厉害之处在于高容错,低硬件成本,适合大数据集的高吞吐量。HDFS为了支持对文件系统数据的流访问,放宽了一些POSIX(可移植操作系统接口(Portable Operating System Interface),X表明其…
Hadoop3.x基础入门(一)
Block元数据:每个Block的元数据大小大概为150 Bytes。 eg. 副本数:4 机架数: 2
个人成就
文章被点赞
6
文章被阅读
1,573
掘力值
87
关注了
0
关注者
2
收藏集
0
关注标签
0
加入于
2021-01-08