首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Hadoop
26242 关注,1470 文章
关注
热门
最新
最热
脑容量不足
5天前
Hadoop
大数据 T3 Hadoop运行过程详解
谷歌论文中的MapReduce 下面是之前讲过的,一开始提出的MapReduce的概念流程。 Hadoop中的MapReduce 再来看一下Hadoop中MapReduce的流程。 概念不变,只是更加
54
4
评论
大数据王小皮
20天前
Hadoop
Yarn
后端
【深入浅出 Yarn 架构与实现】6-4 Container 生命周期源码分析
本文将深入探讨 AM 向 RM 申请并获得 Container 资源后,在 NM 节点上如何启动和清理 Container。将详细分析整个过程的源码实现。
127
点赞
评论
大数据王小皮
27天前
后端
Hadoop
Yarn
【深入浅出 Yarn 架构与实现】6-3 NodeManager 分布式缓存
不要跳过这部分知识,对了解 NodeManager 本地目录结构,和熟悉 Container 启动流程有帮助。
45
点赞
评论
WHYBIGDATA
1月前
大数据
Hadoop
关于Hadoop重新格式化之后集群的崩溃问题
关于Hadoop重新格式化之后集群的崩溃问题 写在前面 版本信息 实验场景 Hive Hive交互段查询报错 原因分析 解决方法 HBase 清理虚拟机磁盘 参考资料 写在前面 版本信息 Linux版
129
1
3
huan1993
2月前
后端
Java
Hadoop
hdfs disk balancer 磁盘均衡器
在我们的hadoop集群运行一段过程中,由于多种原因,数据在DataNade的磁盘之间的分布可能是不均匀。**比如:** 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write
270
3
评论
大数据王小皮
2月前
Yarn
Hadoop
【深入浅出 Yarn 架构与实现】6-1 NodeManager 功能概述
本节开始将对 Yarn 中的 NodeManager 服务进行剖析。 NodeManager 需要在每个计算节点上运行,与 ResourceManager 和 ApplicationMaster 进行
380
1
评论
大数据王小皮
2月前
Hadoop
Yarn
【深入浅出 Yarn 架构与实现】5-3 Yarn 调度器资源抢占模型
本篇将对 Yarn 调度器中的资源抢占方式进行探究。分析当集群资源不足时,占用量资源少的队列,是如何从其他队列中抢夺资源的。我们将深入源码,一步步分析抢夺资源的具体逻辑。
214
3
评论
qd_liu
2月前
大数据
Hadoop
HDFS整合S3对象存储——Hadoop 以外的东西
关于数据存储的思考 前言 目前数据中台采用hdfs作为数据存储系统,主要存储是结构化数据,随着需求的变化,现在不仅仅要存储结构化数据还要存储非结构化数据,视频、音频等,存储方案如何制定。
415
21
评论
fanstuck
3月前
掘金·日新计划
大数据
Hadoop
从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解
开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 16 天,点击查看活动详情 一、Hadoop1.0 Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框
3048
2
评论
WHYBIGDATA
3月前
Hadoop
大数据
掘金·日新计划
Hadoop完全分布式运行环境的搭建
Hadoop完全分布式运行环境的搭建 0. 写在前面 1. 模板虚拟机环境准备 安装模板虚拟机 hadoop01虚拟机配置要求如下 关闭防火墙,关闭防火墙开机自启 创建普通用户 配置新用户权限 修改所
498
1
评论
huan1993
3月前
后端
Hadoop
Java
Centos7搭建hadoop3.3.4分布式集群
最近在学习`hadoop`,本文记录一下,怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。
575
3
1
京东云开发者
3月前
大数据
后端
Hadoop
教你从0到1搭建本地Hadoop 及Spark 分布式HA运行环境
工欲善其事必先利其器,在深入学习大数据相关技术之前,先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境,对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站
574
3
1
WHYBIGDATA
3月前
Hadoop
大数据
掘金·日新计划
Hadoop之分布式技术
开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 12 天,点击查看活动详情# Hadoop之分布式技术
1677
14
评论
WHYBIGDATA
3月前
Hadoop
大数据
掘金·日新计划
Hadoop入门学习——简介篇
--- theme: channing-cyan highlight: ascetic --- *
609
2
1
大数据王小皮
5月前
Yarn
Hadoop
【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master
上一篇文章对 ResourceManager 整体架构和功能进行了讲述。本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。 下面将会介绍 RM 与 AM 整体通信执行
926
1
评论
llsydn
5月前
后端
Hadoop
Spark
Hadoop Spark 太重,esProc SPL 很轻
随着大数据时代的来临,数据量不断增长,传统小机上跑数据库的模式扩容困难且成本高昂,难以支撑业务发展。很多用户开始转向分布式计算路线,用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/S
816
5
3
qianmoq
6月前
Hadoop
Hadoop小文件解决方案-基于文件整合的解决方案
通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。 解决MapReduce性能问题 以下解决方案来缓解MapReduce性能问题: 更改摄取过程/间隔 批处
2704
3
评论
qianmoq
6月前
Hadoop
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
在第一篇文章中,我讨论了什么构成了一个小文件,以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75%的任何文件,并解释说由于NameNode内存使用和MapReduce
2652
4
评论
qianmoq
6月前
Hadoop
Hadoop小文件解决方案-Hadoop小文件的前因后果
Hadoop不适用于大量小文件,而是需要更少的大文件。这可能是您之前听过的声明。但是,为什么Hadoop会出现大量小文件的问题?而且,“小”究竟是什么意思呢?在本系列的第一部分中,我将回答这些问题。后
1720
点赞
评论
pq217
6月前
Hadoop
地球人能看懂的Hadoop
初学hadoop,网上的相关资料很多,讲解大同小异:一堆专业术语+火星文 学习起来很困难,很难探究出它的存在意义,因此本文结合自己的理解,用地球人的语言来描述hadoop
575
2
评论