首页
首页
沸点
课程
直播
资讯
活动
开放社区
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
掘金会员预售 5.16-6.16
登录
Hadoop
25857 关注,1193 文章
关注
热门
最新
最热
阿里云云栖号
3天前
Hadoop
HBase
MaxCompute湖仓一体介绍
简介:本篇内容分享了MaxCompute湖仓一体介绍。 分享人:孟硕 阿里云 MaxCompute产品专家 视频链接:https://developer.aliyun.com/adc/series/
393
3
评论
阿里云云栖号
3天前
云原生
Hadoop
云原生离线实时一体化数仓建设与实践
简介:本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理 视频链接:数据智能实战营-北京站 专题回顾 正文: 本篇内容将通过五个部分来介绍云原生离线实时一
343
3
评论
vivo互联网技术
4天前
大数据
Hadoop
HDFS
vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践
介绍我如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH集群滚动升级到HDP集群的案例。
296
1
评论
夜雨声烦ikkk
19天前
Hadoop
Ubuntu下搭建Hadoop分布式集群
应课程要求,这学期学习到了云计算与大数据,这次实验就是让我们在ubuntu中配置好hadoop分布式集群,这两天就从网上一边各种搜寻教程结合课本(课本上是使用的centos,而且版本较老,不太适用
637
3
2
Jack_Chen
7天前
Hadoop
Hadoop之MapReduce的基本使用
基于Hadoop3.1.3,详细记录MapReduce的基本使用,使用MapReduce进行任务计算。
60
1
评论
字节跳动技术团队
10月前
大数据
后端
Hadoop
字节跳动10万节点HDFS集群多机房架构演进之路
随着公司业务的高速发展,字节跳动目前 HDFS 服务的规模已经到达“双 10”的级别:单集群节点 10 万台级别、单集群数据量达到 10EB 级别。
1.0w
11
评论
花落花开99
2月前
Hadoop
CentOS 7.9 系统搭建 Hadoop 集群
安装环境 虚拟软件:VMware® Workstation 16 Pro 虚拟机操作系统:CentOS 7.9-Minimal 虚拟机 IP:192.168.153.11、192.168.153.12
762
3
2
源码那些事儿
27天前
Hadoop
MapReduce源码分析二:ReduceTask执行流程
概述 ReduceTask是MapReduce程序reduce阶段执行的具体任务,同MapTask一样上层受MRAppMaster协调调度;内部基于ReduceContext管理各个组件。其主要功能包
67
4
评论
说出你的愿望吧
4月前
面试
Hadoop
分布式
重新说明:Namenode的双缓冲机制和分段加锁原理
双缓冲机制和分段加锁。会有3个标志 isAutoSyncScheduled:判断是否在进行缓存交换 synctxid:这是线程进行磁盘刷写的事务id isSyncRunning:是否在进行写磁盘
838
20
2
大数据小禅
5月前
大数据
Hadoop
【最全的大数据面试系列】Hadoop面试题大全(一)
1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、HDFS写流程 1)client 客户端发送上传请求,通过 RPC 与 namenode 建立通信,
1014
30
评论
若隐_RowYet_大数据
1月前
Hadoop
Hadoop集群大数据解决方案之搭建Hadoop3.X+HA模式(二)
hadoop是apache最成功的的开源项目之一,针对如此完美的分布式文件系统,该怎么搭建呢?本文就带你领略一番。
176
3
评论
海上清辉
1月前
Hadoop
HDFS源码系列(一)细说NameNode
小谈namespace以及inode。讲解NameNode的editlog以及fsimage。简单剖析高可用namenode的选举流程
190
4
评论
大数据小禅
5月前
Hadoop
大数据
Hadoop集群搭建超详细教程,附带14张过程截图
1.Hadoop简介以及集群规划 • Hadoop是由Apache基金会开源的 分布式储存+分布式计算平台提供分布式的储存和计算,本篇文章将带你从零开始进行搭建集群,过程详细建议收藏。
798
34
评论
姜太公的语
7月前
大数据
Hadoop
后端
带你了解Hadoop前世今生
什么是Hadoop? Hadoop的起源是什么?Hadoop的发展历程是什么?笔者将带你领略hadoop的前世今生,让你彻底了解Hadoop。
1189
25
1
AskHarries
3年前
搜索引擎
算法
数据库
用Elasticsearch构建电商搜索平台
一个中等的电商平台,每天都要产生百万条原始数据,上亿条用户行为数据。一般来说,电商数据一般有3种主要类型的数据系统: 关系型数据库 ,大多数互联网公司会选用mysql作为关数据库的主选,用于存储商品,用户信息等数据。 关系型数据库对于事务性非常高的OLTP操作(比如订单,结算等…
1.3w
255
7
选手一号位
2月前
Hadoop
HDFS免重启挂载新磁盘
在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了,就需要添加磁盘,这里使用动态添加磁盘的方式。
341
4
评论
木鸟杂记
2月前
Hadoop
大数据
MapReduce —— 历久而弥新
MapReduce 是谷歌 2004 年(Google 内部是从03年写出第一个版本)发表的论文里提出的一个概念。虽然已经过去15 年了,但现在回顾这个大数据时代始祖级别概念的背景、原理和实现。
274
4
评论
Jack_Chen
1月前
Hadoop
Linux服务器搭建Hadoop3.X完全分布式集群
详细记录使用Linux服务器搭建Hadoop3.X完全分布式集群环境过程,避免踩坑.........
105
1
评论
大数据小禅
5月前
大数据
Hadoop
【最全的大数据面试系列】Hadoop面试题大全(二)
1、HAnamenode 是如何工作的? ZKFailoverController主要职责 1)健康监测:周期性的向它监控的NN发送健康探测命令,从而来确定某个NameNode是否处于健康状态,如果机
581
3
评论
Data跳动
2月前
Hadoop
图文详解 HDFS 的工作机制及其原理
大家好,我是大D。 今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。 初识 Hadoop 为了解决大数据中海量数据的存储与计算问题,Hadoop 提供了一套分布式系统基础架构,核心内
158
3
评论