首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
BB侠的大数据之旅
掘友等级
JAVA
JAVA
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
16
文章 16
沸点 0
赞
16
返回
|
搜索文章
赞
文章( 16 )
沸点( 0 )
大数据环境准备hadoop集群搭建(三节点)
接上一篇大数据服务器环境准备。 1. 安装大数据集群前的环境准备 至此三台机器已完全打通,jdk也已经安装完成,接下来就可以开始安装hadoop和zookeeper的集群了。 3. hadoop集群的安装 由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己…
大数据服务器环境准备(三台服务)
本文主要记录大数据环境准备及hadoop和zookeeper集群搭建,服务器方面不缺钱可以直接买阿里云的ecs,这里用VmWare虚拟机作为示例。 1. 安装VmWare VMWare虚拟机软件是一个“虚拟PC”软件,它使你可以在一台机器上同时运行二个或更多Windows、DO…
大数据框架Hadoop:第二章 计算框架MapReduc(二)分区、排序、归并、分组以及MapTask和ReduceTask
上文中介绍了什么是MapReduce,描述了MapReduce的核心思想以及编程的8个步骤,本文将继续深入了解MapReduce。 2. 如何控制mapTask的个数 maxsize(切片最大值):参数如果调得比blockSize小,则会让切片变小,而且就等于配置的这个参数的值…
第一章 Hadoop 分布式文件系统HDFS(下)
第一代大数据框架Hadoop由:HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成,本文为学习HDFS分布式文件系统时记录的学习笔记。补充了HDFS的读写流程、小文件治理等知识。 上一篇文章中介绍了Hadoop框架,详细描述了HDFS架构,其中bloc…
第一章 Hadoop 分布式文件系统HDFS
第一代大数据框架Hadoop由:HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成,本文为学习HDFS分布式文件系统时记录的学习笔记。 Hadoop作为第一代大数据框架,在大数据行业一直非常热门,直到现在还是有许多企业在使用该框架。尤其对与熟悉Java…
大数据框架Hadoop:第二章 计算框架MapReduce(一)
之前两篇文章记录的是HDFS分布式文件系统。本文正式开始描述计算框架MapReduce的相关知识。本文主要内容是理解MapReduce的核心思想以及编程的8个步骤。 1. mapreduce的定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的…
个人成就
文章被点赞
30
文章被阅读
8,845
掘力值
426
关注了
0
关注者
14
收藏集
0
关注标签
1
加入于
2020-12-17