BB侠的大数据之旅

JAVA

JAVA

赞

16

|

搜索文章

赞了这篇文章

程序猿

·

4年前

大数据平台搭建 | Hadoop 集群搭建

NameNode: 管理命名空间、存储数据块映射信息(元数据)、负责处理客户端对HDFS的访问. 处理提交的作业请求, 资源申请请求. 即是任务运行的容器又是Yarn对资...

7

评论

JAVA

·

4年前

Permission denied when trying to bind to ‘/var/run/hdfs-sockets/dn‘

服务器重启后，datanode起不来报错如下：原因：解决方案：问题解决...

1

评论

JAVA

·

4年前

大数据数据库之HBase：集群安装部署

Hive的学习告一段落，接下来开始了解大数据主流NoSql数据库HBase，本文主要讲解HBase集群的安装部署，为后续Hbase学习作准备。 1. HBase是什么（5分...

1

评论

JAVA

·

4年前

大数据分析利器之Hive(三)：企业级hive调优

本文主要围绕hive的高级操作进行讲解。主要包括以下几个方面。 1. Hive表的数据压缩 On a single core of a Core i7 processor ...

10

评论

JAVA

·

4年前

SQL必练50题（HQL版）

HQL 50题1.建表2.导数据3.答题3.1 查询所有教师的全部信息（教师编号和姓名）3.2 输出所有学生中男生的全部信息3.3 查询所有学生中男生的全部信息，按照生日排...

3

评论

JAVA

·

4年前

大数据分析利器之Hive(二)：Hive的动态分区、静态分区和分桶表

本文主要围绕hive的DDL操作和DML操作进行讲解。主要包括以下几个方面：比如按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分...

3

1

JAVA

·

4年前

大数据分析利器之Hive(一)：数仓与数据库的区别以及hive的各种DDL语法

本文主要围绕hive的基础知识点进行讲解。主要包括以下几个方面： 1. 数据仓库（15分钟）数据仓库的英文名称为Data Warehouse，可简写为DW或DWH。数据...

1

评论

JAVA

·

4年前

Hive安装部署

为了后续更好的学习hive数仓，这里先附上Hive安装部署的教程。后续文章会详细讲解hive的原理和使用。安装Hive的前置条件是： 1. root用户下安装mysql 2...

1

评论

JAVA

·

4年前

zookeeper-3.4.5-cdh5.14.2安装部署(三节点)

1. 三台机器安装zookeeper集群 1. 三台机器安装zookeeper集群...

1

1

JAVA

·

4年前

大数据环境准备hadoop集群搭建(三节点)

接上一篇大数据服务器环境准备。 1. 安装大数据集群前的环境准备至此三台机器已完全打通，jdk也已经安装完成，接下来就可以开始安装hadoop和zookeeper的集群了...

3

评论

JAVA

·

4年前

大数据服务器环境准备(三台服务)

本文主要记录大数据环境准备及hadoop和zookeeper集群搭建，服务器方面不缺钱可以直接买阿里云的ecs，这里用VmWare虚拟机作为示例。 1. 安装VmWare ...

1

1

JAVA

·

4年前

大数据框架Hadoop：第三章资源调度系统YARN（一）

YRAN具有足够的通用性，可以支持其它的分布式计算模式。调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在...

1

评论

JAVA

·

4年前

大数据框架Hadoop：第二章计算框架MapReduc（二）分区、排序、归并、分组以及MapTask和ReduceTask

上文中介绍了什么是MapReduce，描述了MapReduce的核心思想以及编程的8个步骤，本文将继续深入了解MapReduce。 2. 如何控制mapTask的个数 ma...

1

2

JAVA

·

4年前

大数据框架Hadoop：第二章计算框架MapReduce（一）

之前两篇文章记录的是HDFS分布式文件系统。本文正式开始描述计算框架MapReduce的相关知识。本文主要内容是理解MapReduce的核心思想以及编程的8个步骤。 1. ...

5

评论

JAVA

·

4年前

第一章 Hadoop 分布式文件系统HDFS

第一代大数据框架Hadoop由：HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成，本文为学习HDFS分布式文件系统时记录的学习笔记。 Hadoo...

3

评论

JAVA

·

4年前

第一章 Hadoop 分布式文件系统HDFS(下)

第一代大数据框架Hadoop由：HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成，本文为学习HDFS分布式文件系统时记录的学习笔记。补充了HDF...

2

评论

关注了标签

JAVA

个人成就

文章被点赞 37

文章被阅读 10,749

加入于

2020-12-17