张家宝6837

Git安装 ip CPU 内存 硬盘 用途 主机名 192.168.91.41 2C 4G 40GB docker,gitserver gitserver...

mysql安装 在线安装 https://dev.mysql.com/downloads/repo/yum/ 离线安装 https://downloads.mysql.co...

第一个spark程序 准备maven程序，jdk1.8，scala-2.13.12 pom.xml WordCountScala.scala WordCountJava.j...

scala安装 下载安装包 https://downloads.lightbend.com/scala/2.13.12/scala-2.13.12.zip 配置环境变量 I...

参考官网 https://flume.apache.org/releases/content/1.10.1/FlumeUserGuide.html#system-requi...

Ambari介绍 什么是Ambari Apache Ambari是由Hortonworks贡献给Apache开源社区的顶级项目...

大数据集群搭建及管理问题 提出问题 需要搭建1000台服务器的集群，其中集群包含Hive、Hbase、Flume、Kafka、Spark等集群，需要多长时间搭建好...

HBase优化设计 表的设计 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区...

HBase数据读取流程 hbase数据读取流程简单描述 一般来说，在描述hbase读取流程的时候，简单的描述如下 客户端从zookeeper中获取meta表所在的regio...

LSM树存储结构 LSM树的由来 在了解LSM树之前，需要对hash表和B+树有所了解 hash存储方式支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为k...

HBase表设计 人员-角色 人员和角色，支持CRUD；人员有多个角色，角色也有多个人员（即多对多的关系）；人员支持删除添加角色，角色支持添加删除人员 人员编号pid，例如...

Protobuf简介 Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准...

HBase With MR MR是分布式计算框架，对于数据源和数据目的地没有限制，用户可以任意选择，只不过需要实现两个接口InputFormat和OutputFormat...

Python API 使用 HBase是由Java写的，原生支持Java接口，对python人员不友好，那么针对这种情况，HBase提供了thrift接口服务器，可以采用其...

Java API 使用 这里也会测试使用Protobuf存储数据，可以参考"Protobuf简介"中准备protobuf环境 phone.proto pom.xml...

HBase特点 强大的一致读/写：HBase 不是“最终一致”的 DataStore。它非常适合高速计数器聚合等任务 自动分片：HBase表通过region分布在群集上，并...

HBase搭建 Standalone HBase 本节介绍如何安装单节点的HBase。一个独立的实例拥有所有的HBase守护进程— Master, RegionServer...

HBase介绍 关系型与非关系型数据库 关系型数据库 关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织 优点 易于维护：都是使用表结构，格式一致...

数据仓库Hive Hive Join Join 语法 https://cwiki.apache.org/confluence/display/Hive/LanguageMa...

数据仓库Hive Hive 优化 Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率...