团队内部要分享HBase的知识，之前研究了一段时间，知识比较零散，这一次就系统化的整理一番，之后在想到Hbase的时候，看着一篇就够了。 Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上…

在提交大数据作业到集群上运行时，通常需要先将项目打成 JAR 包。这里以 Maven 为例，常用打包方式如下： 以下分别进行详细的说明。 不在 POM 中配置任何插件，直接使用 mvn package 进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三…

Azkaban 在 3.0 版本之后就不提供对应的安装包，需要自己下载源码进行编译。 下载所需版本的源码，Azkaban 的源码托管在 GitHub 上，地址为 https://github.com/azkaban/azkaban 。可以使用 git clone 的方式获取源码…

在学习大数据系统时，搭建一个 Hadoop 是基本的操作，很多大数据上层的应用都依赖 HDFS，本文介绍一种搭建 Hadoop 集群的方法。 在之前我写过一篇搭建本地服务器集群的方法，如果有需要，可以参考这里搭建一个本地的服务器集群。 在开始搭建 Hadoop 之前，还需要做一…

1.背景目前HBase服务在我司共有国内、海外共计11个集群，总吞吐超过1kw+/s，服务着地图、普惠、车服、引擎、金融等几乎全部部门与业务线。然而有一个问题持续困扰着我们：版本较社区落后较多——HB

读取LZO文件时，需要先创建索引，才可以进行切片。 Apache：运维麻烦，需要自己调研兼容性。 CDH：国内使用最多，不开源，已开始收费。老版本不再进行组件后续兼容性的更新。 HDP：开源，不稳定，已被CDH收购，合并为CDP。 128G内存，20核物理CPU，40线程，8T…