ELKB 是指 Elasticsearch、Logstash、Kibana、Beats，借助 FileBeat 采集 Kylin 日志，并分发到 Logstash 进行过滤处理并最终写入到 ES 中。使用 Kinaba 可以较为快捷的构建一系列图表，通过对 Kylin 查询日志…

上一篇kylin-安装部署主要是进行安装和简单介绍，现在是对kylin的使用。 Demo数据,我们有这样的一个需求，分析薪资受哪些因素影响。 简单来说维度就是观察数据的角度，他通常是数据记录的一个属性，例如上图中，薪资可能跟工作类型有关系，也可能与入职年限有关系，那么job和h…

维度表最好不要是 Hive 视图（View），因为每次都需要将视图进行物化，从而导致额外的时间开销。 保证维度表与事实表的映射关系，过滤无法映射的记录。 Hive 表支持多分区（Partition），简单地说，一个分区就是一个文件目录，存储了特定的数据文件。当有新的数据生成的时…

Cube Info 界面主要填写 Cube 的一些基本信息，首先要选择一个数据模型，然后填写 Cube 名称，Cube 名称全局唯一不能重复；Cube 信息填写完成后点击 “Next” 进入下一步。 Dimensions 是维度选择界面，从数据模型的维度中选择一些列作为 Cub…

点击浅蓝色按钮，从 Hive 中选择需要导入的表，选择完毕后点击右下角的“Sync”按钮即可完成 Hive 表的导入。 点击 “Models” 选项卡，可以看到项目已创建的 Models 以及 Cubes，点击 “+ New” 按钮，选择 “New Model” 即可打开创建 …

前面两篇文章介绍了 Apache Kylin 相关的基本概念以及其工作原理，下面将进入实战部分，首先就是安装部署与配置。 从上述配置可以看到，最新版（V2.5.1）有了诸多的变化，支持了 Hadoop 3.1，HBase 2.0；JDK 需求为 JDK8；CDH 用户需要注意的…

简单来说，Kylin 的核心思想是预计算（利用空间换时间），即对多维分析可能用到的度量进行预计算，将计算好的结果保存成 Cube 并存在 HBase 中，供查询时直接访问。 执行查询时（Restful API/JDBC/ODBC），读取 Cuboid，运算，产生查询结果。 Ap…

Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc. 开发并贡献至开源社区，它能在亚秒内查询巨大的 Hive 表。 与 BI 工具无缝整合: Kyl…

“开源（Open Source）”，这个在程序员界耳熟能详的词，几乎充斥着我们的整个职业生涯。相信没有一个程序员不知道啥是“开源”，相信没有一个程序员从来没用过“开源”产品。回顾一下，我们所熟知的一些伟大开源项目几乎都出自国外的程序大师或组织。然而，这几年国人也贡献了不少优秀的…