rochy_he

维度表最好不要是 Hive 视图（View），因为每次都需要将视图进行物化，从而导致额外的时间开销。 保证维度表与事实表的映射关系，过滤无法映射的记录。 Hive 表支持多分区（Partition），简单地说，一个分区就是一个文件目录，存储了特定的数据文件。当有新的数据生成的时…

Cube Info 界面主要填写 Cube 的一些基本信息，首先要选择一个数据模型，然后填写 Cube 名称，Cube 名称全局唯一不能重复；Cube 信息填写完成后点击 “Next” 进入下一步。 Dimensions 是维度选择界面，从数据模型的维度中选择一些列作为 Cub…

以下配置将 message 内容按照 \t 进行切分，为了使 \t 生效需要将 logstah.yml 中配置项 config.support_escapes 设置为 true，当设置为 true 时，带引号的字符串将处理转义字符，默认值为 false。 下面的配置将读取/ho…

点击浅蓝色按钮，从 Hive 中选择需要导入的表，选择完毕后点击右下角的“Sync”按钮即可完成 Hive 表的导入。 点击 “Models” 选项卡，可以看到项目已创建的 Models 以及 Cubes，点击 “+ New” 按钮，选择 “New Model” 即可打开创建 …

前面两篇文章介绍了 Apache Kylin 相关的基本概念以及其工作原理，下面将进入实战部分，首先就是安装部署与配置。 从上述配置可以看到，最新版（V2.5.1）有了诸多的变化，支持了 Hadoop 3.1，HBase 2.0；JDK 需求为 JDK8；CDH 用户需要注意的…

CodeTips 每周日发布，旨在总结个人的编码心得，梳理遇到的小问题，分享读过的优秀技术文章或者学习资源。 以下配置将 message 内容按照 \t 进行切分，为了使 \t 生效需要将 logstah.yml 中配置项 config.support_escapes 设置为 …

个人有个依赖百度学术的服务叫 AnyPaper，它具体是什么，感兴趣的朋友可以去了解下。 用户请求量非常高（实际上访问人数可怜兮兮）。 由于卡在了正则匹配，所以怀疑是百度学术页面结构发生变化了，遂打开百度学术看了一下，果然换了一张面孔，不过调整不是很大（部分元素被移除了，而且元…

简单来说，Kylin 的核心思想是预计算（利用空间换时间），即对多维分析可能用到的度量进行预计算，将计算好的结果保存成 Cube 并存在 HBase 中，供查询时直接访问。 执行查询时（Restful API/JDBC/ODBC），读取 Cuboid，运算，产生查询结果。 Ap…

Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc. 开发并贡献至开源社区，它能在亚秒内查询巨大的 Hive 表。 与 BI 工具无缝整合: Kyl…