wait4friend

在目前我接触过的轻量级BI工具中，我最喜欢的是MS Power BI。 如果只是个人使用，我觉得这简直是一个完美的工具了。但是，凡事就怕但是，在企业级应用中，当前版本的Power BI有几个不太方便的地方。对我而言，最不能忍的一点就是数据需要完全导入到PBI文件之后才能使用（官…

因为安装过程涉及到新建用户等操作，所以这里使用root用户(或sudo)来进行准备工作。

这是使用微软Power BI Embed功能，在自定义WEB应用中嵌入报表的系列入门指南。系列文章共分为三篇，这是第三篇。 最重要的步骤是通过账户安全性认证，从 Azure AD 获取访问令牌和嵌入令牌，然后才能够调用API嵌入报表。目前微软提供了两种方式来获取Token，分别…

这是使用微软Power BI Embed功能，在自定义WEB应用中嵌入报表的系列入门指南。系列文章共分为三篇，这是第二篇。 在开发报表过程中，一定要使用前面配置的ODBC数据源来连接数据库，这一点非常重要！因为报表会把数据源信息记录在元数据中，最终PBIE会通过网关来访问元数据…

这是使用微软Power BI Embed功能，在自定义WEB应用中嵌入报表的系列入门指南。系列文章共分为三篇，这是第一篇。 个人用户或者小团队内部使用，在PBI Desktop内开发和查看报表数据。这种办法不需要付费，也不需要申请PBI 账号。 一人开发，多个用户查看报表，就需…

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。 首先明确一下啥叫…

基于维度模型理论的数据仓库中，一个特别重要的部分是渐变维度的处理，其中用的最多的方法是对维度表进行SCD2类型拉链表操作。具体实现使用upsert模式，即更新旧数据的时间戳，并且插入新数据。 但是在使用Hive作为数据仓库的场景下，对SCD2的操作就比较麻烦。因为Hive不支持…

最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Air…

Mac下没有XShell这样好用的工具，所以需要经常性操作Linux服务器的我需要有一款趁手的工具。日常操作的需求基本是这几个 谷歌了很多方案，主流的是采用expect进行响应式操作。这个方法挺好的，非常灵活并且可以在跳板机环境下多次响应后直接登录。不过我在使用的过程中发现不能…