wait4friend

数据仓库在DWS层对数据进行汇总的时候，经常会出现数据一对多的情况。这个时候会使用父子表的形式存储数据。但是在构造Data API的过程中，往往会使用JSON格式，把多条子信息整合到父信息上，最终形成一条JSON Document。 传统的做法是，使用Python，Java等程…

处理不确定深度的层级结构，比如组织机构，一个常用的设计是在一张表里面保存 ID 和 Parent_ID ，并且通过自联结的办法构造一颗树。这种方式对写数据的过程很友好，但是查询过程就变得相对复杂。在不引入MPTT模型的前提下，必须通过递归算法来查询某个节点和下级子节点。 Ora…

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在PostgreSQL中处理一个数据行列转换，就把这个方法记录下来。 首先明确一…

方便管理多个用户共享一个数据库,但是又可以互相独立. 比如要设计一个复杂系统，由众多模块构成，有时候模块间又需要有独立性。各模块存放单独的数据库显然是不合适的。 这时候使用schema来分类各模块间的对象，再对用户进行适当的权限控制，这样逻辑也非常清晰。 大多数数据库都有sch…

作为一种简单易用的非结构化数据，JSON格式的应用场景非常广泛。在当前的大数据环境下，处理非结构化数据的需求越来越频繁，我们是不是必须用MongoDB这一类NoSQL的解决方案？强大的PostgreSQL数据库，在RDBMS的基础上提供了对JSON的完善支持，不需要MongoD…

在使用异构数据库构建数据平台的过程中，异构数据库之间的访问一直是比较复杂的问题。我们使用PostgeSQL的过程中，遇到需要访问MySQL实时数据的场景。可供我们选择的方案包括 FDW(Foreign Data Wrapper)是我们选用的开源方案，这个方案明显的优点是使用统一…

内核参数的配置，这里有一篇文章写的很详细，建议阅读。 因为安装过程涉及到新建用户等操作，所以这里使用root用户(或sudo)来进行准备工作。 这里的启停命令都是用postgres用户执行的。 PS：在生产系统上，我们建议使用系统服务的方式启动，详见日常运维部分。 备注：因为我…

在平时的工作中，把常规工作进行文档整理非常重要，无论是平时工作处理或是工作交接，实时的维护文档资料可以提高工作效率。如果采用传统的TXT文档或者Word文档来记录的话修改查询都不太方便，采用在线Wiki可以更好的让大家实时地查看或者修改文档资料。 在开源Wiki系统中，XWik…

原来使用GP的场景是直接使用阿里云提供的HybridDB产品，所以没有亲自动手安装过。现在有一个在本地搭建测试环境的需求，所以就照猫画虎的做一遍，把过程记录下来。 目前Greenplum已经开源，但是在网上不太容易找到已经编译后的最新版本，所以我这次找了一个第三方编译的5.8.…