SQLLineage

这是一个能够透视Spark SQL执行结果，找出每一行数据源头的工具。借助Spark计算引擎完成结果数据的溯源功能。 工具下载地址：https://github.com/s...

什么是SQL中的冗余字段？ 可以从2个角度来看，如果是逻辑的角度来看，SQL语句中那些字段，将它们去除后对SQL的执行结果没有任何影响，就是冗余字段；如果是需求的角度来看，...

数据溯源是什么？  它在我们生活中已经随处可见，从平时的外卖美食到菜鸟快递，以及疫情防控使用的健康码...  准确来说数据溯源是：记录和重现原始数据在整个数据生产的生命周期...

列裁剪是SQL优化中最常见的优化规则，就是对于没有用到的列就没必要读取已减少IO的消耗。 为什么出现列裁减？ 一、SQL本身就有逻辑问题，包含了与结果无关的数据列： 如：s...

本人熟悉的数据追遡的方法分为2大类： 一：标注法 标记原始信息的一些信息，让标注的信息与数据一起参与数据生产的处理过程，这样在数据生产的整个生命周期内，标注信息都得以保留，...

分析SQL获取数据血缘关系的小工具。数据就是黄金正在被广泛的认可，数据的生产就像淘金，生产的步骤繁琐还需消耗大量的计算资源。而数据的多样性和差异性使得数据生产不得不不断的迭...