Dataworks优化

1.0 背景 在之前的文章 聊聊阿里云Dataworks实践 | 在Dataworks中使用SQL拼接Json字符串的问题 中我提到，在dataworks有拼接json字符串的函数 to_json 搭

一直在使用dataworks，很容易将dataworks中的SQL混同于hiveSQL，其实两者还是不一样的，包括一些函数的用法，尽管函数名称一致，但是参数的用法，以及参数都不一致。

目前我所用到的阿里云中有关数据集成的功能合计有3种，第一DTS数据同步服务，第二数据开发测的数据集成和第三数据集成测的数据同步三种方式。而每种方式具有什么样的特点呢？本文将做一些解答。

很多的细节问题，决定了上线生产后的质量。如果不注意，不好意思，报错是不会让你好过的。 所以，谨对日常遇到的问题在这里记录，以飨读者。

在日常建模过程中，我们会遇到不同的空值的情形，在不同的情况下需要有不同的处理方式，下文就是个人在工作中遇到的场景并记录下来，以飨各位。

数仓从零到一的过程，是希望任务越多越好，命名可以不标准，脚本可以重复迭沓，但能够覆盖掉业务数据的100%即可；而从一到一百的过程，是为前一阶段“买单”的痛苦过程。。。

常言道：千里之堤，溃于蚁穴，这些小问题有时候会成为压倒骆驼的最后“一棵稻草”。对于模型的优化或者性能的调优都具有不可或缺的作用。