CEAMS集成工具：可视化、自动化解决EXCEL文件表头格式不一致问题

Hello，大家好，在这辞旧迎新的2020年初，小编又来更新啦。这次将给大家分享一款对于企业来说超级实用的数据集成工具。在实际工作中，经常需要将数据以图表的形式来展示数据的价值，并且进一步大数据分析；然而数据处理过程中，数据整理经常就花费了80%的时间，尤其经常会碰到excel文件数据表头格式不一致的问题，“某某部门又没有按格式反馈数据”、“每个分公司的报表，表头五花八门，整理起来太头疼”……是的，excel数据汇总，每每碰到数据表头格式不一致时，只想大声喊到：我太“南”了！！！数据格式统一实在是太重要了。

今天，小编给大家分享一款数据集成工具：CEAMS集成工具，生成通用的excel表头，快速实现数据格式标准化，节省日常数据处理人工消耗，数据变现最大化。假设，我们手头上有几份来自不同省份的食品监管数据excel文件，其中每份数据表头格式是不一致的，需要将它们转换成统一规范的格式。接下来，我们一起看看如何通过CEAMS集成工具实现数据格式标准化。以湖北省食品、甘肃省、江苏省抽检不合格数据为例。

现有excel文件数据表头：

①湖北省食品抽检不合格数据部分截图

②甘肃省食品抽检不合格数据部分截图

③江苏省食品抽检不合格数据部分截图

问题描述：仔细看看这些表格会发现，它们的表头都不大一致，其中一些关键信息的格式都差了很多，比如“不合格项目||检验结果||标准值”这列，湖北省、江苏省用的是

而甘肃省用的是

如果直接用原格式开展大数据分析工作，出来的结果可能会出现偏差，不够精细化。

经过CEAMS集成工具处理之后，标准化格式的数据表头：

使用格式标准化的数据，确保数据的一致性，有利于开展大数据与可视化数据集成和强大的预测分析，有助于企业实时决策。一、CEAMS集成工具的整体工作流程

二、CEAMS集成工具简易的操作方法

1、从左边的工具箱中选择对应的组件，按照上图1所示顺序依次放置，并用连线将其连接好。

2、双击下图所示组件，创建其属性设置：对应的服务以及接口；点击保存。

3、双击下图所示组件，创建其属性设置：选择对应的服务以及接口；点击保存。

4、双击下图所示组件，在Transform Message处，将鼠标放在输入中的某个字段，然后鼠标长按，拖动到输出中匹配的字段，从而创建输入和输出字段之间的实际映射。匹配所有相同和相似的名称，如抽样编号匹配抽样编号、产品名称匹配名称。

5、点击右上角的“测试”按钮，根据提示，选择需要处理的excel源文件，点击保存，CEAMS集成工具在线完成测试。

6、下方的Console中提示“测试成功！”，即表示数据成功转换标准化格式，并且标准化格式数据也同步导入到数据库中了。

拿着这些转换好的标准数据，进一步开展大数据整合、建模、分析、管理工作，就方便多了，无需再为了数据整理劳心劳力，实现运营的数据报表自动化，实现大数据分析可视化。

三、关于CEAMS集成工具的三大重要组件

操作步骤说完了，现在我们来看看CEAMS集成工具中三个非常重要的组件。

1、组件1

由CEAMS平台负责，针对用户具体需求进行定制化开发。该组件的主要功能为将输入的源数据解析成JSON格式输出。以上述食品监管数据为例，具体输出的JSON格式内容如下（内容较多，仅展示一行数据转换的JSON内容）：

测试湖北省数据组件

输出:

{

"output":[

{

"sid":"GC19420000003335391",

"pname":"/",

"paddress":"/",

"cname":"武汉中商超市连锁有限公司黄石延安路店",

"caddress":"黄石市延安路122号",

"name":"韭菜",

"standard":"散装称重",

"trademark":"/",

"pdate":"/",

"reason":"腐霉利",

"test_results":"腐霉利",

"rlimit":"腐霉利",

"result":"不合格",

"type":"食用农产品",

"notification_no":"2019年第41期",

"time":"2019-10-31",

"province":"湖北",

"level":"总局国抽",

"notifying_unit":"湖北省食品质量安全监督检验研究院",

"remark":"抽样日期：2019-07-31"

}

2、组件2

由用户自行操作，匹配数据字段；该组件的主要功能为将组件1解析出来的JSON格式内容转换成具有统一标准化格式的数据输出。以上述食品监管数据为例，具体输出的标准化数据内容如下（内容较多，仅展示一行数据转换的标准化格式内容）：

开始Transform数据

输出:

[

{