MyData 使用手册v0.7.1

平台介绍

MyData 基于 Web API 的数据集成平台 v0.7.0

用Docker部署 MyData v0.7.1

交流Q群：430089673

版本介绍

MyData v0.7.1版本主要提供在项目范围内多个环境的数据集成，通过定时任务调用应用的API 获取、存储和消费业务数据；

系统架构

采用前后端分离的模式，前端使用 Sword 框架开发，后端使用 SpringBlade 框架的Boot版本开发；
系统分为3个服务，分别是：管理服务、任务服务、业务数据服务；
管理服务，提供数据集成的管理功能；
任务服务，根据任务配置调用第三方接口，分别实现：调用接口获取数据并交由数据服务存储和从数据服务读取数据并调用接口消费数据；
业务数据服务，封装MongoDB 实现自定义标准数据的存储和动态扩展；

功能介绍

登录系统

默认租户id是6个0，账密admin/admin，填写验证码点击登录按钮；

在这里插入图片描述

数据融合

以下介绍实现数据集成的过程；

应用管理

应用管理用于维护应用信息，以便集成时了解数据的来源和去向；

示例中添加了3个应用，其中hr系统作为用户数据的来源，oa和pm系统消费用户数据；

在这里插入图片描述

API管理

API管理用于维护接口信息，以便任务通过调用API传输数据；

新增API 在这里插入图片描述

API类型的 提供数据 表示该接口返回数据、消费数据 表示该接口接收数据；
相对路径是指接口不包含ip和端口的访问地址，结合环境的前置路径形成完整路径，减少API的维护量；
数据类型目前仅支持JSON格式；

JSON字段层级前缀，格式为 x.y.z，根据API类型有2种情况

若API类型是提供数据，则表示从接口返回JSON的哪一层解析业务数据；

例如下JSON，则前缀需设置为data；

{
	"code": 200,
	"success": true,
	"data": [{
		"createUser": -1,
		"createTime": "",
		"updateUser": -1,
		"updateTime": "",
		"status": -1,
		"isDeleted": 0,
		"id": 1,
		"userCode": "user_001",
		"userName": "用户11",
		"birthday": "2000-01-01 00:00:00",
		"age": 1,
		"salary": 111.00
		},
        ...
    ],
	"msg": "操作成功"
}

若API类型是消费数据，则表示调用接口传递JSON数据时需增加的属性名；

同上示例，若设置为data 则向接口发送的JSON如下：

{
	"data": [{
		"createUser": -1,
		"createTime": "",
		"updateUser": -1,
		"updateTime": "",
		"status": -1,
		"isDeleted": 0,
		"id": 1,
		"userCode": "user_001",
		"userName": "用户11",
		"birthday": "2000-01-01 00:00:00",
		"age": 1,
		"salary": 111.00
		},
        ...
    ]
}

调试API

点击上方的调试按钮，打开调试页面；

选择可调用接口的所在环境，可看到接口完整地址；点击运行按钮，可查看调用接口的结果，包括响应状态、耗时和响应体；

项目管理

项目管理主要包括项目信息维护、运行环境、集成数据项和任务的管理，可以实现项目内的数据集成；

创建项目

点击项目管理的新增按钮，再填写项目的编号、名称和描述提交即可；
集成管理

点击项目右侧的集成管理进入

集成页面包含环境、数据项、集成任务三部分；
新增数据项

点击+新增数据项按钮，填写数据编号、名称和字段信息，并设置某个或多个字段的组合作为数据的唯一标识；
新增环境

点击+环境按钮，跳转到环境新增页面，填写环境信息，如下图：添加成功后，再回到项目的集成管理；
任务管理

选择环境后，会显示数据项在所选环境的概况信息；

点击操作列的任务管理，可以看到任务管理页面；

页面分为左右两部分，左侧是提供数据的任务、右侧是消费数据的任务；
新增任务
- 新增提供数据任务
  - 填写任务名称
  - 选择提供数据类型的API
  - 选择任务周期
  - 字段映射中填写对应的接口字段名，接口字段可空表示未提供该数据字段数据；
- 新增消费数据任务
  
  操作同上，区别是可选的API为消费数据类型的接口；
任务操作
- 任务状态，灰色 表示未启动、绿色 表示运行中、红色 表示异常；
- 启动任务，点击图标启动任务，启动成功后任务背景色变为绿色；
- 停止任务，点击图标停止任务；
- 单次执行，点击图标可立即执行一次该任务，显示该提示表示任务开始执行
- 任务日志，点击图标查看任务执行日志，如下图：
  
  点击 + 号可展开查看日志详情
- 编辑任务，点击图标显示任务编辑页面，若任务处于运行中会显示提示
- 删除任务，点击图标删除任务，若任务处于运行中则不能删除，会显示提示