Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,提供多种模型训练调试方式,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。
开源链接: github.com/WeBankFinTe…
Prophecis 0.2.0新版本特性
01 特性增强
- 新增分布式建模模块(Prophecis DI),支持拉起批量建模任务,提供单机Tensorflow、XGBoost、PyTorch等建模任务能力;
- 对接Kubeflow Arena,支持分布式Tensorflow建模;
- 提供CLI工具,支持通过CLI工具调用分布式建模模块,可获取任务状态和执行日志;
- 建模任务支持复制、模版导出,可快速与CLI工具结合使用。
02 Bug修复
修复Helm Chart配置中的错误配置。
03 新增模块介绍
Prophecis DI 基于IBM FfDL进行改造,主要改造点如下:
- 对接Kubeflow Arena,提供分布式Tensorflow任务能力;
- 修改FfDL单机建模任务的创建模式,任务发布时创建的资源修改为Kubernetes Job,删除任务执行时创建Helper及JobMonitor;
- 日志采集服务修改为DaemonSet,采集工具修改为Fluent Bit;
- 建模任务状态模式更改为独立服务Job Monitor负责;
- 容器目录新增GUID控制;
- 代码文件存储服务更改为MinIO;
- CLI增强,增加Yaml模版的参数替换,调用训练接口修改为WebSocket,提供日志及状态翻转。
Prophecis的核心组件主要是基于开源技术构建,从开源中来到开源中去,目前项目已经开源,欢迎社区的同学一起共建。
如您有兴趣,欢迎访问开源Github: