【重磅发布】AllData数据中台核心功能:机器学习算法平台

120 阅读4分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:www.aolingdata.com

✨AllData开源项目:github.com/alldatacent…

✨AllData官方文档:alldata-document.readthedocs.io

✨AllData社区文档:docs.qq.com/doc/DVHlkSE…

封面.jpg

「 AllData数据中台 - 主页 」

官网主页.jpg

用户需要通过浏览器访问AllData数据中台的Web界面

「 机器学习算法平台 - 功能亮点 」

Cube-Studio是一个强大的机器学习算法平台,集成了数据处理、模型训练、自动调参、模型部署等功能。机器学习算法平台提供丰富的算法库和可视化工具,支持分布式计算,助力用户高效完成机器学习项目,加速AI应用的开发与落地。

「 机器学习算法平台 - 功能描述 」
  1. 机器学习算法平台基于开源项目Cube-Studio建设。
  2. Cube-Studio是开源云原生一站式机器学习/深度学习AI平台,包含可视化机器学习模型开发、项目空间管理、数据资产管理、在线开发管理、模型训练中心、服务化管理。
  3. Cube-Studio支持大数据平台对接,notebook在线开发,拖拉拽任务流pipeline编排,超参搜索,支持模型一键开发、推理、微调。
  4. 开源项目地址:github.com/tencentmusi…
「 机器学习算法平台 - 模块功能汇总 」

微信图片_20250407152227.png

「 机器学习算法平台 - 功能点展示 」

01.环境准备

硬件要求: 服务器:建议 16 核 CPU、32GB 内存以上,磁盘空间不低于 500GB。 GPU 支持:若需 GPU 加速,需配置 NVIDIA GPU,并安装对应驱动和 CUDA 工具包。

02.软件依赖

操作系统:Ubuntu 20.04+ 或 CentOS 7+。 Docker:版本 >= 19.03。 Kubernetes:版本 1.18+,推荐使用 kubeadm 或 RKE 部署。 存储:支持 Ceph、NFS 或本地存储。

03存储与网络

存储:单机环境可挂载本地磁盘,集群环境建议使用 Ceph 或 NFS,并配置 StorageClass。 网络:确保 Kubernetes 集群网络与外部网络互通,配置 Ingress Controller(如 Nginx)以支持外部访问。

机器学习中心

1、机器学习中心.jpg

新建流水线

2、新建流水线.jpg

决策树训练部署

3、决策树训练部署.jpg

项目空间-项目分组

4、项目空间-项目分组.jpg

添加项目分组

5、添加 项目分组.jpg

添加分组详情

6、项目分组 详情.jpg

修改项目分组

7、修改 项目分组.jpg

项目空间-模版分类

8、项目空间-模版分类.jpg

添加模版分组

9、添加模版分组.jpg

模版分组详情

10、模版分组详情.jpg

修改模版分组

11、修改 模版分组.jpg

项目空间-安全设置

12、项目空间-安全设置.jpg

添加用户

13、添加用户.jpg

用户详情

14、用户详情.jpg

修改用户

15、修改用户.jpg

项目空间-日志列表

16、项目空间-日志列表.jpg

数据资产-数据探索-sqllab

17、数据资产-数据探索-sqllab.jpg

任务详情

18、任务详情.jpg

数据资产-元数据-库表

19、数据资产-元数据-库表.jpg

添加库表

20、添加库表.jpg

库表详情

21、库表详情.jpg

修改库表

22、修改库表.jpg

数据资产-元数据-指标

23、数据资产-元数据-指标.jpg

添加指标

24、添加指标.jpg

指标详情

25、指标详情.jpg

修改指标

26、修改指标.jpg

数据资产-元数据-维表

27、数据资产-元数据-维表.jpg

添加维表

28、添加维表.jpg

数据资产-媒体数据-数据集

29、数据资产-媒体数据-数据集.jpg

添加数据集

30、添加数据集.jpg

数据集详情

31、数据集详情.jpg

修改数据集

32、修改数据集.jpg

导出数据

33、导出数据.jpg

在线开发-镜像仓库

34、在线开发-镜像仓库.jpg

添加仓库

35、添加仓库.jpg

仓库详情

36、仓库详情.jpg

修改仓库

37、修改仓库.jpg

在线开发-镜像构建

38、在线开发-镜像构建.jpg

在线开发-镜像管理

39、在线开发-镜像管理.jpg

添加镜像

40、添加镜像.jpg

镜像详情

41、镜像详情.jpg

修改镜像

42、修改镜像.jpg

在线开发-代码开发-notebook

43、在线开发-代码开发-notebook.jpg

添加notebook

44、添加notebook.jpg

在线开发-数据开发-任务ETL

45、在线开发-数据开发-任务ETL.jpg

添加任务流

46、添加任务流.jpg

任务流详情

47、任务流详情.jpg

修改任务流

48、修改任务流.jpg

在线开发-数据开发-任务管理

49、在线开发-数据开发-任务管理.jpg

模型训练-任务模版

50、模型训练-任务模版.jpg

添加任务模板

51、添加任务模版.jpg

任务模版详情

52、任务模版详情.jpg

修改任务模版

53、修改任务模版.jpg

模型训练-任务流

54、模型训练-任务流.jpg

添加任务流

55、添加任务流.jpg

任务流详情

56、任务流详情.jpg

修改任务流

57、修改任务流.jpg

模型训练-任务流-定时调度

58、模型训练-任务流-定时调度.jpg

模型训练-任务流-运行实例

59、模型训练-任务流-运行实例.jpg

模型训练-Automl-超参搜索

60、模型训练-Automl-超参搜索.jpg

添加nni超参搜索

61、添加nni超参搜索.jpg

nni超参搜索详情

62、nni超参搜索详情.jpg

修改nni超参搜索

63、修改nni超参搜索.jpg

服务化-整体资源

64、服务化-整体资源.jpg

服务化-内部服务

65、服务化-内部服务.jpg

添加云原生服务

66、添加云原生服务.jpg

云原生服务详情

67、云原生服务详情.jpg

修改元原生服务

68、修改元原生服务.jpg

服务化-模型服务-模型管理

69、服务化-模型服务-模型管理.jpg

添加模型

70、添加模型.jpg

模型详情

71、模型详情.jpg

修改模型

72、修改模型.jpg

服务化-模型服务-推理服务

73、服务化-模型服务-推理服务.jpg

添加推理服务

74、添加推理服务.jpg

推理服务详情

75、推理服务详情.jpg

修改推理服务

75、修改推理服务.jpg

「 机器学习算法平台 - 注意事项 」

01. 镜像管理

使用私有镜像仓库(如 Harbor)存储 Cube-Studio 及相关依赖镜像,避免镜像拉取失败。

02. 多租户隔离

配置 Kubernetes Namespaces 和 Resource Quotas,实现租户间资源隔离。

03.版本兼容性

确保 Cube-Studio 版本与 Kubernetes、Docker 版本兼容,避免 API 不兼容问题。

04文档与支持

参考官方文档(GitHub)和社区资源,及时获取更新和补丁。以确保 Cube-Studio 平台高效、稳定运行,满足企业级机器学习任务需求。

二维码.png