AllData数据中台核心菜单四:实时开发

183 阅读2分钟

🔥🔥 AllData可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为工厂,以大模型应用为上游产品,提供全链路数字化解决方案。

✨开源项目:github.com/alldatacent…

✨官方文档:alldata-document.readthedocs.io

✨社区文档:docs.qq.com/doc/DVHlkSE…

4.jpg

「 AllData数据中台 - 主页 」

0首页.jpg

「 实时开发 - 功能描述 」

1、AllData实时开发功能基于开源项目StreamPark建设。

2、StreamPark提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。同时支持 Flink & Spark,无缝支持流式处理和批处理,连接互通,创造无限可能。

3、StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用Flink 和Spark 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

4、StreamPark 为流处理作业提供全生命周期支持,从开发到部署,集众多功能于一身,是一站式流处理平台。

「 实时开发 - 模块功能汇总 」

0_实时开发目录表单.jpg

「 实时开发 - 功能点展示 」

「 开发管理 」 项目管理 1_开发管理_项目管理.jpg

「 开发管理 」 作业管理 2.1_开发管理_作业管理.jpg

2.2_开发管理_作业管理.jpg

CREATE TABLE doris_table (
    cid INT,
    sid INT,
    name STRING,
    cls STRING,
    score INT,
    PRIMARY KEY (cid) NOT ENFORCED
) WITH (
'connector' = 'doris',
'fenodes' = '127.0.0.1:8030' ,
'table.identifier' = 'test.scoreinfo',
'username' = 'root',
'password'=''
);




CREATE TABLE JDBC_table (
  id BIGINT,
  name STRING,
  age INT,
  status BOOLEAN,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://localhost:3306/mydatabase',
   'table-name' = 'users',
   'username' = 'root',
   'password' = '123456'
);
--可选: 'sink.parallelism'='1',
--可选: 'lookup.cache.ttl'='1000s',

「 开发管理 」 变量管理 3_开发管理_变量管理.jpg

「 设置中心 」 系统管理 4_设置中心_系统管理.jpg

「 设置中心 」 告警设置 5_设置中心_告警设置.jpg

「 设置中心 」 Flink版本 6_设置中心_Flink版本.jpg

「 设置中心 」 Flink集群 7_设置中心_Flink集群.jpg

「 设置中心 」 扩展链接 8_设置中心_扩展链接.jpg

「 设置中心 」 Yarn队列 9_设置中心_Yarn队列.jpg

「 系统设置 」 用户管理 10_系统设置_用户管理.jpg

「 系统设置 」 Token管理 11_系统设置_Token管理.jpg

「 系统设置 」 成员管理 12_系统设置_成员管理.jpg

「 系统设置 」 团队管理 13_系统设置_团队管理.jpg

「 系统设置 」 角色管理 14_系统设置_角色管理.jpg

微信图片_20241011152731.jpg