实时开发平台(Streampark)--Flink SQL功能演示

51 阅读2分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:www.aolingdata.com

✨Github项目:github.com/alldatacent…

✨Gitee项目:gitee.com/alldatacent…

✨AllData官方手册:www.yuque.com/aolingdata/…

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

摘要:

• 使用Flink StandaIone模式运行FIink SQL Demo

• Flink 安装包需要与 StreamPark 服务同在一台服务器

(公众号) 封面.png

实时开发平台基于开源项目StreamPark建设

实时开发平台 StreamPark 提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。同时支持 Flink & Spark,无缝支持流式处理和批处理,连接互通,创造无限可能。

StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用Flink 和 Spark 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

StreamPark 为流处理作业提供全生命周期支持,从开发到部署,集众多功能于一身,是一站式流处理平台。

1、FIink安装

1.1 下载

下载.png

1.2 解压

  • 上传服务器并解压

1.2.解压.png

  • 配置系统环境变量

carbon-1.png

  • 添加以下内容

carbon-2.png

  • 使配置生效

carbon-3.png

1.3 配置

  • 进入conf目录

carbon-4.png

  • 修改flink-conf.yaml 配置文件

carbon-5.png

  • 修改以下内容

carbon-6.png

  • 保存并提出

1.4 启动

  • 进入bin目录

carbon-7.png

  • 执行以下命令启动

carbon-8.png

2、Streampark

2.1 配置Flink版本

  • 安装路径为服务器Flink的绝对路径

f360db13b1d0a1c195a70a9f1557b3b5.png

  • 添加完成

a00c4b75b851e4d762b2b6bf86df6894.png

2.2 配置集群

  • 进入集群管理页面,点击 “添加”

68b1851a6febc84a40f945aa42a8d471.png

  • 配置集群信息,点击 “提交”

414a2456639528f7002748dc0581136f.png

  • 配置完成

b10f83eb64b773f1d9b5241de06af020.png

2.3 配置作业

  • 进入作业管理,点击 “添加”

5c0286da96f8f9edb13d039e71d69c2b.png

  • 配置作业信息

ea35ba93826395a0cb5b074679e5c6fe.jpg

e99be868e9cb2a3f5d90f9b3e1904194.png

  • FIink SQL

8532ec6a369ed6742b97b004a88001ea.png

  • 下滑到最下方,点击提交

a01327f5dd916543a4d9d26da0f37b15.jpg

2.4 发布作业

  • 点击下图所示按钮

08ee5a7cecf7fa2e4f25514c06857001.jpg

  • 发布中

6eca2d0ca592ba4933540eb8946ccc3b.jpg

  • 发布成功

2babcfaeb234a75d0b713e5dfab5f251.png

2.5 启动作业

  • 点击下图所示按钮,启动作业

c2eb4c8eb0870f2ee0f92c9a571cc334.png

  • 点击应用

4282828098d209cecf62fe4ae65051a9.png

  • 启动中

8d5491cf5bb7aa7c966f4e199f70a4ce.png

  • 启动完成

180c3e9d6e7e98e914ebc1bd6d63ff9f.png

  • 等待执行完成,可以访问 flink ui 查看执行情况 http://8g007:8081
  • 8g007 为 flink安装所在服务器域名或ip,8081 为flink默认访问端口

d4b699706a70c3b61ff54bbe66a055f1.jpg

cf44685712b67cf58b7f633afb52e6f1.jpg

2.6 完成作业

2.6.png