AllData数据中台集成开源项目Apache Doris建设实时数仓平台

杭州奥零数据科技
3 阅读4分钟

企业痛点： Doris实时数据仓库的管理软件很少，我们通过集成开源项目Apache Doris，实现查看与管理Doris数据库的实时数仓平台。

💎 Apache Doris实时数仓：github.com/apache/dori…

💎 Apache Doris官方文档：doris.apache.org

8f0439b53b778f4167f8246a22312afc.jpg

Apache Doris是什么？

Apache Doris 是一个基于 MPP 架构的易用、高性能、实时的分析型数据库，以其极速和易用性而闻名。它仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。

所有这些特性使得 Apache Doris 成为报表分析、即席查询、统一数仓构建、数据湖查询加速等场景的理想工具。在 Apache Doris 上，用户可以构建各种应用，如用户行为分析、AB 测试平台、日志检索分析、用户画像分析、订单分析等。

dd0d17bdd0831561bfa3b964694a13bd.png

43356ec991b020552993476ea7fbbef7.png

37f26db30f67aa3ef24f62d0013b4585.png

功能菜单一：通过AllData数据平台的能力，创建大数据集群

（1）打开数据平台

打开数据平台（datasophon），集群创建

2d0568d88dd68516169cfa241c0cb76d.png

（2）创建集群

点击创建集群按钮，输入集群信息

da15baad45e5f3d3e6c2211b4e16917d.png

（3）创建完成

成功创建大数据集群

cef2d7cf69ecb1a20150d8b4bdfdc9fc.png

功能菜单二：通过配置大数据集群安装Doris

提供大数据组件譬如Doris启动，停止，安装，卸载，扩容，缩容的能力

（1）安装主机

点击配置按钮，配置刚刚创建好的集群，安装主机

41acfaf2c5a4f8edecebfc78d14b0273.png

（2）主机环境校验

成功安装主机，并完成主机Agent分发

8e4fa4d4f2017a898ca9323fd7e2a1cb.png

（3）主机Agent分发

平台开始分发worker服务到目标主机后续worker服务将负责接收平台发出的指令，来安装其他服务

b1882e327c32acc987e7fec1705ad31d.png

（4）等待分发

可以查看服务器具体分发进度，该步骤会受网络速度影响

149dac0f4ca0958842cc0b6b476b104e.png

（5）分发成功

继续安装Doris服务

c08639787085bef5726ad6be202e9006.png

（6）分发成功

可以看到服务器worker服务也启动了

24713ff4b71f5d03c09182920db2f84d.png

功能菜单三：AllData数据中台管理大数据组件

一站式安装大数据组件Doris集群

（1）选择服务

选中Doris，安装实时数仓集群，安装基础服务

6263d44f81e6cc144bf76fd6988dc6ee.png

（2）分配服务master角色

页面一站式配置Doris集群参数，配置成功！（默认即可，也可以修改主机）

ff097776284d85a959b17b386ad95246.png

（3）分配服务Worker与Client角色

至此，成功安装大数据仓库Doris

22577a9776e09ed8e04be0e9f3eef365.png

功能菜单四：Doris集群安装-服务配置

（1）服务配置

成功安装大数据集群，安装大数据组件Doris集群（参考如下配置）

b043d877d7e577414e493013269fa201.png

（2）安装并启动服务

等待安装，该步骤同样受网络速度影响

9187124b7903eb85e5b4ac5f033e8ec5.png

（3）安装完成

d15e38abbe5568a87a8d092c5d9edd97.png

（4）管理集群

46432383cc46b48c139fc4c529a735fc.png

d7e8225460c2a466451c276150b1f238.png

adac11ca5ab8046b96b6f5d89cb0dcb7.png

29c0db168832dd57732d2ae92513748a.png

dfae9cd0505ebecae5bd3487bac846a8.png

（5）成功创建Doris数据仓库平台，包含FE/BE节点

0008b88b57bbe104510fe2b6b9b721ac.png

（6）通过AllData数据源平台，管理与连接新的大数据Doris集群

9bbe9b81a12a91856272fe42792f96a0.png

（7）通过AllData数据资产平台，增加Doris数据库，统一收集数仓统计数据

150e2c07217b8c624403ee6a599d6d53.png

（8）通过AllData数据资产平台，查看实时数仓平台Doris数据资产统计

42d433be6bcd78d3dbcdf8542f66866a.png

（9）通过AllData数据库同步中台，同步Mysql数据到Doris（自动创建表和插入数据）

5c3561a4762ec4bccfaed676b82a3658.png

c4421a5b0832ba80061a2cdf16d4ecc5.png

7147958a87eb2cf40d2a6aa6c0ec8832.png

（10）命令行测试导入数据库

可以在数据源平台执行以下大数据SQL

7776213967e942134d55a6bbd6a4e22d.png

5dca205543b3f1f323843f27270f41e9.png

eef876d8c04169dfc7d0d905b2a2c522.png

ccc03c2af27f920d7f66beb4131b7886.png

（11）建设成功

实时数仓平台-同步数据结果成功

c157a196744a92bbfcc41da982deeb03.png

功能菜单五：实时数仓平台能力展示

涵盖实时数仓分析，数仓系统，数仓日志，数仓监控，数仓会话，数仓配置等能力

（1）实时数仓分析

1.1 数仓分析

26d20bbf4a5e3106ce281dfe1d1c9abe.png

81bb939c9dec29822fcb2ac8bf4586f3.png

55fe314bf1248f7af857a95737180592.png

65d43fb75a37953ad058b3831b7900c4.png

1.2 支持直接通过文件导入数据到Doris表

f0736dc9f1fc0de1fd34b8c83f32c4ec.png

（2）数仓系统

2.1 直接查询目前大数据仓库Doris集群-BE数据节点，存活状态为True

1ad1cd43d42bf31dbf2db8a664360986.png

d1f66bdb1cd1de28879ee90c257a9829.png

（3）数仓监控

c35b33aa5b0b52ab2f89b8d2e93a83bb.png

（4）数仓会话

9a867684481de783ca27005db7d1c9ae.png

（5）数仓配置

ad4f3f7767dd7e8a4f3b65c1bbc47eaf.png

（6）服务器信息

2e609a964f62a79f6228a934e9c51ff8.png

（7）实时数仓平台-创建数据表成功

2308b6d371d12e6ba8836f347a7cebfc.png

AllData 大数据产品 × Apache Doris 开源项目

我们产品通过集成 Apache Doris 开源项目，并使用 Apache Doris 存储实时与离线数据，提供产品功能让用户可以管理大数据实时数仓。

杭州奥零数据科技官网：www.aolingdata.com

avatar
文章
阅读
粉丝