DeepBI+StarRocks绝对是给AI加了一双“翅膀”

2,368 阅读6分钟

为什么说DeepBI + Starrocks 让AI自动化数据分析加上翅膀?

(有些朋友可能不清楚什么是DeepBI,什么又是StarRocks,我们来了解一下)

什么是DeepBI?

DeepBI是一款开源的基于AI的BI软件,它利用大模型对数据进行查询,梳理,数据展示。通过简单语句沟通实现数据分析以及预测。它有4大模块

1 对话式数据分析:用户可以通过对话,得到任意的数据结果和分析结果。

2 对话式报表生成:通过对话生成持久化的报表和可视化图形。

3 仪表板大屏:将持久化的可视化图组装为仪表板。

4 自动化数据分析报告:根据用户指令自动完成完整的数据分析报告。

什么是StarRocks?

StarRocks 是一款极速统一的Lakehouse产品,具备水平在线扩缩容,金融级高可用,兼容 MySQL 5.7 协议和 MySQL 生态,提供全面向量化引擎与多种数据源联邦查询等重要特性。特点如下

  1. 向量化引擎
  2. 分布式数据join
  3. 高并发查询
  4. 实时数据更新
  5. 灵活的建模方式
  6. 湖仓能力

DeepBI+StarRocks带来的改变

随着科技的发展,人类的进步,AI,GPT的火热程度在当今社会越来越高,已经深入到人们的生活各个方面,AI GPT的应用已经在社交媒体、在线搜索、智能助手、自动化写作等领域取得了显著的成就。 但在BI应用方向上还有些短板,这里面其中一个就是对数据库进行数据分析,在大量数据操作中,数据库的速度有待提高。本文主要介绍了 DeepBI 一个充分利用大语言模型的能力来探索、查询、可视化的自动化数据分析展示工具+ Starrocks一款高并发多维度大数据量的数据仓库。从而实现了高效自动化数据分析。

实践才是硬道理

DeepBI目前已经对Starrocks数据库支持。我们用一个电商数据为例,该电商订单数量在1.5亿条,订单商品详情条目在6亿条左右。每个订单商品有不同的子条目。供应商数量在1000个。

我们实际操纵一下 DeepBI 连接 starrocks 相关的操作。安装完毕DeepBI后,设置账号密码,登录。点击左下角设置,新建一个数据源,选择Starrocks,如下图: 然后,输入数据库账号密码,保存后测试连接,然后,测试连接,会有一个显示成的提示。如果账号密码错误页会有相应的提示。

开始使用starrocks ,如下图:

辅助数据分析(对话式数据分析),先选择数据源

然后根据自身需求选择对应的数据表,提交后就验证后就可以提问问题了。提出一个简单问题,比如我们有多少用户,AI直接通过数据库一次查询

提问一个复杂的问题:按照供应商发货时长,列出前十名。先要统计每个订单的时间,订单详情发货时间,然后统计每个供应商供应数量,再排序,可以看到直接通过AI自己通过对Starrack的访问统计出来并返回结果。

报表(对话式报表生成),问题:按照订单量区分国家,按照比例从高到低,前10名生成一个 饼状 图。 报表示例如下:

其他,仪表盘(仪表板大屏),自动数据分析(自动化数据分析报告)使用Starrocks 数据源基本操作与上面一致。

当DeepBI 增加了对Starrocks 支持后,大大减少数据处理时间。这样在实际操作中AI的回答变的更加迅速。我们在mysql中同步了1.5亿条订单记录。

问题1. 我们订单数量是多少

问题2. 列出客户量占全部用户的比例从高到低前10个国家,用折线图表示

问题3. 按照订单,统计订单额从高到低的前10名用户,列出名称和总订单额

在AI操作数据库并自动给出结论总时长耗时对比:

问题1 在mysql 情况下耗时 46秒 startrocks 耗时 22秒

问题2 在mysql 情况下耗时 73秒 starrocks 耗时32秒

问题3 在mysql 情况下耗时 108秒 starrocks 耗时 35秒

通过对耗时的对比,可以看出在DeepBI使用Starrocks 后,对大数据量的时间处理有大幅度缩短,大大加快了AI回答问题的效率,只有问题越复杂时间上的缩短越明显,这就好比3g信号和5g信号对比,发一条“好的”消息可能时间相差不大,但是我们要是视频通话或者刷视频,那反应时间就显而易见了。(想要体验的用户去下方“重点”中查看地址)

DeepBI回答问题结果图:

问题1. 问题2.

问题3.

引入了StarRocks,DeepBI在处理问题时加快了速度,一款高并发多维度大数据量的数据仓库。相较于传统的数据库(如MySQL),StarRocks在性能上有显著提升,支持向量化引擎、分布式数据join、高并发查询等特性。通过DeepBI对StarRocks的支持,进一步提升了数据分析的效率。

总结

通过实际操作示例,展示了DeepBI对StarRocks的连接和查询操作。在一个包含1.5亿条订单记录的电商数据集中,通过提问简单和复杂的问题,演示了DeepBI结合StarRocks进行自动化数据分析的能力。通过比较在MySQL和StarRocks上的操作耗时,验证了StarRocks在大数据量场景下的优越性能,同时为DeepBI大数据分析在耗时上大幅减少。

总体而言,结合DeepBI和StarRocks,使得AI在数据分析领域的应用更加高效和便捷。这两者都是开源软件,为用户提供了灵活且强大的数据分析工具。

重点

DeepBI 是基于GPT4的Muti-Agent数据分析软件,现已在GitHub上开源,大家可以随时去下载体验

GitHub开源地址:github.com/DeepInsight…

重要的事说三遍:现在免费送20w Token!免费送20w Token!!免费送20w Token!!!