从报表到可视化,基于开源Superset实现数据管理升级的实践

51 阅读8分钟

本文来源:《华为云DTSE》第六期HDC 2024专刊,作者:华为云开发者技术服务团队。

华为开发者大会(HDC 2024)“DTSE提供全旅程专业技术服务,助力开发者体验效率提升和创新”专题论坛上,华为云DTSE开发者技术服务专家表示DTSE能够为开发者提供代码级技术支持服务,倾听开发者声音,开发者进行方案改造及适配、架构优化、安全运维等,释放开发者创造力,打造千行百业应用。

泰国OFM公司电子商务与技术部 信息技术SVP Kitti Suksangajaroen在HDC 2024上分享了华为云DTSE助力泰国OfficeMate(简称OFM)实现开源Superset在华为云上的落地实践。DTSE与OFM在开源选型、方案设计、适配、调优和运营方面密切合作,提供了全旅程开发者技术支持,助力OFM实现O2O技术方案快速落地,通过云上方案设计保障业务安全可靠。目前,已为700+“数据匮乏”的用户提供了3年的数据和各种服务,未来将与华为云持续扩大合作。

当下,数字化、信息化以及智能化已经成为现代企业的主要发展趋势。随着数字化程度的提升,数据也随之成为了第五大生产要素,用于帮助企业生产、决策、创新等等。

提及数据的管理,许多人可能首先想到经常使用的Excel表格。然而,随着数据量增长,Excel的局限性愈发明显,其处理能力有限,权限管理薄弱,大数据量下查询及计算速度锐减。更关键的是,现代企业需要整合多系统数据,实现共享分析,而这正是Excel所难以胜任的。泰国OFM正面临这样的难题,急需寻找更高效的数据处理与分析方案。

无法分享与协助,传统文档模式已落后

OFM隶属于泰国最大零售企业集团之一的中央集团,是泰国领先的办公用品零售商,其业务范围涵盖了办公家具、各类文具、技术产品及印刷等多元化产品和服务。公司在泰国已开设超过50家实体店铺,并经营一家在线商店,为客户提供便捷的线上线下一体化购物体验。

OFM公司在其经营过程中,长期依赖于传统的Excel线下文件报表模式。然而,随着业务的快速发展和数据量的激增,这种模式逐渐暴露出诸多不足,已无法满足公司的需求。

  1. 实时性不足:Excel的数据来源相对有限,且需手动输入,这导致数据既不够全面也缺乏实时性,影响了公司的决策效率;

  2. 分析能力不足:Excel的数据分析能力相对简单,仅能满足基本的汇总和统计需求,对于复杂的数据分析和挖掘则显得力不从心,限制了公司对数据的深入挖掘和价值发现;

  3. 生成速度慢:报表生成过程繁琐,需要手动输入数据和设置公式,效率低下,导致公司的运营成本增加;

  4. 可视化效果不佳:Excel的可视化效果不尽如人意,无法满足现代化、高效化的需求;

  5. 安全性低:Excel的数据安全性也令人担忧,易被非法获取和篡改;

  6. 共享和协作困难:手动复制粘贴数据不仅效率低下,还容易出错,严重影响了团队间的协作效率。

  7. 为了更好了解市场,OFM公司急需寻找一种更为高效、安全、全面的数据管理方式,以应对业务发展的挑战。

华为云+开源解决方案,支持OFM业务效率飙升

在OFM公司预算有限情况下,如何能够快速上线自己的商业化智能平台。围绕企业遇到的困难,我们对OFM公司当前的信息化需求进行分析,结合OFM公司业务实际情况,与他们多次交流讨论,最终确定华为云容器平台CCE+开源Apache Superset组合解决方案。

华为云CCE可提供高度可扩展的、高性能的企业级Kubernetes集群,充分利用云上弹性能力、丰富存储类型,支持实现SaaS业务降成本、动态扩容、高可靠性等需求。Apache Superset 是一款开源大数据工具,用于数据探索分析和数据可视化。它提供了一个功能丰富的用户界面,使用户能够轻松地连接到各种数据源(如关系型数据库、NoSQL数据库、数据仓库等),进行数据查询、切片和切块,并生成多种类型的可视化图表和仪表板。

技术架构图

我们通过华为云CCE部署可弹性伸缩的Superset平台,以应对高峰期带来的并发流量。方案从6个方面保证了Superset的安全、高可用和可适配的能力:

  1. 华为云CCE可提供高度可扩展的、高性能的企业级Kubernetes集群,充分利用云上弹性能力、丰富存储类型,支持实现SaaS业务降成本、动态扩容、高可靠性等需求。通过CCE部署Superset,设置高效的弹性伸缩策略,打造弹性的高可用的BI平台;

  2. 在流量管理方面,流量首先会通过华为云WAF检测,拒绝恶意请求,以保证服务安全。接着,访问流量通过华为云ELB根据分配策略分发到后端服务,实现流量的负载均衡,从而保证了服务的稳定性;

  3. 在身份验证方面,DTSE实现了Superset平台与客户自部署的开源身份验证系统-KeyCloak的对接,从而实现单点登录,身份验证,权限管理等能力,提高了BI平台的安全性;

  4. 通过华为云VPN,搭建了客户本地网络与华为云的安全、可靠、高性价比的加密连接通道。从而让云上BI平台可安全地对接客户本地数据源,保证数据安全的同时,提高了平台的适配能力;

  5. Superset的镜像源现阶段还是保存于Docker平台中。CCE底层的架构是Kubernetes,在1.27版本后已经完全舍弃Docker使用Containerd替代。所以在拉取镜像源时,会出现拉取超时的问题。DTSE通过把镜像拉取到华为云SWR,以避免镜像拉取超时的问题;

  6. Superset在对接不同的数据源时,需要不同的连接引擎。为了保证下载的完成,需要保证容器可访问公共网络。DTSE通过配置华为云NAT网关SNAT规则,保证容器可访问到公共网络。确保Superset可以成功适配不同数据源。

从启程到远航,华为云DTSE提供全方位服务

借助华为云平台能力,结合开源Superset搭建的智能商业化平台,不仅帮助OFM公司实现 线上数据可视化平台对传统文件报表模式的替换,提升公司业务效率,也帮助企业做了很好的成本控制。

为了更好的帮助企业快速使用平台,我们与OFM公司IT团队与平台用户进行交流研讨,提供培训支持,帮助企业快速使用平台能力,满足业务诉求。

  1. 在IT领域,我们为OFM的IT人员提供了关于云服务以及Apache Superset运维的专业指导,详细解析了Apache Superset在使用过程中可能遇到的常见问题,并提供了针对性的FAQ问答,以确保IT团队能够高效、稳定地运用这些产品。

  2. 在平台用户层面,DTSE围绕Apache Superset的核心功能,如常见组件、权限管控、警告功能等,开展了一系列全面而系统的培训并输出相关文档。通过培训,OFM相关运维人员不仅能够更好地理解和使用Apache Superset的各项功能,还能够在实际工作中充分发挥其优势,提升工作效率和体验。

最终,经过我们的技术改造,OFM线上数据可视化平台突破百万限制。线上平台高效地处理数据,使得每次系统访问数据库都能得到最新的数据信息。在业务应用层面,平台输出的报表更加的直观和好看,能够让人能清晰的理解和查看相关数据信息。

最后

开发者不仅是产业数字化、智能化创新的根本动力,也是华为云生态建设的重要支柱。一直以来,华为云始终践行赋能开发者云上创新原则,通过技术赋能企业开发者,提升企业研发人员的专业能力。华为云DTSE通过专家服务和技术指导,积极为开发者的成长提供强大支持,助力开发者业务实现快速、高效的发展,为企业提供坚实的技术保障,确保企业技术航行的平稳与顺畅。

参考资料:

如需华为云DTSE开发者支持服务,请进入在线提单:support.developer.huaweicloud.com/feedback/