数新智能 CyberEngine 大数据引擎管理平台焕新升级

0 阅读6分钟

随着企业数据量的爆炸式增长和业务复杂度的不断提升,如何高效、稳定、灵活地管理大数据引擎平台,已成为企业数字化转型的关键命题。CyberEngine大数据引擎管理平台,作为一站式大数据平台管理解决方案,持续迭代更新,致力于为企业提供更强大、更智能、更易用的大数据引擎管理能力。

在最新发布的版本中,CyberEngine 再次迎来多项重磅功能升级。我们一起来看看,这个平台究竟有哪些值得期待的“硬核能力”!

云原生大数据场景支持能力持续完善

CyberEngine 平台不仅是一个管理平台,更是企业大数据组件的“全能管家”。平台已深度集成主流大数据组件,并且在云原生大数据引擎方面已经支持了众多的组件,在本次版本发布中更是进一步针对用户在使用云原生大数据场景的痛点问题进行了重大的优化和升级:

基于Spark Operator开发场景功能增强:集成 Web UI 与 History Server,可绑定 HDFS、S3、MinIO 等多种存储架构进行数据开发,并将版本升级至Spark 3.5.5,提供完整的云原生离线开发能力;

基于Flink Operator开发场景功能增强: Flink Operator 功能的全面升级,可绑定HDFS、S3、MinIO等多种存储架构进行数据开发,支持 Web UI、History Server,提供完整的云原生实时数据流开发能力;

StarRocks数据库支持能力提升:StarRocks 是大数据云原生场景下一款性能卓越的 MPP 数据库,提供了强大的分布式查询能力,本次 CyberEngine 的更新也对StarRocks 的一些列的能力进行了支持,提供了存算分离及存算一体架构场景能力的支持,并提供对 FE/CN/BE等模块 配置文件编辑,方便用户进行扩容管理,另外还提供了日志查看、监控等相关辅助运维的功能,StarRocks 版本升级至 3.3.14;

Hive Metastore部署能力: 支持单独对Hive Metastore的部署,简化部署操作,提供元数据库管理能力,提供完整的云原生架构数据开发引擎架构。

Spark Thrift Server组件支持: 支持单独部署,满足多样化的Spark任务的开发需求;

云原生大数据开发流转案例:

图片

多云架构能力提升极致的成本管理效率

CyberEngine 已全面拥抱多云架构,对AWS、GCP、Azure、华为云等公有云平台都有跨云部署及管理支持的能力,本次又基于公有云环境的特性进一步提升多云架构能力,给企业用户带来极致的降本增效体验:

基于AWS平台的弹性伸缩能力:支持绑定和管理EKS集群,对EKS集群的弹性伸缩能力支持,根据业务的资源使用需求快速的完成Node的弹性扩缩容,极大的优化企业用户对于资源的利用效率。

K8s集群队列管理能力:对于K8s集群提供基于队列的管理能力,根据任务的优先级划分不同等级队列,更好的保证资源的利用效率;

支持K8s的多种调度算法配置:除了K8s默认的资源分配调度算法,本次又支持了“MostAllocated”调度模式,结合弹性扩缩容场景进行更加合理的资源分配效果。

K8s集群队列管理配置:

图片

K8s集群弹性伸缩配置:

图片

CyberEngine和CyberData平台一体化能力增强

为了CyberData平台提供功能强大的数据开发分析功能,CyberEngine平台提供简单便捷的数据引擎管理体验,两者结合可以为用户提供一站式、多云、完整的数据开发、治理能力,在之前的使用过程中,用户往往需要在CyberData平台对CyberEngine提供的Spark、Hadoop等引擎能力进行繁琐的配置才能够使用,本次通过将二者的进行深度的集成,用户可以分钟级内完成数据开发平台与大数据引擎集群的打通:

云原生架构引擎融合:用户可通过CyberData页面选择“CE_on_Kubernetes”类型来快速绑定CyberEngine提供的云原生集群,平台提供对Kubeconfig、Core-Site配置的自动快速填充,用户可享有即开即用的极致数据开发体验。

完整的场景化支持:除了支持Spark和Flink的引擎能力,CyberEngine平台还提供Hive Metastore等源数据库能力,用户可以一站式的快速拉起服务集群,极大的简化开发前得集群配置工作。

CyberData集成“CE_on_Kubernetes”集群:

图片

优化使用体验,提升信创能力

在平台易用性上,对平台的日志管理、资源管理等模块进行了“重组”,更加贴合运维人员使用习惯,提供便捷清爽的使用体验,另外,CyberEngine平台从诞生之日起就为国内的信创用户提供了良好的支持能力,除了支持国产的ARM架构CPU机型外,对国产的操作系统和中间件也都进行了充分的适配,此次的发布信创能力又进一步得到了提升;

服务集群管理拆分: 针对云原生和传统Hadoop集群所使用的底层资源模型进行了服务集群的分类,支持“主机模式”与“Kubernetes 模式”双模式创建,适配不同场景,让企业更加聚焦自己的开发场景,无需提供多样的底层资源配置;

人大金仓数据库适配: CyberEngine平台本身和所管理的Hive Metastore组件均对人大金仓数据库进行了完整的适配,结合对ARM架构的支持可提供完整的信创环境支持要求。

多租户切换能力: 在多组织、多团队协同的复杂业务场景中,CyberEngine提供租户在平台内自由切换租户,大大提升了平台的灵活性与适用性。

中英文无缝切换: 提供中英文的切换能力,更好的支持国际化用户的使用需求。

License 管理: 新增 License 临近过期提醒功能,保障平台持续稳定运行。

CyberEngine 大数据引擎管理平台,正以更强大的功能性能力、更灵活的部署架构、更丰富的组件支持,不断推动企业实现数据管理的智能化、平台化与云原生化。

无论您是传统企业、互联网公司,还是政府机构,我们都能为您提供一站式、多云、可扩展的大数据开发解决方案,助您轻松驾驭数据洪流,释放业务潜能。