小时级部署,客户数上千,神策数据的私有化部署靠什么取胜?

579 阅读10分钟

秉承着“做正确的事情,而不做简单的事情”的理念,神策数据自创立之初,就采用“私有化部署 + SaaS ”的企业服务模式,这无疑是一条更难的路,但通过在这一方向上的持续努力,神策数据目前已经具备了多场景、多部署、多环境下,超过 1000 个不同集群的运维能力。同时,已有 71% 的神策客户选择了私有化部署解决方案,夯实盘活企业数据资产的同时,有效保障数据安全。

作为国内率先提出支持私有化部署的大数据分析与营销科技服务提供商,神策数据凭借先发优势及多年服务经验的积累,在这一领域已构筑了极强的竞争壁垒。

技术优势:标准化“一键”部署,小时内可完成

在进行私有化部署过程中,不同行业和客户可谓是千人千面;企业运营环境也是千差万别,表现在硬件配置、硬件架构、操作系统、网络情况等,为了兼容这些差异,往往一不小心就掉进私有化部署的坑里。

在经历了各种复杂多样的环境部署后,神策已经历练出一套高效可用的私有化部署体系,“一键”部署的标准方案,85% 客户可以在小时内完成部署,有效解决了全场景下的多应用环境的部署、升级、服务治理及监控等功能需求。

小时级部署,神策数据到底是如何做到的?答案是标准化。

1、统一硬件标准和部署流程

首先,神策制定了一套统一硬件标准,通过统一物理环境提升效率。在充分调研和总结过往经验的基础上,分别对云厂商、操作系统、磁盘性能、网络性能等关键硬件环境进行了标准化设计。

其次,为了提高资源利用率,神策对服务进行了分类,并抽象了节点、节点类型、角色组 3 个概念,然后针对每个服务属性进行分类,每个服务都会属于某个角色组,这样就会让同一类角色部署在相同类型的机器上,充分利用机器资源。

此外,神策还形成了一套标准的部署服务流程,部署服务主要包括物理环境标准化层和云操作系统层,每层都向上层屏蔽了自己的管理信息。具体来说,在开始部署前需要进行物理环境标准化的操作,然后初始化神策自研的云操作系统,该操作系统可以为业务线提供稳定的运营环境,方便管理各类可用资源。

2、操作注册制、模块化设计,让部署可以随机应变

同时通过操作注册制和抽象核心概念进行模块化设计的方式,让私有化部署变得更简单高效。比如所有业务模块不存储任何本地的数据,所有数据都要存储到分布式存储中,这样在出现故障时,方便业务模块快速迁移。

考虑到业务飞速发展,部署场景也会各种变化,因此神策在设计部署架构时,格外注重概念抽象与分层解耦,目的是快速适应新的部署需求。在对核心概念进行抽象后,新的部署需求就像搭积木一样,可以随机应变。

3、基于云原生的私有化部署版本即将面世

通过架构上的改进和完备的自动化工具链,神策保证了私有化部署的可靠性,但为了彻底屏蔽环境差异带来的问题,神策又开始攻破云原生和容器化,经过调研和实践,神策基于云原生的私有化部署版本即将面世。

云原生版本对业务线几乎是无感的,容器带来的最大好处就是环境的隔离,这样就天然地避免了私有化部署带来的环境差异。与此同时会带来服务之间的耦合、容器内外访问问题,得益于在设计之初就大力度防止飞线,应用服务化,神策容器化之路水到渠成。

在设计云操作系统时,神策秉承声明式的设计理念,作为平台提供方,神策让业务线只需要关心或者声明想要达到的状态,而不需要关心怎么达到这个状态。同时,为了应对有状态服务下的容器挑战,神策自研了专门的有状态服务管理平台,不仅可以灵活管理和自动化扩容,还可以对接云厂商的各种服务,有效利用云厂商提供的弹性,为客户降低成本方便运维。

大部分客户对于计算资源的使用存在明显的周期性,这导致:在计算高峰时,计算资源不够,影响用户产品体验;而在计算低谷时,计算资源又处于闲置状态,造成资源的极大浪费。为解决客户这一问题,潮汐计算的概念应运而生,所谓潮汐计算,即在计算高峰时,通过弹性资源池补充算力,提升用户的产品体验;而在计算低谷时,回收弹性资源,降低成本。目前神策的弹性计算资源基于 kubernetes 设计,很好地迎合了目前的云原生趋势。

服务优势:高效自主的运维体系,可像 SaaS 一样快速迭代

私有化部署不仅仅是一个技术平台,更是经验交付平台。神策数据从创立第一天开始就为客户提供完整的私有化部署方案,可谓经验丰富,同时据此为数千家付费企业高质量完成了交付与实施,并持续运行稳定、流畅。

在服务了上千客户后,神策数据的私有化部署形成了自己特有的服务优势。

1、私有化部署、SaaS 方式灵活选择

除了私有化部署的模式,神策的一些产品还同时提供了 SaaS 版,尤其是一些偏实时和在线服务型的产品,SaaS 版可以得到神策服务团队更及时、更全面的运维保障。私有化和 SaaS 环境云上云下无缝衔接,客户可以根据自身需求灵活选择。

神策根据业务功能将产品划分为多个 Application,如神策用户行为数仓、神策智能运营等,每个 Application 都提供一系列接口化的服务,这些接口会被其他 Application 使用。

由于神策产品 Application 之间是通过接口交互的,那么只需两个 Application 接口是互通的,便既可以部署在同一个服务器集群,也可以在两个集群分开部署,甚至可以分别部署在私有集群和 SaaS 上。

为此神策实现了跨云的服务发现和通路,业务模块只需要通过服务名就可以查询到服务的可用端口;若服务是由非本集群上的 Application 提供的(如跨公网的 SaaS 访问 ),那么连接会经过服务通路,在服务通路上,神策实现了鉴权、数据加密和审计等一系列功能。

2、完善的运维体系

“用机器代替人力”是神策一直践行的理念,在私有化部署上同样如此。神策一直希望能够在不过分增加运维人力的情况下,可支持 5 倍至 10 倍的多重部署方案、支持客户环境的自动化安装升级及运维。

神策数据的私有化部署整体方案中包括完整的运维系统,深度打磨的自动化运维工具,报警及时,准确定位异常,助力客户在日常工作中高效自主的运维。

比如,在一个版本的产品设计之初,就开始考虑升级时可能遇到的问题:客户能否接受变化、升级会造成什么影响,花费多长时间、能不能回滚等,正是这些提前预测和应对的工作方法让私有化部署可以像 SaaS 一样快速迭代。

此外,神策监控体系会自动巡检,监控范围包括机器层面、内外部模块等;突发运维事件系统可自动唤醒,从而让任何异常得到无缝响应。

另外,为了解决私有化部署的环境迁移问题,神策多次调整迁移方案,从刚开始的用 JDBC 导出数据再导入,到后面把迁移后可用时间缩短到 1~2 天内。未来,神策还会持续对数据迁移方案进行优化,比如镜像迁移、无感知新老环境切换等,力求在小时级内完成整个迁移。

成本优势:省硬件资源,助力客户在安全和成本中达到平衡

无论是用户数据还是业务数据,都是企业立命之本。神策的私有化部署方案配合完全开源的 SDK,确保数据从采集到应用完全透明、安全。

在规避了公网与内网在数据集成安全性和稳定性上的缺陷的前提下,私有化部署方案拥有开放的 API 接口,可以满足灵活的二次开发,为多系统、多维度的交叉分析需求提供有力保障。目前,神策数据许多客户已在此基础上实现了精准推送、文学作品推荐、打通 CRM 等应用。

在数据安全基础上,成本衡量是企业选型“私有化部署”方案的重要阶段。

面对日益增长的海量数据,保证实时查询性能的前提下,神策的私有化部署方案对企业硬件配置标准和数量(CPU 、内存、硬盘、服务器数量)要求低,成本更低。

未来即将面世的神策基于云原生的私有化部署方案,通过自研的有状态服务管理平台,可以对接云厂商的各种服务,有效利用云厂商提供的弹性,给客户降低成本方便运维。神策的弹性计算与弹性存储功能可以在多种业务逻辑下发挥着其强大的技术能力,在节省企业硬件成本的同时,合理配置优化企业计算资源,并为“冷数据”提供相关的分析能力,降低企业的运营成本,更好助力企业业务目标的实现。

值得强调的是,凭借强大的可扩展性和可伸缩性,系统可以在整体应用过程中始终保持旺盛的生命力。这意味着即使是硬件水平仅具备单机服务器的小微企业,若符合要求也可以实现低成本、高性能的私有化部署。

综上所述,在重构中国数据根基上,私有化部署方案是神策数据要走的必经之路,也是成长中企业进行数据化建设面临的必然选择,神策数据用技术实力和服务优势诠释了其坚实的壁垒。