物联市场 线上对谈第二期:广州飞锡科技 技术总监 杨明辉
计算与存储在云服务中是一枚硬币的两面,相生相伴,相辅相成。在现实的物联网场景,用户需要软件服务商提供包含计算、存储、网络等多个核心能力的综合技术解决方案,使得云服务供应商需要找到协同创新的方式,共同构建起云服务生态。
利用软件使传统行业得到效率提升,是Shifu和他的合作伙伴共同的愿景。飞锡科技在云存储行业积累了高可用性的解决方案,通过“软件定义存储”让云机柜产品更好地适应市场,极大地发挥了存储服务器的资源利用能力。
“物联市场 线上对谈”是由边无际发起的立足物联网行业的访谈栏目,第二期邀请到广州飞锡科技技术总监杨明辉,与边无际COO郑凯文、边无际SRE秦小禹共同探讨如何将云计算和云存储带入物联网行业。
郭琦:请杨总简单介绍一下飞锡
杨明辉:飞锡的创始人是美籍华人,曾经在很多知名的存储企业工作过,在存储行业经验丰富。我们公司的创始团队主要来自美国硅谷,公司总部设立在广州。我们的目标是把硅谷的一些先进技术在中国大陆落地。我们是从自研的存储服务器以及自主可控的一些存储方面的交换技术起步的。第一款产品就是大家所了解到的云机柜产品,基于这个产品,我们展开后续的一些产品的研发推广工作。
郭琦:请问云机柜的作用是什么呢?
杨明辉:关于云机柜的作用,飞锡的目标是提供一个一站式的容器云平台解决方案。在云机柜中会包含计算服务器、存储服务器、网络设备以及容器云整个系统所需要的软件,以及我们自研的一个软件定义存储的软件系统。
在我们的云机柜系统中,计算服务器和存储服务器是采用分职架构的,分职架构是一个独创的方式。相对于传统的一些超融合方案,它的每一个节点都是有存储和计算资源的,相当于是存储服务器和计算服务器分别倾向于不同方面做优化。
计算服务器重点是在计算做优化,在性能方面会比较好,满足一些计算方面的需求。存储这部分主要是向存储方面做优化,因为存储对CPU的性能要求并不是特别高,就会从成本以及节能这方面做一些优化。通过云机柜并结合我们的专业的服务,我们可以保证容器云系统的快速上线。
我们的云系统已经是比较成熟的系统,所以可以实现到用户现场进行快速地部署和上线。云平台机柜在交付时就具备很好的高可用性。
郭琦:超融合云机柜系统的技术的优点在哪里呢?
杨明辉:相对于传统的超融合架构,我们的优点包括更加灵活的存储和计算的配比和更优的能耗比,在整体交付方面我们可以节省在现场交付的时间和提升我们交付产品的可靠性,即避免出现在现场去做调试和优化会产生的不确定性问题。
**郑凯文:传统本地的硬盘跟现在的大型的服务器有什么区别呢?它对服务对象的功能有什么不同? **
杨明辉:云机柜是一套软件定义存储的整体方案,不像传统的磁盘阵列仅依靠控制器,FC 网络等存储专用设备提供服务它是通过连接在我们的存储服务器节点上的一些硬盘,依靠运行在服务器内的定义存储的软件来实现存储的一些特性,比如说高可用性。我们的数据是可以同时存放在多个节点的,防止因为硬件的故障而导致业务的中断。当然基于软件定义存储,我们也可以开发出来更多特性,比如说容器存储对象可以很好地和我们的这个软件存储结合。此外,容器在需要一些存储空间的时候可以通过CSI实现快速部署和快速生成PV。
郭琦:边无际和飞锡的产品虽然面向的行业不同,但有很多相似的特性。不妨让小禹来介绍一下我们基于Kubernetes做了些什么。
秦小禹:Kubernetes其实是当今云计算领域的一个市场标准,如果我们去做一些大型的分布式的应用,包括我们现在正在用的腾讯会议,它的后台进行的都是Kubernetes各样的服务。
我们利用了Kubernetes上面很多功能,对我们最有用的是CRD,可以让我们去自定义一些资源,然后用Kubernetes自有的operator还有controller去管理这些资源。我们相当于利用了这个延展性,把原本只能管理这些应用的Kubernetes用于管理物联网设备,这是我们Shifu这个框架的亮点之一。
此外,我们会逐步实现声明式API,就是以状态来驱动设备,而不是以简单的命令。一些设备的自动运维,OTA,甚至于设备之间的协同,其实都可以从声明式API来实现。
杨明辉:意味着Shifu是对K8s一些功能的增强吗?
秦小禹:我们延伸了K8s,本质是运行在K8s之上。我们主要面对的是物联网的开发者,目的是帮助他们去提效,比如,对于一个工厂可能需要对接工厂里不同工段的不同的设备,设备是有不同的系统或者协议,而我们的这一套开发工具可以把接入这一层完全屏蔽掉。原来通过写代码的东西,现在只需要用低代码的形式写一个配置文件,就可以把这个设备进行接入。
在应用开发的方面,其实我们把每一个设备甚至于设备上的每一个传感器都可以虚拟成一个K8s的最小单元,也就是一个pod,然后用去管理这个设备。这样开发者的应用去对接物联网设备的时候,用是这种统一的方式,就是通过HTTP的方式直接去对接它下面的所有设备即可,不用再去考虑设备的这些协议、系统等问题了。
郭琦: 请凯文介绍一下Shifu究竟解决了物联网的哪些场景上的一些需求问题?
郑凯文:从实际的解决落地场景方面跟大家来,Shifu的产品可以给开发者带来的真正的价值是去串联一些曾经不太容易被串联起来的物联网设备。
举个简单例子,在一条工厂的生产线上有这个很多个品牌的多种类型的异构设备,比如说一个履带、一个喷涂机、一个卷轴机等等,这些设备背后的厂家不一样,背后的操作的逻辑也都不一致,控制的软件也都是千差万别,物联网开发者如果希望去把整条产线的整体数据收集起来再去反向做管控的话难度是很大的,因为需要去读懂不同的操作系统和数据结构形态。
Shifu所产生的价值就是帮开发者把这些工作省略掉,让开发者真正专注于这些设备怎么去运行能够达到产线效能最大化这个问题。这个是我们开发的这套框架能够在应用场景当中产生的价值。
物联网产业其实不够标准,现在比较标准的行业是移动互联网端,我们手机上的这些应用对接的硬件接口都是非常标准的,所以我们其实在想在物联网做类似的事情。
对于共有私有环节的实现有一个很关键的问题,就是Shifu怎么跟设备沟通?大部分设备是通过协议,那还有一部分设备是通过驱动,但是不管是协议还是驱动,Shifu都是可以去支持。协议分公有和私有,驱动大部分都是随着硬件。在不远的将来,我们所有的公有驱动、协议都是可以支持的。
如果有客户或者开发者遇到了一个我们没有接触过的协议,他可以在开源社区内去做一些反馈,然后我们可能一天之内就可以把这个私有化的协议加到Shifu的平台中。本质上接入一个新的协议或者驱动对我们来说是成本非常低的一件事情,我们通过不断的积累,在不同的行业实现协议的互补。
杨明辉:Shifu这一套系统是有一个服务器端运行在K8s云容器中是吗?这个系统是面向公有的平台还是更多的面向私有的某一个企业某一个工厂呢?
秦小禹:首先,Shifu是部署在K8s上的,具体上来说我们是把每一个设备虚拟化成了一个pod,开发者应用对接的就是一个一个pod。所以它并没有一个传统意义上的服务端,它整个的架构是分布式的,也就是说每一个新接入的设备会被生成一个新的微服务。所以它并没有云端的限制或者是本地部署的限制,理论上来讲,只要这个场景中,或者边缘端有一个K8s的集群,甚至是K8s的发行版或者小到于一个树莓派上、都可以顺利运行。
杨明辉:Shifu的K8s集群对性能的需求是不是并不是非常地高?
秦小禹:是的,按照之前的测试情况,这种微服务所需的内存大概是在14兆左右,可以说是非常小。此外,图像处理的时候可能会有一些中间件的存在,占用率可能会大一些,但总体来说Shifu对于性能来说适配了非常多的场景。
杨明辉:Shifu对数据存储的要求是什么样的?比如数据量、数据性能等等
秦小禹:这个方面取决于用户的场景。因为在一个小的场景里面,它的物联网设备可能有几十个到一百个,但是在一个大的场景里面,它的物联网设备可能大到成千上万个,数据量其实是不一样的。
首先要看它的数据是什么样的数据,如果是JSON的格式或者是那种MQTT的协议发展的数据的话,数据量并不大,但如果是涉及到安防、图像处理以及比较大的边缘的AI识别的话,数据量就会比较大。当然我们也会有一些算法或者引用一些第三方的解决方案,来优化对数据存储的需求。
林航:如果工业物联网对设备沟通的时效性要求非常高,是不是必须要有边缘设备的K8s集群?
秦小禹:我们在之前的客户中有遇到过,我们的解决方案是把有一些设备部署在云端,然后对那些高时效性的设备就部署在一个边缘的有算力的盒子里,然后通过云边协同这样的方式来对整个这个产线进行操作,也是没有问题的。
林航:开发人员在K8s上进行这种容器化应用的开发会有遇到什么样的问题吗?你们会对客户去做相应的培训服务吗?
秦小禹:我们的产品是要在今年的下半年完全开源,对一个开源项目来说,最重要的东西就是文档,在文档里以及开源项目的介绍里都有跟开发者详解讲解如何正常的去接入一个设备,甚至我们里面提供了一些虚拟的设备来供开发者去适配。与此同时,我们已经开始我们这个开源社区的运营,通过定期的活动来手把手的教一些开发者。
杨明辉:Shifu这一套框架在智能家居是不是也同样适用?借用这样的一个框架,整合智能家居类型的终端然后把这一整套框架部署在类似树莓派这样的低功耗的设备上,可以实现一个不需要云端的、自建的一个智能家居的平台。
秦小禹:从技术上来讲,在家庭的边缘用一个低功耗的设备去控制家庭内的所有物联网设备,是完全可行的。家庭端完全可以采购一家的小设备,通过我们进行开发测试,其实可以完全可以实现想要的结果。
我们目前面向的市场,更多的是在工业端,在那里设备更多,场景更复杂,设备状况更多,对系统稳定性要求更好。
郭琦:请小禹详细地介绍一下协议跟微服务之间的关系。
秦小禹:协议就是我们跟设备交互的那一层,如果这个协议是一个公有的协议,像我们平时常遇到MQTT等,可以通过Shifu中的中间件去跟这些设备进行交互,对于私有协议,比如二进制的文件或者是某种api或者sdk,我们是通过把驱动打包或者把api进行一个配置的定义,去生成一个新的设备模块,最后实现跟这个设备的交互。
所以,协议跟服务之间的通讯方式,其实用户可以完全无感知的,用户永远是用统一的的方式跟所有的设备在进行交互。
郭琦:请问云机柜所面对的客户和场景是怎样的呢?哪些客户会更需要云机柜这样的服务呢?
杨明辉:飞锡云机柜设计的初衷,是面向的一些大型的容器云的数据中心,比如政府的公务云平台等。在探索的过程中,我们发现计算和存储分值的特点可以提升计算以及存储的灵活配比,在这种情况下应对一些对计算要求并不是很高但是又有比较大量的存储容量的需求的用户,我们就可以提供一个轻计算、重存储、低能耗的解决方案。
并且,因为我们的整个云机柜是采用高可用的设计,不管从存储到计算到网络是可以实现节点之间的高可用的,我们的SSDS是从存储的层面可以实现高可用,我们在网络层面也是特别做了这种高可用的设计,所以说我们其实是比较灵活的。
郭琦:请问下一步飞锡会去发展什么样的技术?
杨明辉:我们现在主要有两个方向的目标。第一点是容器化的普及,以我们所了解到的情况,在国内还有很多的客户、很多的业务系统都没有运行在容器云上,所以我们第一个目标是做这个容器化的全面推广。
第二点,因为数据中心在近些年来有非常大的发展,我们也会要在数据中心做容器化的推广。数据中心运行的成本中很大一部分是电力,所以我们希望经过优化的云平台可以在节约电力这方面带来一些优势。
我们面向的不仅是公有云的场景,对私有云也有很好的支持。这个云机柜是一个一站式的系统,内部包含有计算资源和存储资源网络,甚至可以选配不间断电源系统,在这硬件基础上我们还有一些软件定义存储。整个系统可以给用户提供了一站式的云,相当于云机柜可以帮客户完成私有云的建设。
郭琦:请问凯文分析一下在物联网技术发展的过程中,下一个十年下一个五年,市场到底需要的是什么样的互联网技术呢?
郑凯文:从物联网关联度比较高的企业产业来讲,比如说生产型的企业、对数据保密度要求比较高的企业,他们在今天在去拥抱公有云的时候还是有一定的顾虑。大家可能会认为数据安全性有问题,还有延迟导致的不及时的数据反馈,有些大型的生产型企业可能会自己去设小型的私有云的机房。
我觉得这是非常大的一个机遇,因为私有云在某些环境下是没法被替代掉的。即使大家对公有云的接纳度越来越高,但私有云一定还是有非常大的市场,尤其是在对时效性实时性要求比较高的行业。
本文由博客群发一文多发等运营工具平台 OpenWrite 发布