零点之战!探访阿里巴巴8大技术专家,提前揭秘2017双11关键技术

246 阅读18分钟
原文链接: click.aliyun.com

69d8ed5df1cb6b618d6bc1986081662c613d72d2

点击进入阿里云双11主会场


摘要:在距离双11已经不到10天的这个时刻,一场看不见硝烟的战争似乎已经打响。随着一年一度购物狂欢的即将到来,网上出现了很多阿里技术应对双11的段子。“阿里工程师拜关公求服务器不宕机”,“技术人员围着被子敲代码”等传闻也被消费者们所津津乐道。那么,针对双11期间极为严苛的技术压力,阿里巴巴究竟是用怎样的方式进行解决的呢?在接下来的文段中,就让我们一起来对阿里巴巴在2017双11背后的技术进行一次细致的了解和探访。


 

3a64a4d1fb7cf27ea445501d56572c65d6c5bec7

阿里巴巴针对双11的实战演习

 

容器服务:云上资源助力亟速扩容

 

容器服务是阿里云在2015年推出的容器应用管理服务,对一千多家企业客户同时进行支持。其主要支持Docker应用的全生命周期的管理。在公有云上面整合了阿里云的虚拟化、存储以及网络等方面的能力,简化了用户在容器应用运维上的复杂性。不仅同时支持Swarm和Kubernetes。还提供了公有云和专有云两个版本,允许用户通过专有云的方式在自己的数据中里面构建一个完整的容器运维能力。

 

双11期间,针对过于汹涌的流量冲击导致资源量不足的情况,容器服务可以做到最大化方便企业将原来部署在自己机房中的应用部署到云上,无需准备物理机器,也无需安装操作系统和依赖,只要拉下镜像直接运行即可,就这么简单。

 

阿里云双11访谈之容器服务 yq.aliyun.com/articles/22…

 

 

视频云:人工智能同视频产品迸发火花

 

视频云是阿里云提供的一站式大视频解决方案。能够一站式的提供“海量存储、高效分发、极速网络”等优质而强大的服务,让用户轻松获得极高量级的传播能力。其广泛应用于游戏直播、娱乐直播、泛生活直播、教育类、远程医疗、企业远程视频会议等典型场景。

 

针对视频生产环节,阿里云点播服务能够提供从视频的导入到短视频的拍摄、录制、图片处理、在线编辑、视频审核等全链路服务。窄带高清2.0的转码则可以令端到端的转码时效达到最高,同时也就确保了信息传播的最高时效。

 

在视频直播场景下,针对内容解析、人脸识别、语音识别,视频大数据分析的探索能对客户的优化运营提供场景、端口、数据分析方面的全面支撑。

 

在视频点播场景中,利用阿里云拥有强大的AI技术和海量资源支撑,视频云很好的实现了以视频为入口的智能化处理。稳定成熟的内容分析,兼顾美学和关键性的封面选图,精准的视频指纹分析和深度学习带来的高效审核都极大的提高了工作效率,从而令对大规模视频的无人化处理变成现实。

 

阿里云双11访谈之视频云 yq.aliyun.com/articles/22…

 

视频云双11特惠专场promotion.aliyun.com/ntms/act/pr…

 

 

中间件:为企业架构创造价值

 

中间件最初是用于支撑阿里云自身的一系列系统,为了服务客户而对外开放。包括恢复框架、消息队列、实时监控、性能测试等一系列互联网中间件产品。在EADS平台的基础上提供了快速构建微服架构、应用开发、服务治理、高可用管控、限流降级等一系列功能。通过可视化平台,帮助用户分批次、可中断、有发布单的呈现方式,使用户能够快速进行大批量应用的部署。

 

对于消息队列(MQ)的中间件,削峰填谷的功能也将在双11时期全力投入使用。这一组件的引入能够帮助在阿里云在流量高峰时平缓峰值、减轻压力,再将任务置于流量低峰的时段进行消费。为了确保其足够稳定,阿里云对每条消息都进行了三次备份,并完善了对持续消息、顺序消息、事物消息、定时消息等一系列消息类型的支撑。

 

针对分布式里最关键的像数据库领域,阿里云DRDS分布式数据库产品一定是绕不开的。在整个中间件团队,对外推出了分布式关联数据库DRDS。该产品专注于解决分布式领域读写分离、分库分表、无线水平扩容等一系列分布式数据库问题和流量高峰期分布式上存在的问题。对业务透明友好,并能对特定业务提供个性化支持。

 

最后,PTS压力测试也同样是一项优秀的性能测试领域产品。其将整个压测服务spss化。客户在公共云上不需要部署任何组件,只需提供整个应用的入口就能快速使用压测服务。并具备指令测试丰富,流程进展快速,模型自动化分配等特有的优势。

 

阿里云双11访谈之中间件 yq.aliyun.com/articles/22…

 

中间件双十一特惠专场:promotion.aliyun.com/ntms/act/pr…

 

 

云存储:面向对象,面向文件

 

在阿里云的存储业务中,对象存储OSS和文件储存NAS可以说是自家内部的当家花旦。其中,对象存储以面向互联网,数据海量,高安全性、经济性、数据可靠等特点为人称道,文件存储则因其强大的性能和对大容量、多协议的支持而受到用户的广泛好评。

 

OSS的应用场景主要有三:针对图片和视频的多媒体存储、大大简化的数据备份归档过程、结合计算平台从而挖掘数据价值。对多媒体从业者来说,OSS的上下行具备的弹性伸缩能力可以让他们对业务高峰的大量并发请求进行有效的处理, 其自带的签名机制不仅确保了数据的安全性,同时也减轻了用户服务器的负担。

 

NAS则有所区别,作为针对分布式的文件存储业务,其可以利用计算和文件存储的弹性解决特殊行业大数据量计算的痛点,并给予用户短时间训练AI模型的能力,做到高性能存储和文件可共享访问的并行不悖。

 

阿里云双11访谈之云存储 yq.aliyun.com/articles/22…

 

云存储双11特惠专场promotion.aliyun.com/ntms/act/pr…

 

 

ECS:弹性即是计算的特性

 

2017年,阿里云不仅完成了ECS企业级产品的发布,而且完成了一次软件和硬件的数据迭代,推出了新一代硬件架构和软件架构产品,通过对现有功能和产品形态优势的持续优化和挖掘,将弹性发挥到了极致。

 

简单来说,弹性是整个弹性计算产品中一个最大的亮点。它体现在两个方面,一是资源唾手可得、二是按量付费。用户无论什么时候想要计算资源都能拿到,时间上是很弹性的。同时,由于完全根据使用量来计费的,所以付费方式也是很弹性的。对用户来说,无论在业务承载能力上还是在成本构成上,这都是一项极大的提升和优化。

 

阿里云双11访谈之ECS弹性计算 yq.aliyun.com/articles/22…

 

ECS双11特惠专场 promotion.aliyun.com/ntms/act/pr…

 

 

数据智能:我就是智能城市的大脑

 

刚刚结束的云栖大会中, ET城市大脑可谓是阿里云展示的众多黑科技中耀眼的一项。杭州大脑的上线使高架道路出行时间节省了四点六分钟,解决了高峰时段的城市拥堵问题,还让萧山120救护车到达急救现场的时间减少了一半。

 

在城市大脑的背后,必然离不开数据采集整合以及算法应用的技术支持。ET城市大脑将散落的数据汇合在一起,例如公交线路数据、高德地图数据、车辆的GPS数据等,同时跟企业、公安、政府、运营商等多方收集的数据汇集,借助记忆学习和人工智能算法,通过视频识别交通事故和交通拥堵状态,再融合警察接警数据,对城市进行全面多发的感知。构筑出一座基于数据驱动的3D城市,并将其微缩模型投放在屏幕上。这不仅非常炫酷,也为城市治理者提供了一个更加友好、人性化的态势监控界面。

 

ET城市大脑分为三大块:数据整合层、记忆学习和智能算法层、应用层。并形成了城市大脑这一产品化的输出框架。在行业内部,ET有智能语音,人脸图像,OCR(光学字符识别)等智能产品。包括语音方面的实时文本转换,智能法庭/语音智能客服;身份验证场景的实名认证、人脸检测、图像场景打标、图片鉴黄;印刷文字领域的身份证,驾驶证,行驶证,工商管理证等的文字识别等广泛的应用。并能够利用dataV数据可视化神器提供数据展现,以满足城市、各级大小企业和机构日常业务展示以及业务监控的需要。

 

阿里云双11访谈之数据智能 yq.aliyun.com/articles/22…

 

 

MaxCompute:快速架构大数据仓库

 

MaxCompute是一项大数据的计算服务,它能够为企业提供快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

 

MaxCompute的应用场景可以大致分为三种:基于MaxCompute搭建企业的大数据仓库、

机器学习、和基于加工后的数据实现个性化推荐。其具备强数据安全,从数据访问到最终的数据加工和处理,都能够实时地通过实名认证体现出用户的真实身份。

 

迄今为止,MaxCompute在传统行业、互联网行业以及初创公司中都有很多成功应用的案例,比如墨迹天气、集团内的菜鸟网络、蚂蚁金服等,外部的新浪微博、ofo小黄车、美柚、天弘基金、众安保险以及金立手机等都在使用MaxCompute作为自己的大数据服务。

 

阿里云双11访谈之MaxCompute yq.aliyun.com/articles/22…

 

 

Elasticsearch:定制化大数据解决方案

 

阿里云· Elasticsearch是基于开源Elasticsearch及商业版X-Pack插件,致力于数据分析、数据搜索等场景的一项服务。其在开源Elasticsearch基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。

 

作为基于开源项目的大数据服务,Elasticsearch产品不仅本身与开源社区完全兼容。还提供了Kibana以及X-Pack这样商业化插件的预置,以及ik等分词插件提高用户体验。相对于企业进行自建,阿里云Elasticsearch能够节约大量的运维和部署成本。并能获得来自Elasticsearch 24小时不间断的稳定技术支持。

 

总结而言,阿里云Elasticsearch产品有三个亮点:功能更加丰富、成本更加低廉、能够提供更多服务支持,从而完美解决用户在日志分析场景下各种各样的诉求,并最终被应用于安全,搜索等多个领域。

 

阿里云双11访谈之Elasticsearch yq.aliyun.com/articles/22…

 


云安全:做客户手中最强大的保护伞

 

阿里云安全发展至今已过十年,自05年伊始,阿里云安全从一个支撑阿里内部子公司安全的小规模团队,逐步发展为一个能够对外提供十几款商业化安全产品的大型安全部门,其中就包括了DDoS高防IP、安骑士以及Web应用防火墙等。

 

DDoS高防IP是阿里云安全产品起步较早的一项。早在2014年,云安全团队就因为成功为客户防御了全球最大的达到453G的DDoS攻击而惊动业界。在2016年,阿里云对高防产品进行了一次较大的改版,将其分成网站防护和非网站防护两个部分。它不仅能够提供通用性的传统四层高防,也能针对HTTP以及HTTPS协议提供较好的能力补充。而如今,阿里云高防已经能够做到将DDoS 300G能力的防护成本降低到36万元/年,使企业的防护成本收缩至昔日的十分之一。

 

安骑士是云安全团队提供的一款服务器安全软件,并在近期着重强化了针对ECS的漏洞管理能力,拥有从主机层面检测安装软件安全状况的全局视角,对漏洞在0day内进行响应的迅捷能力,和从漏洞的检测开始、到修复、验证一站式完成的闭环功能。

 

Web应用防火墙从2016年四月开始正式对外开放,并在最近推出了按量后付费的商业模式:服务付费直接与用户使用量挂钩,从而降低了这款产品的使用门槛,真正做到了普惠用户。

 

阿里云双11访谈之云安全yq.aliyun.com/articles/23…

 

 

智慧航空:让数据智能来到你我身边

 

航空邂逅大数据会碰撞出怎样的火花?在今年六月份,阿里云天池平台携手厦门航空共同举办了一场智慧航空AI大赛,目标直指航班延误这一业界难题。

 

天池平台在2014年由阿里巴巴集团推出,是一个全球性的高端数据类计算平台,并汇集了全球高质量的数据人才和数据爱好者。截至目前,天池平台汇聚的开发者人数达十余万,他们来自全球73个国家和地区的2700多所海内外高校、研究所和企业。

 

而厦门航空作为大赛的主办方和数据的提供方,基于自身业务的实际场景作为需求进行了赛题的编制,并为大赛提供了真实而脱敏的数据,供参赛选手进行研究。

 

在智慧航空的构建中,阿里云航空大脑有着其无可替代的优势:阿里云能够通过对机场、航空公司、各类铁路,公路交通与天气的数据进行采集,针对情况制定出航空计划和应急解决方案。利用阿里云强大的计算能力,优秀的算法构建,与各大相关企业机构的精诚合作,共同为民众的航空出行做出自己的贡献,打造一项覆盖全行业的生态。

 

阿里云双11特别访谈之智慧航空yq.aliyun.com/articles/23…

 

 

先知平台:助力企业级信息安全

 

阿里云的安全服务系列已经推出了较长时间,并在去年上线后又出现了一系列新的发展。整体上,面对企业客户的安全服务主要由先知平台进行承载。具备包括“安全众测”、“等保测评”、“安全培训”、“SDL咨询”等十多种安全服务。

 

安全众测是先知平台最早的应用场景之一:它旨在为客户提供最好的安全测试服务,通过阿里云和合作安全工程师对企业的漏洞筛查、包括对修复建议的提供,来从整体上完善合作企业的安全体系。

 

等保测评也是先知平台安全服务的重要组成部分,针对最新网络安全法执行后,大量企业通过等保测评的需要,阿里云能够利用先知平台在企业客户与测评中心进行链接,从而帮助企业更好更快的通过自身业务的等保测评。

 

为了能够提高企业客户的安全开发意识,先知平台专门提供了针对性的安全培训服务。并可以根据企业的不同研发方向进行定制化。针对某些小微企业服务器规模有限,且无专业的安全团队进行保障的情况,先知平台特别提供了安全管家服务,用于对云上客户进行常规的安全运行运营,保证其安全效果。

 

阿里云双11访谈之先知平台yq.aliyun.com/articles/23…

 

 

云数据库:多样 普适 安定 稳健

 

云数据库同样是阿里云的重要产品之一,它通过极高的安全性能,架构、代码、硬件上的多重优化、快速而自动化的响应等优势,来为用户在云上的业务保驾护航。

 

安全是云数据库产品的第一目标。针对于此,阿里云针对自身产品,提供了非常多的安全措施。并从事前、事中、事后三个维度进行保障。

 

稳定性则是第二要务,无论是小到一个网卡的故障,还是大到一个机房的险情,阿里云都能通过其优秀的容灾机制都能保证数据库的稳定性要求。

 

第三点是用户的可用性。基于流程的彻底简化,如今用户只需要在控制台上点击鼠标,就可以完成以前需要几个人甚至是一个团队在几十个小时或几天才能完成的事情。

 

最后,云数据库团队在link级代码资源方面做了很多的优化。同时能够通过顶尖的专家团队辅助用户,来提供代码层面的咨询服务。

 

阿里云双11访谈之云数据库yq.aliyun.com/articles/23…

 

 

CDN:性能优异同覆盖广泛并重

 

CDN作是一项普适性极高的云计算服务产品。主要用于解决网络带宽小,用户分布范围广的困难。接入CDN能大量的简化网站系统运维的工作量,方便多个地区、多个运营商之间的互联互通,从而提升网站的访问稳定性和服务体验。阿里云从08年开始自建CDN,并在12年开始服务于双11。目前阿里云是中国最大的公有云CDN厂商,也是国内首批取得专业CDN全国范围服务运营商执照的团队之一。

 

在CDN运营方面,阿里云拥有众多独特的优势,首先,阿里云拥有覆盖全国各省市骨干运营商的节点资源优势,其次,阿里云CDN拥有强大的研发团队,能够将软件的性能发挥到极致。最后,随着CDN业务的发展,利用阿里巴巴集团大数据的能力,阿里云可以提供大数据监控、配置、预制等分钟级别的分析能力,并最终通过ip库完成基于服务质量和成本的精确调度。

 

至今,阿里云CDN已经在视频点播、视频直播、静态内容加速以及信息安全等领域得到了大范围的应用。如果你希望自己的站点更快速、更便捷,用户体验更好,享受到类似手淘一样的服务,完全可以通过阿里云的CDN产品来达到此类用户体验,快速接入到阿里云的站点上来。

 

阿里云双11访谈之CDN yq.aliyun.com/articles/23…



双11大促来啦,这些技术你想不想拥有呢?

 

没想到吧, “双11购物节”不仅是消费者买买买的狂欢,也是阿里巴巴内部的一场技术盛宴,背后有着多样而稳定的各类技术进行保障。这些技术你想不想拥有呢?快去阿里云双11大促会场去储备技术能量吧,丰富的技术资源和优惠的价格相得益彰之下,你还等什么呢!

 

阿里云双11大促会场直达 promotion.aliyun.com/ntms/act/pr…