看过去,向未来:2021年终技术盘点合集

3,604 阅读11分钟

2021年,我们见证了很多技术的新发展新变化:Serverless在工业、学术、社区遍地开花,国内厂商迅速卡位,Kubernetes 大版本“内卷”,安全性成为重中之重;前端进入深水区,面向开发者的低代码持续升温;服务网格实用当先,生态为本;Rust热度升温,未来可期;数据库从上云到云原生,开源成为主流;Software 2.0 悠悠走过四年,落地情况如何;站在元宇宙风口的音视频,会有何种突破想象的技术方向......技术的百花齐放让2021变得多姿多彩!

看过去,向未来!岁末年初之际,掘金邀请行业内的技术大咖撰文,回顾IT技术在2021年的发展情况,盘点IT技术的重大事件,展望IT技术的未来趋势。

一键观看全部文章:《2021年终技术盘点

年终盘点Serverless:工业、学术、社区遍地开花,国内厂商迅速卡位

对Serverless架构来说,2021年是备受关注的一年,这一年不仅仅有Forester、DataDog等一系列的机构,对Serverless架构投来关注的目光,也有学术界对Serverless架构的研究变得更加丰富,更有各行各业开始在社区、平台上招募Serverless架构的人才,这不仅表明Serverless架构在经历了若干年的发展,逐渐趋于成熟,被更多人所接受,也更为直观地表明Serverless架构已经真正意义上“被更为广泛关注”。

Serverless架构已经不再是“可远观而不可亵玩焉”的存在,而是真真切切可以助力开发者将更多精力放在更具价值的业务逻辑之上,可以让业务开发更加聚焦,降低业务创新周期,提升业务综合效能,且又接地气的技术选型。

从虚拟空间到云主机,从自建数据库等业务到云数据库等服务,云计算的发展是迅速的,Serverless架构也被诸多人寄予厚望,或许Serverless架构正当时,其已然开启从概念到实践的大规模落地之路,正如 Gartner 报告中的预测,到 2025 年,全球一半的企业将采用 FaaS 部署;或许,时至今日的Serverless架构,依旧不是最终形态的的Serverless架构;或许Serverless的精神也需要进一步的建设和完善,但是不可否定的是,Serverless架构都正在:More and more energetic, more and more fast and powerful.

年终盘点Kubernetes生态:大版本“内卷”,安全性值得重视

从 2021 年的 4 月份开始, Kubernetes 的发版节奏由原先的每 3 个月发布一个版本,修改成了每 4 个月发布一个版本。所以在 2021 年,Kubernetes 一共发布了 3 个大版本。包括 v1.21、v1.22 和 v1.23 。

  • 内存管理器:在 Kubernetes v1.21 中在 kubelet 组件生态中新增了一个 内存管理器 ,在 Linux 系统中,为需要保证 QoS 的 Pod 在多 NUMA 节点保障内存和大内存页分配。
  • 内存资源的QoS:Kubernetes v1.22 中通过引入 cgroups v2 来提供了一个 alpha 特性,允许对内存资源也提供 QoS。
  • ReplicaSet 缩容算法调整:当前的缩容算法,主要是优先删除生命周期最短的 Pod,本次算法调整主要是为了对 Pod 进行随机清理。
  • Node swap 支持:此特性现在是 Alpha 阶段。虽然 swap 并不够快,但是现在有很多场景都是需要用到它的,尤其是一些 Java 和 Node 应用。
  • HPA v2 API 达到 GA:经过5 年的发展,终于达到了 GA 级别。
  • Pod Security Policy 的替代品:PodSecurity admission controller 是在 Kubernets v1.21 中被废弃的 Pod Security Policies 的替代品,可以按 namespace 级别启用 Pod Security Standards 。
  • 新增 OpenAPI V3: Alpha 级别特性,可通过 OpenApiv3 feature gate 进行开启。
  • CRD Validation 表达式语言:Alpha 级别的特性,默认是不开启的,可通过增加 CustomResourceValidationExpressions feature gate 来进行开启。
  • 增加 kubectl alpha events 命令:由于在不修改 kubectl get 的前提下,查看 event 有一些限制,所以直接增加 kubectl events 命令可以更方便的去获取到需要的信息,尤其是 event 是在 Kubernetes 中经常需要查看的一个信息。

年终盘点大前端:前端进入深水区,面向开发者的低代码持续升温

远离自嗨型工业垃圾,探索和深化依然是前端年度大方向,当下前端已进入深水区。2021年,前端领域的探索方向主要集中在基础方向、跨学科融合、业务创新以及PRD2Code。

  • 基础方向:esm和http import,import map等发展,催生了snowpack,vite,webpack5等新基建,同时也为bundless提供了更多养料。当然还有很多标准规范需要制定,比如commonjs和esm之间的CDN服务转化;
  • 跨学科融合:比较典型的是前端智能化,结合AI和前端技术,为前端提效。这个方向是前端领域的很好探索,但需要突破前端和AI自身的能力。
  • 业务创新:比较典型的是智能UI,服务端推荐搜索已经到达了瓶颈期,而端上的UI和人群细分并没有真正做好,例如针对价格敏感的用户,并没有实现UI上优惠价格放大,促进转化。
  • PRD2Code:仅在前端开发领域,提效已经做了很多年,但站在产研链路上探索是一个很好的方向。横向不好做,做上下游,还是有机会的。

年终盘点服务网格:实用当先,生态为本

云原生的发展方兴未艾,虽然不断有新的技术和产品出现,但作为整个云原生技术栈的一部分,服务网格在过去一年里不断夯实了它作为“云原生网络基础设施”的定位,更重要的是服务网格生态渐起。

过去一年中,服务网格社区的焦点主要集中在以下几个方面:

  • 性能优化:服务网格在大规模应用场景下的性能问题,目前社区给出的解决方案有两种,Sidecar 配置和引入eBPF;
  • 协议扩展:让服务网格支持任意七层网络协议;
  • 部署模式:Proxyless vs Node 模式 vs Sidecar 模式;
  • 引入 eBPF:将服务网格的部分能力下沉到内核层;

年终盘点 Rust生态版图 | 星辰大海(上篇)(下篇)

Rust 的出现并不是要你去用它重写一切,而是希望你可以用它创造新的未来

截止 2021年底,距离 Rust 语言2015年5月15日正式发布已经长达六年半的时间。在这六年半的时间内,Rust 每隔三年发布一个大版本,叫做 Edition,中文翻译为版次。

2021 Edition:主题是「成熟(Mature)」。 2021 edition 并没有引入太多新特性,而是清理了一些技术债务,比如持续对 Rust 编译器进行重构和改进,包括内部使用的新的 trait 系统chalk 和 query 系统、常量泛型、泛型关联类型等。随着Rust基金会成立以及后续的一系列动作,也许2024 Edition主题会是「广泛应用」。

作为一门新生语言,Rust 虽然目前倍受欢迎,但也面临的挑战很多:

  1. 领域的选择:一门语言唱的再好,如果不被应用,也是没有什么用处。Rust 语言当前面临的挑战就是在领域中的应用。而目前最受关注的是,Rust 进入 Linux 内核开发,如果成功,其意义是划时代的。
  1. 语言自身特性的进化:Rust 语言还有很多特性需要支持和进化,这里罗列了一些待完善的相关特性。

年度盘点数据库:从上云到云原生

2021年是全球数据技术的黄金之年,也是中国数据库的蓬勃发展之年;2021 年的数据库行业,无论是技术、生态、还是行业场景拓展方面都有了长足的进步,越来越多的人关注到了数据库这个领域;海量、实时、可扩展的新一代数据架构已经成为了企业数字化创新的关键支撑,在架构以外,这一年中国数据库产业最大的变化是开源潮流的兴起,开源的价值也被主流的企业用户高度关注。

在技术侧最大的变化应该是云基础设施对数据库的影响,未来几年数据技术的最大的变化就在分布式数据库和云基础设施的交叉创新上;第二大变化是 HTAP 成为主流,它带来的融合价值在于技术栈的简化和实时能力的增强,让众多企业的实时/交互式 BI 成为现实,为高成长企业和数字化创新场景提供了一栈式的数据服务底座;第三个变化不算是技术突破,更像是“甩包袱”,随着实时数据分析、统一技术栈的需求越来越强烈,Hadoop 作为一个大数据技术栈本身基本上已经退出历史舞台了。

从生态角度来看,2021 年是中国开源进入企业软件主流市场的元年。我们一直说开源是基础软件技术成功的最佳路径,2021 年初,开源第一次被写入国家“十四五”规划中,开源受到的关注度因此急剧提升。在数据库领域,开源数据库的部署首次超过商业数据库, Databricks, Mongo 的估值或市值都比 2020 年提升一倍以上,全球开源软件公司 IPO 的热潮已经到来。

年终盘点 Software 2.0:模型编程的优势与局限

2017年,特斯拉的人工智能和自动驾驶视觉总监 Andrej Karpathy 在自己的博客 提出了 Software 2.0 这个概念,指出了视觉、语音、机器翻译、游戏甚至数据库领域都在向 Software 2.0 进行转变,并指出了 Software 2.0 的优势:固定运行时间、固定内存占用、可移植、容易固化成硬件、响应快速等等。

如今各种领域都在快速的依靠 NN(Neural Network 神经网络)进行升级迭代,在金融风控、广告推荐等各种领域,信息利用方式正在越来越多地从规则向模型发展。Software 2.0 时代,任务描述和实现方法会更加解耦,描述的是更加纯粹的数据,而实现方法则是底层神经网络的工作,有望更快更高效的生产软件。

作为开发者,在Software 2.0 时代我们应该做好这些准备:

  • 重视神经网络的训练、推理;
  • 需要习惯以数据集为中心的开发模式;
  • 不追求绝对正确的“安全感”,接受概率性的结果。

年终盘点音视频:突破想象,站在元宇宙的风口

根据沙利文《2021上半年中国音视频解决方案系列追踪报告》,2021年上半年中国音视频市场规模超过300亿人民币。2021年下半年,元宇宙概念火出圈,受到资本的高度认可,短期来看,2022年元宇宙热度将持续,带动音视频领域市场的小规模增长;长期来看,随着多领域技术的突破与沉淀,音视频应用联合元宇宙强C端场景,势必将打破天花板,突破想象,带来更多新鲜的落地实践。

随着网络设备和终端设备的更新,视频高清化、沉浸式体验以及低延迟交互将会是新的发展方向。

  • 视频高清化:随着设备与网络的普及,视频应用高清化将成为新趋势,4K/8K分辨率、10bit色深、HDR高动态范围、60帧高帧率,超高清视频的采集、编解码、渲染等技术将得到普及。
  • 沉浸式体验:元宇宙爆火推动了沉浸式视频体验的发展。VR/AR/MR/XR从概念开始走向商业化落地,沉浸式的体验将持续演进,图像与图形技术的结合将带来身临其境的真实感与交互式体验。
  • 低延迟交互:随着终端设备和网络基础设施的升级,编解码与传输技术的优化,低延迟交互场景的应用会进一步得到发展和普及。

想要阅读以上技术领域的完整盘点文章,请点击该专栏:2021年终技术盘点