欢迎关注我的公众号 [极智视界]，获取我的更多经验分享
大家好，我是极智视界，本文来谈谈 AI推理算力，是谈谈AI发展系列的第四篇。
邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：t.zsxq.com/0aiNxERDq
本文是 "谈谈 AI 发展" 的第四篇，其他几篇的情况如下：
- 谈谈 AI 发展第一篇：AI 训练框架 ==> 访问方式：链接；
- 谈谈 AI 发展第二篇：AI 推理框架 ==> 访问方式：链接；
- 谈谈 AI 发展第三篇：AI 训练算力 ==> 访问方式：链接；
- 谈谈 AI 发展第四篇：AI 推理算力 ==> 本篇；
- 谈谈 AI 发展第五篇：AI 编译框架 ==> 敬请期待；
在写本篇的时候，考虑到在 2023 AIGC 的 "现象级爆发"，似乎在 "谈 AI 发展" 系列不加入关于大模型的应用，是非常 "不讲武德" 的，所以这里也再加一篇，这样就形成了六篇内容：
- 谈谈 AI 发展第六篇：AI 大模型应用 ==> 敬请期待，预计这几天就会完结；
时光斗转星移，AI 飞速发展。
满打满算，我真正进入到 AI 这个行业差不多五年多的样子，这段时间其实是正处于 AI 框架和 AI 算法本身快速发展的黄金阶段。也很有幸见证了一些 "古早" 的框架、算法，以及从 "古早" 到 "现代" 快速进化的过程，感慨良多。我决定在这几篇文章中谈谈我这个阶段对于 AI 的一些基础设施，如框架、算力、算法等的思考、感受和想法，作为一种输出，也作为一种记录，可能几年后回过头再来看，会别有一番滋味。
这几年，别人问我是干嘛的，我基本都会说：我是做算法部署的。确实，做这个工作让我接触到了很多 "AI 推理算力" 相关的算力设备，有云、有边、有端，有国外的有国产的，涉及挺广。所以这个角度，可以看到我写过一些解读芯片算力的内容，也大多是从我本身 "算法部署" 的角度出发铺开的。
先来说云、边、端。
云，其实重点的对象并不是算法推理，而是算法训练，因为一般的算法推理用不上云这么强的算力，要用云推理更多的是考虑了它的跨网性，也就是提供服务的方便性，比如 SasS。但这种概念在大模型时代似乎又有些变化。一方面，正因为即使是推理，大模型也需要消耗很多的算力，所以对于大模型来说，用云推理似乎会是更加方便的选择；另一方面，大模型的应用基本在调接口造应用，这对于云的模式天然适合。但不得不说，云其实挺贵的，这方面没有概念的朋友可以看下图，
再来说边，对于边我的理解是 "边缘云"，主要是指自建服务器机房，比如公司的机房等。考虑到部署的便捷性，考虑到数据的安全性，相信这个层级会是大部分 AI 企业的选择。这个层级的出货方式一般就是服务器，四卡机、八卡机、1U、2U、塔式这些是很常听到的名词。应该也可以说是目前 AI 落地最常见的产品形态，比较有代表性的供应商有超聚变、宝德、中科、浪潮等。
来说端，端算力很多时候也叫边缘计算，边缘计算常见的算力载体主要是边缘计算盒子、智能相机终端等，比较有代表性的就是英伟达 Jetson 盒子，当然像英特尔还有咱们国产算力都会有对标的边缘计算盒子。相比 Jetson，英特尔的盒子大家可能接触相对会少一些，成都有一家云图睿视就是专门做英特尔盒子的。边缘计算很好地提高了算法推理部署的 "灵活性"，有几个说法很好地描述了边缘计算："AI 落地的最后一公里"、"真正让算法部署无孔不入"，应该说是很形象了。去年，应该说是前年了，我就很看好边缘计算，即使在去年大模型爆发的背景下，我依旧觉得边缘计算的前景 "不可估量"。边缘计算除了它的 "灵活性"，还有其他一些优点，比如在边缘端就做了算法处理，那就意味着不用把庞大的原始数据一股脑地传回中心云进行处理，不仅能极大节省网络传输带宽还能在很大程度上保证数据安全。边缘计算的优势特别明显，就是对算法推理部署的要求会更高一些，基本要求就是要在更加弱的算力上发挥出更加好的算法性能，而这本身其实是存在悖论的。
再来按国外国内说。国外主要就是英伟达，对于 AI 推理算力主要就是 Tesla 系列和 Jetson 系列，一个是板级/SXM级 还有个边缘计算级的算力。Tesla 算力最常见的就是 T4 卡了，虽然现在已经停产了，但是它的存量很大，很多已经部署了的 AI 应用应该很多是基于 T4 卡的。T4 卡应该是英伟达推理侧最重磅的产品，没有之一。T4 卡的升级版是 L4，这个卡估计用的人还不是特别多，但如果要做 T4 替代，L4 基本是不二之选。
这个时候回过头来想想，其实你会发现，在过去，英伟达对于深度学习卡的定位是 "有些混乱" 的，比如之前拿 RTX 来做算法训练、比如专门定位 T4 就是推理卡。拆开来说，对于 "拿 RTX 卡来做算法训练"，看起来更像是一心想做游戏卡的英伟达自己也没想到 RTX 卡会这么适合算法训练，所以做的顺水推舟，商人嘛，客户有需求你有货再加上是合法的，你管他用来干啥呢；对于 "专门定位 T4 就是推理卡"，其实你会发现这个概念 (一个卡专门/仅用于推理的概念) 在被弱化，很好的证明就是后来推的 Tesla 卡多是训推一体卡了，比如 A10、比如 A100、比如 H100，可以看到，在板级产品上，英伟达有意在推 "训推一体化"。再来看国内，这个其实参考我分享的内容就已经足够《极智芯中国芯 | 全网最全解读国产AI算力产品矩阵系列》，里面介绍的内容应算已经相对全面和深入了。
另外对于边缘计算的国内外算力，也不多作赘述，主要内容可以参考我的这篇分享《极智芯 | 将算力推向边缘 AI边缘算力盒子选型》。
好了，以上分享了 谈谈 AI 发展第四篇：AI 推理算力，希望我的分享能对你的学习有一点帮助。
【公众号传送】
畅享人工智能的科技魅力，让好玩的AI项目不难玩。邀请您加入我的知识星球， 星球内我精心整备了大量好玩的AI项目，皆以工程源码形式开放使用，涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助，也一定非常好玩，并持续更新更加有趣的项目。 t.zsxq.com/0aiNxERDq
