7月16日，第五届RISC-V中国峰会在上海张江科学会堂成功举办。奕行智能联合创始人、COO杨宜博士在峰会发表了题为《RISC-V与虚拟指令技术结合打造创新的计算架构》的主题演讲。
引用OpenAI创始成员Andrej Karpathy的"Software 3.0"的概念，杨宜博士提到，随着大语言模型的崛起，软件开发范式正在发生根本性变革——自然语言提示Prompts正在取代传统编程代码，LLM成为新的编程接口。这标志着软件构建、交互和构思方式的根本性转变。而软件范式的根本性变革，也依赖于与之匹配的“Hardware 3.0”的支撑。Software 3.0中，计算占比最多的是多维矩阵体运算，网络模型由多层“图”Graph构成，图的计算有数据流的特点，需要有与数据流特点相匹配的硬件设计。于是我们看到了领域专用架构（DSA）的爆发，以google的TPU等为代表，为LLM的高效训练与推理而生。同时，我们也可以发现，GPGPU中也有了DSA的影子，如Tensor core、TMA之类设计的加入。
针对Hardware 3.0，杨宜博士指出，AI计算是领域特定范式的，我们会很强调算力的利用率，以实现硬件效率最高化。但同时不得不面对模型多样性和海量编程用户需求，所以，需兼顾领域内通用性和专用性是核心诉求。换一种更容易理解的表达是：算力的利用率不仅仅指程序在运行时能够加载起来的计算单元的比例，也可以是指能够让多少比例的用户较为方便的使用起来。从这个角度看，计算效率和通用性就并非是矛盾的两面，而是一体化的“用户诉求”。
杨宜博士讲解了奕行智能选择RISC-V + RVV来构建AI计算架构的考虑。RISC-V的开放性、模块化设计、可灵活定制专用AI加速指令集，可以极大的帮助到构建DSA；其精简架构降低了芯片设计门槛，助力企业快速迭代。
“奕行智能以RISC-V为架构创新的底座。其开放指令集允许定制AI专用扩展，RVV可变长向量指令可以直接适配张量计算，向量掩码机制直接支持稀疏矩阵运算。更关键的是，日益成熟的生态优势：LLVM、GCC等主流编译器已支持RISC-V，主流AI框架正积极适配RISC-V平台。为我们产品的快速落地提供了有力支撑”。
针对DSA的指令的路径选择，杨宜博士结合奕行智能的EVAMIND™ AI内核，深入探讨了RISC-V指令扩展与虚拟指令技术（VISA）的创新性结合。VISA是奕行智能独创的介于AI编译器与后端编译之间的中间层，它既是一套软件的中间层封装，又是在EVAMIND™内核硬件中真实乱序发射的宏指令，是通过在硬件ISA之上抽象出一套统一的虚拟ISA。VISA的作用是解决AI计算架构演进进程中遇到的三个难于解决的关键问题：1）硬件与算子及编译器等软件栈深度耦合，互相制约演进。2）AI处理器设计过程中难以兼顾通用与专用。3）AI编译中的中间表达（IR）下降过程中，从Tensor到细粒度SIMD太过陡峭而导致优化机会丧失。EVAMIND™的架构中，通过用细粒度的硬件指令，来实现粗粒度的VISA算子；VISA算子内使用软件流水、循环展开等方式进行性能优化。对于每个VISA算子，实现优秀性能，而AI编译的上层部分则只需要关注VISA算子这个层级，减少了指令发射的难度。
通过VISA与RISC-V微指令的融合使用，EVAS的架构设计具备这样的特点：在DSA内不同异构的计算与数据操作单元之间是乱序调度的具备Tensor语义的虚拟指令（VISA），保持了在AI领域内的专用属性；同时在计算单元内部结合RVV将VISA宏指令的分解与执行成细颗粒且图灵完备的微指令。 这里虚拟指令是由标量核硬件真实发射的宏指令，但在其内部是经过高效优化实现的软内核。通过这种软硬结合的方式使得在保证AI计算专用效率的同时对提升用户的编程体验。
杨宜博士介绍，在EVAMIND™内核中，标量引擎负责整个系统的协调和控制；VISA调度器，能保证粗粒度宏指令的编排和乱序发射；张量引擎则负责专门处理矩阵运算和张量计算；4D加速引擎负责核内外的数据搬运以及随路激活、reduce及4维矩阵变换与各种转置操作；此外，RISC-V RVV向量引擎提供了AI专用的硬件扩展，保证细粒度微指令的高效执行。
“基于这个内核，公司即将推出新一代智算产品。我们用RISC-V搭载虚拟指令集技术，兼顾通用性和专用性，集成多组EVAMIND™内核，使其具备图灵完备向量引擎 + 大尺寸张量单元。该设计兼顾了AI专用与通用计算任务，硬件级指令化提升效率。”
“该产品支持了INT4、INT8、FP8、FP16、BF16等多种浮点和定点数据类型，也支持了大模型特需的混合精度计算。尤其是在对FP8/INT4原生支持方面，该方案可获得2到4倍的计算吞吐提升。此外，支持多种并行及流水掩盖计算方式，实现计算资源的极致利用率。”
“作为一家致力于提供前沿的AI计算架构和高效能并行计算解决方案的通用计算芯片设计公司，奕行智能希望能以先进的计算架构、编译器软件工具为核心技术，通过RISC-V开放指令集生态提供新一代通用和专用计算加速解决方案，推动人类社会的进步和可持续的发展。”杨宜博士在演讲最后展望道。
在AI技术快速发展的浪潮中，计算架构正迎来全面升级的关键阶段。奕行智能通过创新性的软硬协同设计理念，为解决AI计算领域的核心矛盾提供了全新思路。未来，奕行智能将继续深化RISC-V生态建设，推动虚拟指令技术标准化，与更多产业伙伴携手构建开放、高效的AI计算生态系统。
在Software 3.0时代，只有通过持续的技术创新和架构突破，才能真正为数字经济发展注入强劲动力。正如杨宜博士在峰会上所展望的："我们正站在AI计算架构变革的历史节点上，RISC-V与虚拟指令技术的创新结合，将重新定义下一代智能计算的发展方向。"
