Albert_Liyan

Nsight Systems nsys status -e #示例，产生的nsight_validate3下载到本地用nsight工具查看 nsys profile -o nsight_validat

ModelLink：端到端的大语言模型方案, 包含模型，算法，以及下游任务 https://gitee.com/ascend/ModelLink 大模型加速库（多张计算卡进行计算）第三方大模型加速库：

vLLM代码及逻辑介绍 参考： https://zhuanlan.zhihu.com/p/675322419

BMCook（面向大模型NLP） TingHua 量化、剪枝、知识蒸馏 (只实现1个基本功能) 知识蒸馏： Hidden states MSE(业内通用机制) DeepSpeed 框架重点关注大模型在

``` import onnx from onnx import helper from onnx import TensorProto # 创建一个空的ONNX图 graph = helper.ma

Target: 理解triton的架构和工作过程 overview design basic，并非软件库，偏应用型的软件 辅助功能 上手材料 ** 大厂自研推理框架 vs Triton 1 快速认识t

deeplearning AI路线 理论基础 1 【暂时不看】吴恩达《Machine Learning》 课程视频+中文笔记 https://github.com/fengdu78/Coursera-

概念 Node.js, 简称Node，可以使js运行在服务器端的平台 1 Addons 插件、扩展，本质是C++动态链接库，提供js和C++ libs间的接口 2 动态链接库，运行时动态加载的库，例如

zero-shot vs few-shot zero-shot: 给出简单的任务描述，模型推理结果，没有微调。 few-shot：任务描述+示例 SpAtten: Efficient Sparse A