Albert_Liyan

Nsight Systems nsys status -e #示例，产生的nsight_validate3下载到本地用nsight工具查看 nsys profile -o ...

ModelLink：端到端的大语言模型方案, 包含模型，算法，以及下游任务 https://gitee.com/ascend/ModelLink 大模型加速库（多张计算卡进...

vLLM代码及逻辑介绍 参考： https://zhuanlan.zhihu.com/p/675322419...

BMCook（面向大模型NLP） TingHua 量化、剪枝、知识蒸馏 (只实现1个基本功能) 知识蒸馏： Hidden states MSE(业内通用机制) DeepSp...

``` import onnx from onnx import helper from onnx import TensorProto # 创建一个空的ONNX图 gra...

Target: 理解triton的架构和工作过程 overview design basic，并非软件库，偏应用型的软件 辅助功能 上手材料 ** 大厂自研推理框架 vs ...

deeplearning AI路线 理论基础 1 【暂时不看】吴恩达《Machine Learning》 课程视频+中文笔记 https://github.com/feng...

概念 Node.js, 简称Node，可以使js运行在服务器端的平台 1 Addons 插件、扩展，本质是C++动态链接库，提供js和C++ libs间的接口 2 动态链接...

zero-shot vs few-shot zero-shot: 给出简单的任务描述，模型推理结果，没有微调。 few-shot：任务描述+示例 SpAtten: Effi...

Introduction Pruning 1 什么是pruning 移除神经网络的突触、神经元，以使得神经网络更小。 在CV领域，AlexNet、VGG、GoogleNet...

深入浅出GPU优化系列：GEMM优化（一） https://zhuanlan.zhihu.com/p/435908830 深入浅出GPU优化系列：GEMM优化（二） htt...

GPU算力 GPU算力与 CUDA Core、Tensor Coer的数量和Boost Clock成正比。Ampere架构GA100、GA102配置如下： GA100: 包...

MindIE是什么 华为昇腾针对AI全场景的推理加速套件。分层开放AI能力，支撑AI业务需求，释放昇腾设备算力。 向上支持主流AI框架，向下对接不同类型昇腾处理器。 总体架...

Pytorch Eager模式 Eager Execution模式（即时执行模式）是指一种动态图计算模式，其中每个操作都立即被执行，而不是被先放入计算图中。这与静态图计算框...

二叉树遍历 先序（非递归） 先访问root节点，再left子树，再right子树 先序（递归） LRU缓存 题解思路：O(1) map + DLinkNode(双端队列) ...

237.删除链表中节点（中等） 题目描述：有一个单链表，给定节点node，需要删除这个node节点 题解：删除节点node必须找到前置节点，根据题意无法获取head节点，即...

快排、反转链表、最长有效括号、寻找重复数 215 数组中第k个最大元素 题解： 快速排序算法O(nlog(n)) 改进快速排序算法, 「快速选择」算法：在分解的过程当中，我...

1 什么是LangChain LangChain是一个开发框架，为构建LLMs支持的应用程序设计。 Chatbots 聊天系统 基于RAG的问答系统 基于SQL数据库搜索的...

Clion简单介绍 CLion是以IntelliJ为基础，专为开发C及C++所设计的跨平台IDE，可以在Windows、Linux及MacOS使用，这里我是在ubuntu ...

1 SpQR量化实践 Packages 参照github指导安装版本包：\ Datasets and tokenizer SpQR脚本会下载、缓存相关tokenizer、d...