Albert_Liyan

linux进程内存占用打印 1 shell脚本 使用方式 monitor.sh 或者简短命令： 2 C++代码...

背景：优化CPU后端常规网络训练性能，性能profiling采用关键步骤打点方式，性能优化时精度不变化。 1 网络脚本优化 1.1 消除训练后推理，复用训练的正向输出 st...

1 小型化 常见模型转换场景： 概念： ONNX(Open Neural Network Exchange) onnx是针对机器学习的开放文件格式，用于存储训练模型。ONN...

1 什么是NEON技术 NEON就是一种基于SIMD思想的ARM技术，相比于ARMv6或之前的架构，NEON结合了64-bit和128-bit的SIMD指令集，提供128-...

1 Conv Channel概念 输入通道数是3，卷积核通道个数是3（输入通道个数 等于 卷积核通道个数），每个通道都需要跟一个卷积核做卷积运算，然后将结果相加得到一个特征...

1 问题背景 运行环境x86，业务模型推理运行对内存有极致要求，需要降低运行内存。 2 定位分析 用valgrind的massif工具，在x86服务器抓一下日志。 执行命令...

1 回溯算法 伪代码 2 阶乘 172 阶乘后的零 思路：尾部零数量等于因子10的个数 -》因子5个数 25！因子5个数=25/5 + 25/25 = 6 125! 因子5...

1 区间问题 1288. 删除被覆盖区间 思路： 1 排序intvs，注意按照start升序、end降序 2 left、right，遍历统计覆盖区间，3种情况 数组可以直接...

1 System.arraycopy 使用场景：数组比较大。使用的是内存复制，省去了大量的数组寻址访问等时间。 如果是复制一个一维数组，那么改变复制后的数组并不影响原数组。...

vs-code 1 如何创建文章目录 CTR+SHIFT+P -> Markdown: Create Table of Contents 参考：VSCode Markdow...

目标：梳理完整的LLM训练流程 1 模型预训练（Pretrain） 1.1 Tokenizer Training 1.2 Language Model PreTrainin...

Transformer encode-base模型，推理和训练过程高度统一（差异仅仅是否存在反向），而decoder-base模型（如GPT、LLama2），推理与训练差异...

LLM推理原理 一条请求推理过程： 1 从prompt token序列开始，如下黄色部分; 2 推理迭代过程中，每次生成一个token，直到生成结束token或达到toke...

推理流程 从输入文本，到推理输出文本，LLama2模型处理流程如下： step1 Tokenization 输入数据：一个句子或一段话。通常表示成单词或字符序列。 Toke...

2017年《Attention Is All You Need》发表，Transfomer模型已成为NLP领域的首选模型。 Transfomer抛弃RNN的顺序结构，采用s...

LLaMA.cpp 项目：Inference of Meta's LLaMA model (and others) in pure C/C++。 开发者Georgi Ger...

LLaMa2开源基模型申请、下载 1 申请模型 访问meta 申请模型 注意地区限制，选择HK或其他国家；组织可以填no organization。 2 下载模型 提交申请...

报错：XHR failed 解决方法: 手动下载安装包,手动传入服务器端. 1 登录远程服务器; 2 查看commit-id 3 替换下载连接中的COMMIT_ID, 手动...

AI+5G AI（人工智能）和 5G 是当今时代最具变革性的两项技术。两者结合有可能彻底改变我们的生活和工作方式。 消费者场景 智慧城市：包括智能交通系统（减少交通拥堵）、...

什么是RAG 1 RAG原理 RAG（Retrieval Augmented Generation, 检索增强生成），即LLM在回答问题或生成文本时，先会从大量文档中检索出...