大模型面试笔记

1、什么是PEFT微调？ PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是一种针对大型预训练模型的微调技术。旨在只更新模型中的极少量参数，而冻结大部分预训练参

1、为什么需要位置编码？ Transformer基于自注意力机制，无法直接理解元素顺序 2、绝对位置编码和相对位置编码的区别 核心区别在与表征逻辑和适用场景： 1）绝对位置编码：给每个位置分配固定的位

1、原始Seif-Attention有什么问题？ Self-Attention的时间和空间复杂度都是二次方 -->序列过长，算法速度会变慢，消耗很高的内存 2、Flash-Attention 动机：加