余磬TuT

1. 什么是大模型幻觉（Hallucination）？ 大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。处理大语言模型的模型幻觉问题需要采取一些方法和策略，通过挂载文档

1. 传统 Attention 存在哪些问题？ 传统的 Attention 机制忽略了源端或目标端句子中词与词之间的依赖关系。 传统的 Attention 机制过度依赖 Encoder-Decoder

1. 当前优化模型最主要技术手段有哪些？ 当前优化模型最主要技术手段概括来说有以下三个层面： 算法层面：蒸馏、量化 软件层面：计算图优化、模型编译 硬件层面：FP8（NVIDIA H系列GPU开始支持

1. 介绍一下 FFN 块？ FFN（Feed-Forward Network）块是 Transformer 模型中的一个重要组成部分，用于对输入数据进行非线性变换。它由两个全连接层（即前馈神经网络）

1. Layer Norm 的计算公式是怎样的，如何使用代码实现？ 其中 μ 为 x 的均值，σ 为 x 的方差，γ 和 β 是可训练的模型参数，γ 是缩放参数，新分布的方差 γ2 ； β 是平移系数

1. 对模型进行指令微调需要注意什么？ 在选择好需要微调的一个大语言模型之后。比如chatglm、llama、bloom等，要想使用它，得了解三个方面：输入数据的格式、tokenization、模型的

1. 为什么需要进行继续预训练？ 我们新增加了一些中文词汇到词表中，但是这些词汇是没有得到训练的，因此在进行指令微调之前我们要进行预训练。预训练的方式一般都是相同的，简单来说，就是根据上一个字预测下一

1. 为什么需要构建中文 tokenization？ 2. 如何对原始数据预处理？ 3. 如何构建中文的词库？ 目前比较主流的是使用 sentencepiece 来训练中文词库。安装指令也很简单：pi

1. Byte-Pair Encoding(BPE) 如何构建词典？ 设定最大subwords个数。 将所有单词拆分为单个字符，并且在最后添加一个停止符，同时标记处该单词出现的次数。 统计每一个 连续