余磬TuT

1. 什么是思维链提示？ 思维链(Chain-of-thought，CoT)，指的是一系列有逻辑关系的思考步骤，形成一个完整的思考过程。人在日常生活中，随时随地都会用思维链来解决问题，比如工作、读书经

1. 什么是大模型幻觉（Hallucination）？ 大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。处理大语言模型的模型幻觉问题需要采取一些方法和策略，通过挂载文档

中英文混合输出是文本转语音(TTS)项目中很常见的需求场景，尤其在技术文章或者技术视频领域里，其中文文本中一定会夹杂着海量的英文单词，我们当然不希望AI口播只会念中文，Bert-vits2老版本

1. 传统 Attention 存在哪些问题？ 传统的 Attention 机制忽略了源端或目标端句子中词与词之间的依赖关系。 传统的 Attention 机制过度依赖 Encoder-Decoder

1. 当前优化模型最主要技术手段有哪些？ 当前优化模型最主要技术手段概括来说有以下三个层面： 算法层面：蒸馏、量化 软件层面：计算图优化、模型编译 硬件层面：FP8（NVIDIA H系列GPU开始支持

1. 介绍一下 FFN 块？ FFN（Feed-Forward Network）块是 Transformer 模型中的一个重要组成部分，用于对输入数据进行非线性变换。它由两个全连接层（即前馈神经网络）

1. Layer Norm 的计算公式是怎样的，如何使用代码实现？ 其中 μ 为 x 的均值，σ 为 x 的方差，γ 和 β 是可训练的模型参数，γ 是缩放参数，新分布的方差 γ2 ； β 是平移系数

导语 Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。 链接：https://arxiv.org/a

1. 对模型进行指令微调需要注意什么？ 在选择好需要微调的一个大语言模型之后。比如chatglm、llama、bloom等，要想使用它，得了解三个方面：输入数据的格式、tokenization、模型的