大家好，我是蕪鳴。
今天吾鳴要给大家分享一份大模型常见的面试题以及答案，面试体包含大模型的基础面、进阶面、LLaMa系列问题、微调面、LangChain框架以及基于LLM+向量库的文档对话。PDF一共60页，涵盖常见面试题，文末附上完整版下载地址。
内容摘要
- 基础面
涵盖主流开源模型体系（如GPT、BERT、XLNet等）的架构与特点，对比了Prefix LM与Causal LM的区别，分析了大模型涌现能力的原因（数据量、计算能力、模型架构改进等），介绍了大模型的核心架构（Transformer、自注意力机制等），并详细讨论了LLMs的“复读机问题”（成因及缓解方法）。 - LLaMA系列问题
探讨LLaMA模型的输入长度限制、模型选择策略（如Bert、LLaMA、ChatGLM的适用场景），各领域是否需要独立大模型的必要性（领域知识、语言风格差异），以及处理长文本的技术（分块、层次建模、注意力优化等）。 - 微调面
包括全参数微调的显存需求估算、SFT后模型性能劣化原因（数据偏移、过拟合）、指令微调数据构建方法、领域模型预训练数据选取与知识注入策略，缓解模型遗忘通用能力的方法（增量学习、保留通用数据），多轮对话微调步骤，灾难性遗忘的解决方案（重播缓冲区、弹性权重共享），显存优化技巧，样本优化策略（数据增强、标签平衡），以及训练中文大模型的经验（分词、数据增强、预训练模型选择）。 - LangChain框架
定义LangChain及其核心概念（Components、Chains、Prompt Templates、Agents等），介绍其功能（构建聊天机器人、生成问答）、使用方法（API调用、提示模板修改、组件链接）、支持特性（流式处理、输出解析器），分析其问题（概念复杂、数据类型不统一）及替代方案。此外，结合代码示例说明如何通过LangChain调用LLM生成回复、管理对话历史等。 - 基于LLM+向量库的文档对话
从基础面到优化面，讨论文档对话的实现思路（文档向量化、相似度计算、对话生成），核心技术（大语言模型、向量库、语义匹配），Prompt模板构建方法（查询类型、上下文参数化）。优化部分聚焦痛点问题：文档切分粒度权衡（主题建模、动态切分）、垂直领域优化（领域微调、外部知识库）、召回策略（索引构建、查询扩展）、生成高质量Response的方法（数据增强、上下文建模、多模态融合），以及问答分句效果改进（标点引入、结合NLP工具）。
精彩内容
报告下载地址：kdocs.cn/l/ci1DfElGC…
