AI_Echoes

大模型领域包含许多专业术语，以下是一些关键术语的解释： 人工智能（AI）： 是指使计算机系统能够模拟人类智能行为，以执行任务、解决问题和学习的科学和技术。 大型语言模型（L...

一、什么是大模型幻觉？ 在语言模型的背景下，幻觉指的是一本正经的胡说八道：看似流畅自然的表述，实则不符合事实或者是错误的。 二、为什么LLM会产生幻觉？ 有一些研究也在致力...

1 Byte-Pair Encoding(BPE)  如何构建词典？ 准备足够的训练语料;以及期望的词表大小； 将单词拆分为字符粒度(字粒度)，并在末尾添加后缀“”，统计单...

增量预训练（Pretrain）样本拼接篇 一、Pretrain阶段，为什么需要拼接拼接？ 二、有哪些 拼接方式？ 2.1 拼接方式一：Random Concatenate ...

当前优化模型最主要技术手段有哪些？ 算法层面：蒸馏、量化 软件层面：计算图优化、模型编译 硬件层面：FP8（NVIDIA H系列GPU开始支持FP8，兼有fp16的稳定性和...

一、大语言模型RLHF中的PPO主要分哪些步骤？ 二、举例描述一下 大语言模型的RLHF？ 三、大语言模型RLHF 采样篇 什么是 PPO 中 采样过程？ 介绍一下 PPO...

多模态常见面试 一、最近关注的论文，多模态视觉大模型(CLIP,DALLE)？ 二、blip2的架构，优势和之前多模态模型的区别？ 三、多模态融合后，怎样知道最终结果受哪种...

一、为什么需要进行pdf解析？ 最近在探索ChatPDF和ChatDoc等方案的思路，也就是用LLM实现文档助手。在此记录一些难题和解决方案，首 先讲解主要思想，其次以问题...

为什么需要 AMP混合精度训练？ PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。release说明的标题是： Stable release of a...

一、什么是生成式大模型？ 二、大模型是怎么让生成的文本丰富而不单调的呢？三、LLMs 复读机问题 什么是 LLMs 复读机问题？ 为什么会出现 LLMs 复读机问题？ 如何...

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。 prompt-tune, 包括p...

检索增强生成(RAG) 优化策略篇 一、RAG基础功能篇 1.1 RAG 工作流程 二、RAG 各模块有哪些优化策略？ 三、RAG 架构优化有哪些优化策略？ 3.1 如何利...

大模型推理加速工具 —— vLLM vLLM 官网 https://vllm.ai/ vLLM 官方 Documentation: https://vllm.readthe...

大模型岗位面试全纪录，分享经历与感受 1、字节 AML (offer) : 字节一如既往的注重 coding，基本每一面两道题，自己能拿到 offer 也算是运气吧。一面的...

SwiftInfer —— 大模型无限流式输入推理飙升46%，打破多轮对话长度限制 StreamingLLM 篇 一、为什么需要 StreamingLLM？ 二、Strea...

阿里大模型算法校招面试题（一） 自我介绍 在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了 自信和沟通能力。 技术问题回答 self-att...

LLMs 测试集 中 数据泄露 问题篇 一、什么是 LLMs 测试集数据泄露 问题？ 二、如何解决 LLMs 测试集数据泄露 问题？ 三、是否可以 避开训练集来处理 LLM...

为什么大模型推理时显存涨的那么多还一直占着？ 大模型在gpu和cpu上推理速度如何？ 推理速度上，int8和fp16比起来怎么样？ 大模型有推理能力吗？ 大模型生成时的参数...

大模型怎么评测？ 当前superGLUE, GLUE, 包括中文的CLUE 的benchmark都在不太合适评估大模型。可能评估推理能力、多轮对话能力是核心。 大模型的ho...

基于LLM+向量库的文档对话 基础面 LLMs 存在模型幻觉问题，请问如何处理？ 大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。这是由于大...