AI_Echoes

LLMs 测试集 中 数据泄露 问题篇 一、什么是 LLMs 测试集数据泄露 问题？ 二、如何解决 LLMs 测试集数据泄露 问题？ 三、是否可以 避开训练集来处理 LLM...

为什么大模型推理时显存涨的那么多还一直占着？ 大模型在gpu和cpu上推理速度如何？ 推理速度上，int8和fp16比起来怎么样？ 大模型有推理能力吗？ 大模型生成时的参数...

大模型怎么评测？ 当前superGLUE, GLUE, 包括中文的CLUE 的benchmark都在不太合适评估大模型。可能评估推理能力、多轮对话能力是核心。 大模型的ho...

基于LLM+向量库的文档对话 基础面 LLMs 存在模型幻觉问题，请问如何处理？ 大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。这是由于大...

LLaMA 常见面试题篇 一、相比较于llama而言，llama2有哪些改进，对于llama2是应该如何finetune？ 一、相比较于llama而言，llama2有哪些改...

阿里大模型算法校招面试题（一） 自我介绍 在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。 技术问题回答 self-atte...

大模型常见面试题 大模型相关的面试问题通常涉及模型的原理、应用、优化以及面试者对于该领域的理解和经验。以下是一些常见的 大模型面试问题以及建议的回答方式： 请简述什么是大模...

相似度函数篇 一、除了cosin还有哪些算相似度的方法 二、了解对比学习嘛？ 三、对比学习负样本是否重要？负样本构造成本过高应该怎么解决？ 一、除了cosin还有哪些算相似...

什么是 LangChain? LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组 件和接口，可简化创建由大型语言模型...

大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇 一、RAG 有哪些优点？ 二、RAG 存在哪些局限性？ 三、为什么 需要 RAG-Fusion？ 四、说一...

基于lora的llama2二次预训练 一、为什么需要 对 llama2 做 基于lora的二次预训练? 二、基于lora的llama2二次预训练 的目标是什么？ 三、基于l...

大模型外挂知识库优化——如何利用大模型辅助召回？ 一、为什么需要使用大模型辅助召回？ 策略一： HYDE 介绍一下 HYDE 思路？ 介绍一下 HYDE 问题？ 策略二： ...

1. 为什么需要 思维树 Tree of Thoughts（TOT）？ 1. 什么是 思维树 Tree of Thoughts（TOT）？ 1. 思维树 Tree of T...

一、基于LLM+向量库的文档对话 基础面 为什么 大模型 需要 外挂(向量)知识库？ 如何 将 外部知识 注入 大模型，最直接的方法：利用外部知识对大模型进行微调 思路：构...

一、前言 介绍 本次选用百度百科——藜麦数据（https://baike.baidu.com/item/藜麦/5843874）模拟个人或企业私域数据 ，并基于langcha...

LoRA 系列篇 一、LoRA篇 1.1 什么是 LoRA？ 1.2 LoRA 的思路是什么？ 1.3 LoRA 的特点是什么？ 1.4 简单描述一下 LoRA? 二、QL...

为什么大模型推理时显存涨的那么多还一直占着？ 大模型在gpu和cpu上推理速度如何？ 推理速度上，int8和fp16比起来怎么样？ 大模型有推理能力吗？ 大模型生成时的参数...

大模型外挂知识库优化——负样本样本挖掘篇 一、为什么需要构建负难样本？ 二、负难样本构建方法篇 2.1 随机采样策略（Random Sampling）方法 2.2 Top-...

transformers 操作篇 如何 利用 transformers 加载 Bert 模型？ 如何 利用 transformers 输出 Bert 指定 hidden_s...

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。prompt-tune, 包括p-...