AI_Echoes

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。 prompt-tune, 包括p-tuning、lora、p

检索增强生成(RAG) 优化策略篇 一、RAG基础功能篇 1.1 RAG 工作流程 二、RAG 各模块有哪些优化策略？ 三、RAG 架构优化有哪些优化策略？ 3.1 如何利用 知识图谱（KG）进行上下

大模型推理加速工具 —— vLLM vLLM 官网 https://vllm.ai/ vLLM 官方 Documentation: https://vllm.readthedocs.io/en/lat

大模型岗位面试全纪录，分享经历与感受 1、字节 AML (offer) : 字节一如既往的注重 coding，基本每一面两道题，自己能拿到 offer 也算是运气吧。一面的面试体验很差，可以说是毫无面

SwiftInfer —— 大模型无限流式输入推理飙升46%，打破多轮对话长度限制 StreamingLLM 篇 一、为什么需要 StreamingLLM？ 二、StreamingLLM 思路是什么？

阿里大模型算法校招面试题（一） 自我介绍 在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了 自信和沟通能力。 技术问题回答 self-attention 的计算方式?

LLMs 测试集 中 数据泄露 问题篇 一、什么是 LLMs 测试集数据泄露 问题？ 二、如何解决 LLMs 测试集数据泄露 问题？ 三、是否可以 避开训练集来处理 LLMs 测试集数据泄露 问题？

为什么大模型推理时显存涨的那么多还一直占着？ 大模型在gpu和cpu上推理速度如何？ 推理速度上，int8和fp16比起来怎么样？ 大模型有推理能力吗？ 大模型生成时的参数怎么设置？ 有哪些省内存的大

大模型怎么评测？ 当前superGLUE, GLUE, 包括中文的CLUE 的benchmark都在不太合适评估大模型。可能评估推理能力、多轮对话能力是核心。 大模型的honest原则是如何实现的？模