智泊AI

1、前缀调优 前缀调优(PrefixTuning)是一种轻量级的微调替代方法，专门用于自然语言生成任务。 前缀调优的灵感来自于语言模型提示，前缀就好像是“虚拟标记”一样，这...

受到澳大利亚吉朗应用人工智能研究所Scott Barnett 等人的论文《Seven Failure Points When Engineering a Retrieval...

在深度学习中，注意力机制模仿了人类在处理信息时的选择性关注能力，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。注意力机制通过计算查询向...

SFT 是什么? SFT(Supervised Fine-Tuning) 是监督微调的缩写，主要用于计算机科学领域，特指在预训练模型(如大语言模型)基础上，通过少量标注数据...

自然语言处理(NaturalLanguage Processing，NLP)是人工智能的一大分支领域，其主要目的是让机器理解人类的语言文字，从而执行一系列任务。 通常来说，...

一、智能体的定义与分类 1. 什么是智能体 智能体（Agent）作为先进的人工智能实体，通过持续感知外部环境、自主决策并执行行动来达成预设目标。其架构具备环境感知、动态决策...

GPU并行计算是什么？ GPU（Graphics Processing Unit Parallel Computing）并行计算是一种利用图形处理单元的硬件架构，通过大规模...

1、什么是Embedding？ Embedding(嵌入)是指把文本(也可能包括图像、视频等其他模态数据)转成能表达语义信息的浮点数向量，向量之间的数学距离可以反映对应文本...

1、不同微调方法的epoch选择策略 全量微调 全量微调由于更新所有参数，通常需要更少的epoch。 对于大多数任务，1-3个epoch已经足够，超过5个epoch往往导致...

1、KV是什么？ 定义: 在生成式任务中，将历史输入的Key-Value向量缓存到内存，避免重复计算，显著提升长文本生成效率。 想象你和朋友唠嗑 不用KV缓存: 你问: “...

1、什么是困惑度？ 困惑度(Perplexity，简称 PPL)是衡量语言模型性能的一个核心指标，反映模型在预测下一个词时的不确定性大小。 通俗理解： 困惑度低 → 模型对...

归一化是什么？它与标准化有什么区别？ 归一化是一种数据预处理技术，通过缩放数据特征到统范围(如0到1或者-1到1)以减少不同特征的量纲差异 归一化的主要作用是提高训练稳定性...

虚假的岗位增涨 AI岗位不是没增长，而是长在了非常上游的位置，比如： 基础模型团队: 设计Transformer结构LLM scaling、multi-modal alig...

1、什么是SFT？ SFT，全称是 Supervised Fine-tuning(有监督微调)，在大语言模型中通常指“指令微调”。 它是在大模型经过预训练、具备通用语言能力...

01 开篇 在强化学习(RL)中，如果我们只知道“做对了能拿多少分”，那往往还不够，因为单纯追求高分可能带来种种副作用，比如过度搜索、模型不稳定、甚至“走捷径”而偏离合理范...

CLIP(Contrastive Language-lmage Pre-training) CLIP是由OpenAl提出的多模态对比学习模型通过400万组互联网图文对预训练...

1、什么是上下文工程？ 这几天在AI圈，一个新词频频刷屏: Context Engineering(上下文工程)，就连大神 Karpathy 都为它站台！ 这个概念，其实是...

1、BGE词嵌入模型架构 BGE模型采用Transformer的Encoder架构： Encoder架构的词嵌入模型 数据格式: [CLS]句子A [SEP]句子B [SE...

1、什么是模型量化？ 模型量化(Model Quantization)是指将深度学习模型中原本以高精度浮点数(如 FP32、FP16)存储和计算的权重、激活值等参数，转换为...

1、什么是CLIP? 一句话解释 CLIP 是啥? CLIP 是 OpenAl 开源的一种多模态预训练模型。 它能将图像和文字“翻译”成同一种语言: 一串数字(向量)，并让...