吃果冻不吐果冻皮

0 摘要 现代深度神经网络，特别是最近的大语言模型，具有巨大的模型大小，需要大量的计算和存储资源。为了在资源受限的环境中部署现代模型并加快推理时间，研究人员越来越多地探索剪枝技术。从2020年到202

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前也分享过一

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。而大

前几天被内存高效训练方法 GaLore 刷屏，下面来实测一下其效果。 GaLore 核心思想 梯度低秩投影（GaLore）是一种全量参数学习的训练策略，但比常见的低秩自适应方法（例如：LoRA）更节省

之前的文章 LESS：仅选择5%有影响力的数据优于全量数据集进行目标指令微调 中详细讲述了LESS，本文对其进行实践。 LESS 核心思想 LESS 核心思想通过仅给出少数体现特定能力的示例，从大量指

本文给大家分享一篇论文（LESS: Selecting Influential Data for Targeted Instruction Tuning）用于选择有影响力的少量数据进行目标指令调优。

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模

之前在大模型参数高效微调技术原理综述（五）-LoRA、AdaLoRA、QLoRA一文中，讲述了QLoRA的技术原理。该技术核心思想就是在不降低任何性能的情况下微调量化为 4 bit的模型。光说不练假把