首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
吃果冻不吐果冻皮
掘友等级
🏆掘金签约作者|人工智能方向
公众号:吃果冻不吐果冻皮,专注于AI工程化(LLM/MLOps/LLMOps)落地。
获得徽章 17
动态
文章
专栏
沸点
收藏集
关注
作品
赞
17
文章 17
沸点 0
赞
17
返回
|
搜索文章
最新
热门
万字长文谈深度神经网络剪枝综述
0 摘要 现代深度神经网络,特别是最近的大语言模型,具有巨大的模型大小,需要大量的计算和存储资源。为了在资源受限的环境中部署现代模型并加快推理时间,研究人员越来越多地探索剪枝技术。从2020年到202
大模型国产化适配7-华为昇腾LLM落地可选解决方案(MindFormers、ModelLink、MindIE)
随着 ChatGPT 的现象级走红,引领了AI大模型时代的变革,从而导致 AI 算力日益紧缺。与此同时,中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前也分享过一
大模型剪枝技术原理(一)-概述
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。而大
突破内存瓶颈,使用 GaLore 一张4090消费级显卡也能预训练LLaMA-7B
前几天被内存高效训练方法 GaLore 刷屏,下面来实测一下其效果。 GaLore 核心思想 梯度低秩投影(GaLore)是一种全量参数学习的训练策略,但比常见的低秩自适应方法(例如:LoRA)更节省
LESS 实践:仅用少量的数据完成目标指令微调
之前的文章 LESS:仅选择5%有影响力的数据优于全量数据集进行目标指令微调 中详细讲述了LESS,本文对其进行实践。 LESS 核心思想 LESS 核心思想通过仅给出少数体现特定能力的示例,从大量指
LESS:仅选择5%有影响力的数据优于全量数据集进行目标指令微调
本文给大家分享一篇论文(LESS: Selecting Influential Data for Targeted Instruction Tuning)用于选择有影响力的少量数据进行目标指令调优。
大模型量化技术原理-ZeroQuant系列
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。 模
大模型量化技术原理-SpQR
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。 模
高效微调技术QLoRA实战,基于LLaMA-65B微调仅需48G显存,真香
之前在大模型参数高效微调技术原理综述(五)-LoRA、AdaLoRA、QLoRA一文中,讲述了QLoRA的技术原理。该技术核心思想就是在不降低任何性能的情况下微调量化为 4 bit的模型。光说不练假把
AI编译器技术剖析(三)-树模型编译工具 Treelite 详解
近年来,AI应用程序已经无处不在。比如:智能家居设备由自然语言处理(NLP)和语音识别模型驱动,自动驾驶技术以计算机视觉模型为支柱。通常这些AI模型会部署在云平台、专用计算设备以及物联网传感器的内置微
下一页
个人成就
文章被点赞
439
文章被阅读
405,145
掘力值
11,194
关注了
20
关注者
442
收藏集
4
关注标签
18
加入于
2021-07-06