首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
人工智能工程化(MLOps)
吃果冻不吐果冻皮
创建于2021-07-07
订阅专栏
MLOps实践
等 76 人订阅
共145篇文章
创建于2021-07-07
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
大模型分布式训练并行技术(七)-自动并行
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡
模型推理服务化框架Triton保姆式教程(三):开发实践
前面给大家分享了模型推理服务化框架Triton保姆式教程系列的快速入门和 架构解析,本文进行Triton开发实践的分享。 环境准备 准备镜像及依赖库安装 首先,拉取推理系统的服务端镜像(tritons
模型推理服务化框架Triton保姆式教程(二):架构解析
前面给大家分享了模型推理服务化框架Triton保姆式教程(一):快速入门,对于一款模型推理服务框架,通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么,针对每个点应该如何去解决,这是在进行推理
使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理
前几天,Meta 发布了 LIMA 大模型,在LLaMA-65B的基础上,无需使用 RLHF,只用了 1000 个精心准备的样本数据进行微调,就达到了和 GPT-4 相媲美的程度。这激发了我探索 LL
中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调
在大模型词表扩充必备工具SentencePiece一文中,我们提到了在目前开源大模型中,LLaMA无疑是最闪亮的星。但是,与 ChatGLM-6B 和 Bloom 原生支持中文不同。 LLaMA 原生
模型推理服务化框架Triton保姆式教程(一):快速入门
近年来,随着人工智能的快速发展,AI模型如雨后春笋般涌现。而整个AI模型的生命周期如下图所示,主要包括数据采集、数据预处理、模型训练、模型评估、模型部署、模型监控等环节。 而模型推理服务化是抽象
大杀器,多模态大模型MiniGPT-4入坑指南
ChatGPT的发布给大家带来了不少的震撼,而随后发布的GPT-4更是展现了非凡的多模态能力。但是,ChatGPT和GPT4官方公布的细节很少,OpenAI俨然走上了闭源之路,让广大AI从业者又爱又恨
一键式 RLHF 训练 DeepSpeed Chat(二):实践篇
之前给大家分享了一键式 RLHF 训练 DeepSpeed Chat(一):理论篇,本文给大家分享如何使用DeepSpeed Chat进行RLHF训练。 DeepSpeed Chat 的 RLHF 训
一键式 RLHF 训练 DeepSpeed Chat(一):理论篇
背景 近日,类ChatGPT模型引发了人工智能(AI)领域的一场风潮。 这场风潮对数字世界产生了革命性影响。类ChatGPT模型具有惊人的泛用性,能够执行归纳、编程、翻译等任务,其结果与人类专家相当甚
大模型的好伙伴,浅析推理加速引擎FasterTransformer
最近几个月,随着ChatGPT的现象级表现,大模型如雨后春笋般涌现。而模型推理是抽象的算法模型触达具体的实际业务的最后一公里。 但是在这个环节中,仍然还有很多已经是大家共识的痛点和诉求,比如: 任何线
大模型也内卷,Vicuna训练及推理指南,效果碾压斯坦福羊驼
2023开年以来,大模型进入疯狂内卷状态,大模型的发布都要以“天”为单位进行迭代。 继斯坦福羊驼(Stanford Alpaca)之后,UC伯克利、CMU、斯坦福等机构的学者,联手发布了最新开源大模型
使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调
之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调,本文给大家分享使用DeepSpeed和P-Tuning v2对ChatGLM-6B进行微调。 ChatGLM-6B简介 ChatGLM-
从0到1基于ChatGLM-6B使用LoRA进行参数高效微调
之前尝试了基于LLaMA使用LaRA进行参数高效微调,有被惊艳到。相对于full finetuning,使用LaRA显著提升了训练的速度。 虽然 LLaMA 在英文上具有强大的零样本学习和迁移能力,但
BELLE(LLaMA-7B/Bloomz-7B1-mt)大模型使用GPTQ量化后推理性能测试
之前尝试了基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化。但是,并没有针对量化后的模型的大小,模型推理时占用GPU显存以及量化后推理性能进行测试。 下面
足够惊艳,使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调,效果比肩斯坦福羊驼
之前尝试了从0到1复现斯坦福羊驼(Stanford Alpaca 7B),Stanford Alpaca 是在 LLaMA 整个模型上微调,即对预训练模型中的所有参数都进行微调(full fine-t
基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化
最近,ChatGPT、GPT4等大模型的突如其来,但对于普通大众,想要从头开始训练一个上百亿、千亿的大模型成本高昂,因此,开源平替是一个不错的选择。之前,尝试了从0到1复现斯坦福羊驼(Stanford
从0到1复现斯坦福羊驼(Stanford Alpaca 7B)
近日,Meta开源了他们的LLaMA系列模型,包含了参数量为7B/13B/33B/65B的不同模型,然而,原模型的效果较差(如生成的结果文不对题、以及无法自然地结束生成等)。因此,斯坦福的 Alpac
大模型实践总结
随着近期ChatGPT的迅速出圈,加速了的大模型时代变革。以Transformer、MOE为代表的大模型,传统的单机单卡训练模式肯定不能满足,这时候我们就需要
机器学习模型可视化(Slingshot)
数据可视化可以赋能任何企业。 这包括在以下方面的巨大改进: 业务流程 设计 发展 评估 因此,利用机器学习可视化也是您的业务所需要的。 什么是机器学习:要点 机器学习(或 ML)是人工智能(或 AI)
DataOps 数据开发入门
DataOps 方法承诺帮助企业以更少的错误更快地构建数据解决方案。然而,从理论到实践需要仔细规划。本文将概述该策略的基本原则,并为您提供一个框架,以启动您自己的 DataOps 计划并改进您的数据开
下一页