MLOps/LLMOps

目前，由于大模型参数量显著激增，从而导致模型变得越来越大。因此，需要一些大模型压缩技术来降低模型部署的成本，

机器学习数据科学家努力构建模型，用于解决业务问题。然而，在部署模型时，会遇到一些挑战，例如如何扩展模型、模型如何与应用程序内部或外部的不同服务交互、如何实现重复操作等。为了克服这些问题，Kuberne

如何在 Kubernetes 上部署模型 Kubernetes 是一个容器编排平台，用于管理容器化应用程序。 它是用于自动化容器管理过程的重要部分，例如：容器复制、扩展、监控和调度。 它是一个用 Go

近年来，AI应用程序已经无处不在。比如：智能家居设备由自然语言处理（NLP）和语音识别模型驱动，自动驾驶技术以计算机视觉模型为支柱。通常这些AI模型会部署在云平台、专用计算设备以及物联网传感器的内置微

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡

前面给大家分享了模型推理服务化框架Triton保姆式教程系列的快速入门和 架构解析，本文进行Triton开发实践的分享。 环境准备 准备镜像及依赖库安装 首先，拉取推理系统的服务端镜像(tritons

前面给大家分享了模型推理服务化框架Triton保姆式教程（一）：快速入门，对于一款模型推理服务框架，通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么，针对每个点应该如何去解决，这是在进行推理

前几天，Meta 发布了 LIMA 大模型，在LLaMA-65B的基础上，无需使用 RLHF，只用了 1000 个精心准备的样本数据进行微调，就达到了和 GPT-4 相媲美的程度。这激发了我探索 LL

在大模型词表扩充必备工具SentencePiece一文中，我们提到了在目前开源大模型中，LLaMA无疑是最闪亮的星。但是，与 ChatGLM-6B 和 Bloom 原生支持中文不同。 LLaMA 原生

近年来，随着人工智能的快速发展，AI模型如雨后春笋般涌现。而整个AI模型的生命周期如下图所示，主要包括数据采集、数据预处理、模型训练、模型评估、模型部署、模型监控等环节。 而模型推理服务化是抽象

ChatGPT的发布给大家带来了不少的震撼，而随后发布的GPT-4更是展现了非凡的多模态能力。但是，ChatGPT和GPT4官方公布的细节很少，OpenAI俨然走上了闭源之路，让广大AI从业者又爱又恨

之前给大家分享了一键式 RLHF 训练 DeepSpeed Chat（一）：理论篇，本文给大家分享如何使用DeepSpeed Chat进行RLHF训练。 DeepSpeed Chat 的 RLHF 训

背景 近日，类ChatGPT模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。类ChatGPT模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚

最近几个月，随着ChatGPT的现象级表现，大模型如雨后春笋般涌现。而模型推理是抽象的算法模型触达具体的实际业务的最后一公里。 但是在这个环节中，仍然还有很多已经是大家共识的痛点和诉求，比如： 任何线

2023开年以来，大模型进入疯狂内卷状态，大模型的发布都要以“天”为单位进行迭代。 继斯坦福羊驼（Stanford Alpaca）之后，UC伯克利、CMU、斯坦福等机构的学者，联手发布了最新开源大模型

之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调，本文给大家分享使用DeepSpeed和P-Tuning v2对ChatGLM-6B进行微调。 ChatGLM-6B简介 ChatGLM-

之前尝试了基于LLaMA使用LaRA进行参数高效微调，有被惊艳到。相对于full finetuning，使用LaRA显著提升了训练的速度。 虽然 LLaMA 在英文上具有强大的零样本学习和迁移能力，但

之前尝试了基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化。但是，并没有针对量化后的模型的大小，模型推理时占用GPU显存以及量化后推理性能进行测试。 下面

之前尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-t