人工智能工程化（MLOps）

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡

前面给大家分享了模型推理服务化框架Triton保姆式教程系列的快速入门和 架构解析，本文进行Triton开发实践的分享。 环境准备 准备镜像及依赖库安装 首先，拉取推理系统的服务端镜像(tritons

前面给大家分享了模型推理服务化框架Triton保姆式教程（一）：快速入门，对于一款模型推理服务框架，通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么，针对每个点应该如何去解决，这是在进行推理

前几天，Meta 发布了 LIMA 大模型，在LLaMA-65B的基础上，无需使用 RLHF，只用了 1000 个精心准备的样本数据进行微调，就达到了和 GPT-4 相媲美的程度。这激发了我探索 LL

在大模型词表扩充必备工具SentencePiece一文中，我们提到了在目前开源大模型中，LLaMA无疑是最闪亮的星。但是，与 ChatGLM-6B 和 Bloom 原生支持中文不同。 LLaMA 原生

近年来，随着人工智能的快速发展，AI模型如雨后春笋般涌现。而整个AI模型的生命周期如下图所示，主要包括数据采集、数据预处理、模型训练、模型评估、模型部署、模型监控等环节。 而模型推理服务化是抽象

ChatGPT的发布给大家带来了不少的震撼，而随后发布的GPT-4更是展现了非凡的多模态能力。但是，ChatGPT和GPT4官方公布的细节很少，OpenAI俨然走上了闭源之路，让广大AI从业者又爱又恨

之前给大家分享了一键式 RLHF 训练 DeepSpeed Chat（一）：理论篇，本文给大家分享如何使用DeepSpeed Chat进行RLHF训练。 DeepSpeed Chat 的 RLHF 训

背景 近日，类ChatGPT模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。类ChatGPT模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚

最近几个月，随着ChatGPT的现象级表现，大模型如雨后春笋般涌现。而模型推理是抽象的算法模型触达具体的实际业务的最后一公里。 但是在这个环节中，仍然还有很多已经是大家共识的痛点和诉求，比如： 任何线

2023开年以来，大模型进入疯狂内卷状态，大模型的发布都要以“天”为单位进行迭代。 继斯坦福羊驼（Stanford Alpaca）之后，UC伯克利、CMU、斯坦福等机构的学者，联手发布了最新开源大模型

之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调，本文给大家分享使用DeepSpeed和P-Tuning v2对ChatGLM-6B进行微调。 ChatGLM-6B简介 ChatGLM-

之前尝试了基于LLaMA使用LaRA进行参数高效微调，有被惊艳到。相对于full finetuning，使用LaRA显著提升了训练的速度。 虽然 LLaMA 在英文上具有强大的零样本学习和迁移能力，但

之前尝试了基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化。但是，并没有针对量化后的模型的大小，模型推理时占用GPU显存以及量化后推理性能进行测试。 下面

之前尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-t

最近，ChatGPT、GPT4等大模型的突如其来，但对于普通大众，想要从头开始训练一个上百亿、千亿的大模型成本高昂，因此，开源平替是一个不错的选择。之前，尝试了从0到1复现斯坦福羊驼（Stanford

近日，Meta开源了他们的LLaMA系列模型，包含了参数量为7B/13B/33B/65B的不同模型，然而，原模型的效果较差（如生成的结果文不对题、以及无法自然地结束生成等）。因此，斯坦福的 Alpac

随着近期ChatGPT的迅速出圈，加速了的大模型时代变革。以Transformer、MOE为代表的大模型，传统的单机单卡训练模式肯定不能满足，这时候我们就需要

数据可视化可以赋能任何企业。 这包括在以下方面的巨大改进： 业务流程 设计 发展 评估 因此，利用机器学习可视化也是您的业务所需要的。 什么是机器学习：要点 机器学习（或 ML）是人工智能（或 AI）

DataOps 方法承诺帮助企业以更少的错误更快地构建数据解决方案。然而，从理论到实践需要仔细规划。本文将概述该策略的基本原则，并为您提供一个框架，以启动您自己的 DataOps 计划并改进您的数据开