AI系统

AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍，我们已经了解了 AI 系统的重要性。本节将介 AI 系统的设计目标、组成和生态，让读者形成 AI 系统的知识体系。

AI 起源于上世纪五十年代，经历了几次繁荣与低谷，直到 2016 年谷歌旗下的 DeepMind 发布 AlphaGo 程序赢得与世界围棋冠军的比赛，大众对 AI 的关注与热情被重新点燃。

虽然 AI 在今年取得了举世瞩目的进展与突破，但是其当前基于的核心理论神经网络等，在这波浪潮开始前已经基本奠定，并经历了多次的起起伏伏。

AI 的历史与现状 本文将介绍 AI 的由来、现状和趋势，让大家能够了解 AI 应用的由来与趋势，为后面理解 AI 系统的设计形成初步的基础。在后面章节介绍的人工智能系统（AI System）奠定基础

我给领导汇报AI框架用函数式编程好，没讲明白，说函数式就是写函数那样方便，都被领导吊飞了，啥玩意，写啥不是写函数，狗屁不通！ 网上搜说用tensorflow那就是用声明式编程，用pytorch就是命令

都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构

天天被领导叼飞问我什么是AI框架？我一个搞营销的人没办法把这事情说清楚，求爷爷求奶奶把话说的技术点，毕竟我是工科生毕业。 领导说堆积木，炒锅，AI操作系统这样的比喻狗屁不通，天天被叼飞。

在大模型训练过程中，我们应该如何分析PP的性能占比和耗时。首先需要有一个理论的评价指标，根据理论的评价指标对比，具体使用哪种流水并行策略，看看实际大模型训练的Profiling结果.

《AI推理引擎：核心原理》这个系列的内容：从推理系统整体架构开始，然后到模型小型化、模型压缩，在真正推理之前需要进行模型转换和图优化，最后到kernel和runtime优化。

【AI编译器】深度学习的编译与优化就是将当前的深度学习计算任务通过一层或多层中间表达进行翻译和优化，最终转化成目标硬件上的可执行代码的过程。

【AI框架核心技术】这个系列，主要是跟大家一起探讨和学习人工智能、深度学习的计算机系统设计，而整个系统是围绕着我在工作之余所积累、梳理、构建关于AI框架的一些核心技术内容。

前向操作符重载自动微分实现 在这篇文章里，ZOMI会介绍是怎么实现自动微分的，因为代码量非常小，也许你也可以写一个玩玩。前面的文章当中，已经把自动微分的原理深入浅出的讲了一下，也引用了非常多的论文。

第一篇自动微分原理文章中我们大概初步谈了谈从手动微分到自动微分的过程，第二篇自动微分正反模式中深入了自动微分的正反向模式具体公式和推导。 实际上第二章了解到正反向模式只是自动微分的原理模式，在实际代码

自动微分的两种模式 上一篇文章我们简单了解了计算机中常用的几种微分方式。 本章将深入介绍AI框架离不开的核心功能自动微分，而自动微分则是分为前向微分和后向微分两种实现模式。

**自动微分**（Automatic Differentiation，AD）是一种对计算机程序进行高效准确求导的技术，本章将从常见的微分方法开始介绍，然后深入自动微分基本概念。

Vision Transformer（ViT）简介 近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大的促进了自然语言处理模型的发展。

在深度学习框架中，分布式训练的通讯原语和通讯实现方式对AI框架分布式训练起着非常重要的作用，如果想要训练大模型（Foundation Model）肯定离不开进行通讯操作。

过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕抓数据中的微小变化信息，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础而提出的。

相比于FP32表示的神经网络，二值化可以用XNOR或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累加等复杂的运算来实现卷积操作，从而节省内存和计算。

深度学习这几年特别火，就像5年前的大数据一样，不过深度学习其主要还是属于机器学习的范畴领域内，所以这篇文章里面我们来唠一唠机器学习和深度学习的算法流程区别。