AIGC

这一节，我们将勇敢地走进了PTX和SASS的世界。我们将学习看PTX代码和SASS反汇编的工具cuobjdump和nvdisasm，并且观看普通计算和数学函数在GPU上是怎样的逻辑。

这节我们将介绍完了千问7b的模型的代码。凡是讲源码的肯定会遇到大量细节，这些细节也未必是值得花太多精力去抠的，但是原汁原味的代码还是能更精确地表达功能的真实含义。

最近发生的两件事情都比较有意思，一个是连续开源了7b和13b模型的百川，对其53b闭源了；另一个是闭源项目通义千问开源了自己的7b模型。 下面我们来看一下千问7b是如何实现的

本节我们借着讲ChatGLM2功能的机会，顺便把从CUDA一直到多GPU并行时要用到的量化方法完整地介绍了一遍。 如果你有哪些功能可以用CUDA设备代码进行加速的，那就毫不犹豫地去实现它吧！

在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whipser模型。

这一节我们会讲解如何在命令行和web服务中运行百川13b大模型以及如何通过量化的方法在更小的显存设备上运行

2023年的深度学习入门指南(21) - 百川大模型 前面我们用了三节的篇幅介绍了目前最强大的开源模型LLaMA2。这一节我们说一说国产大模型的一个代表，百川大模型。

上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA的Transformer结构

上一节我们学习了LLaMA 2的补全和聊天两种API的使用方法。本节我们来看看LLaMA 2的源码。

LLaMA 2是meta上周刚刚推出的最新开源大模型，最小只有7b的大小，编程接口跟openai的api很像，我们快将其跑起来吧。

就是因为神经网络的宽容性，给各种硬件优化带来了不小的空间。虽然目前大模型的训练基本只能使用NVidia GPU，但是未来的训练和推理一定还有很多可以优化的空间。

我们选取了一些线性代数，高等数学和概率论的知识点，来唤醒大家的记忆。同时，我们也介绍了它们在JAX上的实现和加速。 虽然我们的例子都不起眼，但它们是确确实实在TPU上跑起来的。

大模型的能力最另人惊讶的，一个是强大的能力，另一个就是时不时一本正经地胡说八道。如果你用的是小一点的模型，可能还见过输出循环内容之类的情况。我们将这种生成不良内容的现象称为幻觉

除了模型之外，还有数据和下游任务两部分。它们被忽视的重要原因是没有画在一张图上。 即使是在图上的部分，也并不一定是模型本身有升级，而可能是增加了其他的东西。

我们前面学习了用python在本机上写前端，也学习了使用HTML在本机写前端。 为了使用Web前端，我们需要写后端，也就是服务端代码。

LoRA的思想是将原始的权重矩阵分解为两个低秩矩阵的乘积，这样就可以大大减少参数量。其本质思想还是将复杂的问题拆解为简单的问题的组合。

使用gpt的时候，有很多技巧，比如问题要描述清晰，可以指定输出格式等等，这些跟用户输入相关的东西，是靠大模型编程解决不了的，这正是前端的用武之地。

前端对于用户更好地使用大模型有着不可替代的重要作用。大模型再强大，也需要前端将其转换成用户可以理解的操作。

Triton也是Openai的产品，虽然还在演进之中，但是可以做为优化的一个选项。和TVM和MLIR的并列的一个选项。

在Intel CPU还是8+4核20线程的时候，GTX 1060显卡做到1280个CUDA核，3060是3584个CUDA核。当我们有高并发任务的时候，应该毫不犹豫将其转到GPU运行