旭伦

本节我们借着讲ChatGLM2功能的机会，顺便把从CUDA一直到多GPU并行时要用到的量化方法完整地介绍了一遍。 如果你有哪些功能可以用CUDA设备代码进行加速的，那就毫不犹豫地去实现它吧！

在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whipser模型。

这一节我们会讲解如何在命令行和web服务中运行百川13b大模型以及如何通过量化的方法在更小的显存设备上运行

2023年的深度学习入门指南(21) - 百川大模型 前面我们用了三节的篇幅介绍了目前最强大的开源模型LLaMA2。这一节我们说一说国产大模型的一个代表，百川大模型。

上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA的Transformer结构

上一节我们学习了LLaMA 2的补全和聊天两种API的使用方法。本节我们来看看LLaMA 2的源码。

LLaMA 2是meta上周刚刚推出的最新开源大模型，最小只有7b的大小，编程接口跟openai的api很像，我们快将其跑起来吧。

就是因为神经网络的宽容性，给各种硬件优化带来了不小的空间。虽然目前大模型的训练基本只能使用NVidia GPU，但是未来的训练和推理一定还有很多可以优化的空间。

我们选取了一些线性代数，高等数学和概率论的知识点，来唤醒大家的记忆。同时，我们也介绍了它们在JAX上的实现和加速。 虽然我们的例子都不起眼，但它们是确确实实在TPU上跑起来的。