ZhangJiQun_MXP

​ 目录 在大语言模型中，生成文本的退出机制，受max_generate_tokens限制，并不是所有的问答都完整的跑完整个transformer模型  1. max_generate_tokens的

​ 目录 nanogpt怎么进行模型切片，以实现推理过程算力共享，切多头 1. 多头并行与数据并行结合 2. 模型切片策略 3. 多头并行实现 4. 注意事项 5. 示例说明 大语言模型推理过程中多头

通过前面的学习，介绍很多具体的数据结构的存储以及遍历的方式，过程中只是很表面地介绍了数据的存储，而没有涉及到更底层的有关的存储空间的分配与回收，从本节开始将做更深入地介绍。在使用早期的计算机上编写程序时，有关数据存储在什么位置等这样的问题都是需要程序员自己来给数据分配内存。而现在...

线性回归主要用来解决回归问题，也就是预测连续值的问题。而能满足这样要求的数学模型被称为“回归模型”。最简单的线性回归模型是我们所熟知的一次函数（即 y=kx+b），这种线性函数描述了两个变量之间的关系，其函数图像是一条连续的直线。还有另外一种回归模型，也就是非线性模型(nonli...

（forward-propagation）：指对神经网络沿着输入层到输出层的顺序，依次计算并存储模型的中间变量。（back-propagation）：沿着从输出层到输入层的顺序，依据链式法则，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。在神经网络算法还没流行前...

我们知道，深度学习的本质就是神经网络算法（深度学习是神经网络算法的一个分支）。理论上来说，在数据量和隐藏层足够多的情况下，神经网络算法能够拟合任何方程（函数）。神经网络算法是一种具有网络结构的算法模型，这决定了它具有非常好的延展性，通过调节神经网络中各个节点的权值参数使得分类效果...

数据结构，直白地理解，就是研究数据的存储方式。 我们知道，数据存储只有一个目的，即为了方便后期对数据的再利用，就如同我们使用数组存储 {1,2,3,4,5} 是为了后期取得它们的加和值，无缘由的数据存储行为是对存储空间的不负责任。 因此，数据在计算机存储空间的存放，决不是胡乱的，...

通过前面的学习我们知道，具有“一对一”逻辑关系的数据，最佳的存储方式是使用线性表。那么，什么是线性表呢？线性表，全名为线性存储结构。使用线性表存储数据的方式可以这样理解，即“把所有数据用一根线儿串起来，再存储到物理空间中”。如图 1 所示，这是一组具有“一对一”关系的数据，我们接...

前面学习数据结构的过程中，总是使用数组作为顺序表的底层实现，给我们一种 "数据结构中，数组的作用就是实现顺序表" 的错误认识。其实，数组的作用远不止于此。 本节将从数据结构的角度讲解数组存储结构。本节所讲的数组，要将其视为一种存储结构，与平时使用的数组基本数据类型区分开。一说起数...