ZhangJiQun_MXP

​ 目录 在大语言模型中，生成文本的退出机制，受max_generate_tokens限制，并不是所有的问答都完整的跑完整个transformer模型  1. max_generate_tokens的

​ 目录 nanogpt怎么进行模型切片，以实现推理过程算力共享，切多头 1. 多头并行与数据并行结合 2. 模型切片策略 3. 多头并行实现 4. 注意事项 5. 示例说明 大语言模型推理过程中多头

也许你现在想的是，已经有像卷积网络这样表现非常出色的网络了，为什么还需要其他类型的网络呢？有一个需要用到 RNN 的特殊例子。为了解释 RNN，你首先需要了解序列的相关知识，我们先来讲一下序列。序列是相互依赖的（有限或无限）数据流，比如时间序列数据、信息性的字符串、对话等。在对话...

Google开发的TensorFlow是最受欢迎的深度学习库之一。它提供了一个全面和灵活的平台，用于建立和部署机器学习模型。TensorFlow支持多种语言，包括Python、C++和Java，并且可

通过前面的学习，介绍很多具体的数据结构的存储以及遍历的方式，过程中只是很表面地介绍了数据的存储，而没有涉及到更底层的有关的存储空间的分配与回收，从本节开始将做更深入地介绍。在使用早期的计算机上编写程序时，有关数据存储在什么位置等这样的问题都是需要程序员自己来给数据分配内存。而现在...

深度优先搜索的过程类似于树的先序遍历，首先从例子中体会深度优先搜索。首先任意找一个未被遍历过的顶点，例如从 V1 开始，由于 V1 率先访问过了，所以，需要标记 V1 的状态为访问过；然后遍历 V1 的邻接点，例如访问 V2 ，并做标记，然后访问 V2 的邻接点，例如 V4 （做...

使用图结构表示的数据元素之间虽然具有“多对多”的关系，但是同样可以采用顺序存储，也就是使用数组有效地存储图。 使用数组存储图时，需要使用两个数组，一个数组存放图中顶点本身的数据（一维数组），另外一个数组用于存储各顶点之间的关系（二维数组）。存储图中各顶点本身数据，使用一维数组就足...

我们知道，数据之间的关系有 3 种，分别是 "一对一"、"一对多" 和 "多对多"，前两种关系的数据可分别用线性表和树结构存储，本节学习存储具有"多对多"逻辑关系数据的结构——图存储结构。图 1 所示为存储 V1、V2、V3、V4 的图结构，从图中可以清楚的看出数据之间具有的"多...

n个结点构造多本节要讨论的是当给定 n（n>=0）个结点时，可以构建多少种形态不同的树。回溯算法，又称为“试探法”。解决问题时，每进行一步，都是抱着试试看的态度，如果发现当前选择并不是最好的，或者这么走下去肯定达不到目标，立刻做回退操作重新选择。这种走不通就回退再走的方法就是回溯...