人工智能与大模型

Tensor的概念、在机器学习中的位置、稀疏张量与稠密张量、数学概念回忆、Tensor数据类型，代码实操等

有用性、安生性、RHLF、SFT等是LlaMA一直调用的几个点。LlaMA最近出了一款代码生成的LlaMA，都是以LlaMA1为基础构，并在此基础上更新迭代。

LlaMA意义重大，原论文干货较多，至少不是报告，也是部分国内大牌LLMs的基础，值得多啃一啃，原文:Llama 2: Open Foundation and Fine-Tuned Chat Mode

大模型显著特点是可以从少量的示例集合(demonstrations)中就学到新规则。例如，我们向模型输入`苹果->红色， 青柠->绿色 , 玉米 -> ` 就得到`玉米`对应的`黄

在今年(2023)云栖大会上，通义千问2.0发布，为其做测评的有：CMMLU、MMLU、C-EVM8k、Gaokao-Bench、AGIEval、MATH、BBH、HumanEval、MBPP、榜单等

目前人工智能的概念层出不穷，容易搞混，理清脉络，有益新知识入脑。 人工智能 三大派系 符号主义(Symbolists) 基于逻辑推理的智能模拟方法。最喜欢的算法是：规则和决策树。符号主义的代表性成果有

T5(Text-to-Text Transfer Transformer) 是一个文本到文本迁移的基于Transformer的NLP模型，通过将所有任务统一视为一个输入文本并输出到文本(Text-to

BERT inputs 切词方法 BERT的切词方法用的是WordPiece embeddings，其思想是如果一个词在整个里面出现的概率不大的话，就应该把它切开，看他的一个子序列，如果它的一个子序列

概述 BERT是一个双向transformer编码器的言表示模型。来自论文：BERT: Pre-training of Deep Bidirectional Transformers for Lang

TensorBoard 在数据训练过程中，我们需要一个可观化的工具查看数据的变化过程、状态，TensorBoard就是这样的一组这样的数据可视化的工具。 TensorBoard在训练过程中很有用, 特

dataloader的详细介绍与实操代码，并做了详细注解。 dataloader的主要用途是dataset中抽取数据，如何取/取多少等由dataloader的参数设置的。

Torchvision torchvision是pytorch的一个图形库，它服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。 数据集准备 - CIFAR10 官网地址：请入查看该数据

随手手册，希望对初学者有用，更适用于主技术栈非python，偶尔需要用python和pytorch的JYM的入门速查. 想从事AI方向的JYM，是绕不开Python和Pytorch，对于有经验的程序员

Decode架构 而Decoder比Encoder多了一个Multi-Head Attention，共有两个个Multi-Head Attention 第一个 Multi-Head Attention

Encoder架构：Encoder:主要包含Input、前馈神经网络、多头注意力和Add&Norm，而Input Embedding与Position ...

多头注意力是Transformer的特色项目，也是讨论最多模块之一： 上图中，Encoder与Decoder中红色圈中的部分为 Multi-Head Attentio

（上图来自Transformer架构图片段) 由图可见：encoder的输入层和decoder的输入层是一样的结构，都是由token embedding（词向量） 和 positional embed

继 《Transformer模型-2-模型架构》笔者该文章中将分享Transformer的基本工作流程。 第一步: 获取输入句子中每一个单词的向量X。 向量获取: 假设有一个1000千万的数据按词(早

Transformer模型详解-1-概述 Transformer模型详解-2-整体架构 Transformer模型详解-3-输入模块 - 建设中 Transformer模型详解-4-多头注意力机制与自

--- theme: v-green --- # Transformer是什么 Transformer是目前最流行的特征抽取器。 从BERT、T5到GPT都是基于Transformer...一时轰动