嵌入式视觉

本文总结了我在 2022 年的各方面总结，包括学习、考试、生活、工作等，既是自己的总结，又是自己的心路历程，希望能够共勉。

所谓量化，其实可以等同于低精度（Low precision）概念，常规模型精度一般使用 FP32（32 位浮点数，单精度）存储模型权重参数，低精度则表示使用 INT8、FP16 等权重数值格式。

本文是ChatGPT算法技术解析的第二篇，图解GPT的技术细节与发展史，以及Encoder VS Decoder之战的精彩细节。

本文主要从模型推理角度去总结论文，因此没有涉及到数据集处理、模型训练及试验报告的细节，只介绍了 LLaMA 模型的主要思想以及模型结构的细节，最后介绍一些基于 LLaMA finetune 的模型。

本文为《机器学习》西瓜书第2、5、9章第学习笔记，与原书第区别在于对关键知识点进行了内容提炼和给出了较为详细的公式推导，针对经典聚类算法，给出了自己的精简复现代码。

asterTransformer 包含 Transformer 块的高度优化版本的实现，其中包含编码器 Encoder 和解码器 Decoder部分。基于 FT 可以运行完整的编码器-解码器架构模型。

本文详细解析了Transformer整体模型结构，并深入分析了各个layer层的原理及给出了计算公式，针对每个 layer、block 都给出了较为详细的代码实现方便深入理解网络结构。

在自然语言处理中，Token 是指一段文本中的基本单位，通常是一个词、一个词组或者一个字符。Tokenization 是将一段文本分解为一系列的 Token 的过程。

ViT 在 Transformer 架构的视觉模型的地位类似 ResNet模型。因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），是Transformer在CV的奠基之作。