论文阅读

ViT 试图将 Transformers 架构应用在图像分类上，它所做的工作更多的是为 Transformer 设计一个接口。本篇讨论了论文中的一些细节，包括 inductive bias 和实验结果

Mistral 7B 是小模型的典型例子，本文简单介绍了它使用的 GQA 与 SWA 两种技术改进。