HanSomeLing

llava这篇文章提到的主要的3点贡献： 1、提出一种构建多模态指令数据集的方法，并构建了一套多模态指令数据集 ； 2、提出了一个新的多模态图文模型； 3、提出了一个多模态指令测试的benchmark

今天介绍一下我的另外一个开源项目：Zero-Qwen-VL。 这个项目项目的初衷是想训练一个对中文支持更友好的图文多模态模型，所以挑了qwen-vl的图片编码器，语言模型选择了qwen2。

的数据训练一个比较好，这里我做了一个小实验，看看选择哪个tokenizer效果更好。 由于我需要从头训练一个中英文的模型，所以这里选择了开源tokenizer：qwen2（通义千问的分词器）、glm4

今天我们来分析和对比一下目前比较流行的几个开源LLM在模型结构上有什么区别，这里挑选的openai的gpt2、llama、qwen2、mistral和olmo。