Qwen1.5系列的首个千亿参数开源模型

前言

近期开源社区陆续出现了千亿参数规模以上的大模型，这些模型都在各项评测中取得杰出的成绩。而25日Qwen团队也终于推出了属于他们的开源1100亿参数的Qwen1.5系列。

Qwen1.5采用了Transformer解码器架构。它包含了分组查询注意力（GQA），这能让它模型推理时更加高效。 该模型支持32K tokens的上下文长度，同时它还支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。

数据评估

从官网给出的数据来看，新的Qwen系列中的110B模型在基础能力方面至少与Llama-3-70B模型相媲美。 在这个模型中，Qwen并没有对预训练的方法进行大幅改变，因此官方也认为与72B相比的性能提升主要来自于增加模型规模。

值得一提的是，Gwen团队还在MT-Bench和AlpacaEval 2.0上进行了Chat评估。与之前发布的72B模型相比，在两个Chat模型的基准评估中，110B表现显著更好。 评估结果的持续改善表明，即使在没有大幅改变后训练方法的情况下，更强大、更大规模的基础语言模型也可以带来更好的Chat模型。

总结

随着Qwen团队推出1100亿参数的Qwen1.5系列模型，开源社区在大模型领域的竞争愈发激烈。算力在这一进步中扮演了至关重要的角色。训练和运行如此庞大参数规模的模型，需要巨大的计算资源和高效的算法支持。

而这在AI中充当核心的算力，在我们厚德云就可以找到！如果你对算力感兴趣或是有需求，不妨点击链接www.houdeyun.cn来我们厚德云官方看看！

厚德云是一款专业的AI算力云平台，为用户提供稳定、可靠、易用、省钱的GPU算力解决方案。海量GPU算力资源租用，就在厚德云。