书生大模型实战营第四期基础岛-书生大模型全链路开源体系

122 阅读1分钟

书生大模型实战营第四期基础岛-书生大模型全链路开源体系

一、关于书生大模型全链路开源体系

书生大模型全链路开源开放体系是由上海人工智能实验室推出的一套完整的大模型生态系统。该体系包含了从数据收集整理、数据标注、模型训练、模型微调、模型评测,到基于模型的agent、RAG、搜索引擎,最后到AI应用的部署的全链路解决方案,并且所有工具和方案都已开源。

二、书生浦语开源时间线及每一代模型的性能天梯

开源时间线

image.png

性能天梯

image.png

三、关于书生浦语2.5

特点

  1. 综合推理能力优秀
  2. 支持100万字上下文
  3. 自主规划和搜索完成复杂任务(基于大语言模型的搜索引擎工具)

核心技术思路

数据驱动

image.png

高质量合成数据

image.png

大海捞针实验(是否可准确找到任何位置任何信息)

image.png

开源模型谱系

image.png

四、开源体系

image.png

image.png

image.png

预训练InternEvo image.png

微调XTuner

image.png

image.png

OpenCompass评测体系

image.png

部署LMDeploy

image.png

智能体

image.png

image.png

企业级知识库构建工具

image.png

五、总结

书生大模型全链路开源开放体系的发布,为用户提供了从数据处理、预训练链、微调、部署、评估到实际应用的完整解决方案,降低了大模型研发和应用的门槛,推动了通用人工智能的进步。