YAYI-Ultra：中国企业终于等来『全能大脑』！开源企业级AI『混合专家』横扫金融舆情中医领域，最长生成20万字报告

蚝油菜花
99 阅读5分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🏢 “财务部要报表、市场部追舆情、研发部催代码...企业到底需要多少个AI？”

大家好，我是蚝油菜花。当你的企业还在为不同部门采购专用AI工具时，中科闻歌的 YAYI-Ultra 已经用「混合专家」架构重新定义企业智能中枢：

  • 💡 金融分析师用它自动生成财报解读
  • 🔍 公关团队靠它实时追踪全网舆情
  • 🧪 中医药企通过它解析古方配伍规律...

这款支持 128k超长文本输入 的国产大模型，就像雇佣了数学博士+舆情专家+中医世家的全能团队。从20万字标书精炼到跨领域决策支持，一个模型搞定所有专业需求——企业数字化转型，终于不用再玩“AI叠叠乐”！

🚀 快速阅读

YAYI-Ultra 是一款企业级大语言模型，具备多领域专业能力和多模态内容生成能力。

  1. 多领域专业能力：支持数学、代码、金融等多个领域的专家组合，缓解垂直领域迁移中的“跷跷板”现象。
  2. 多模态内容生成：支持图文并茂的输出，能根据用户的问题从知识库中提取相关信息，并同步给出对应的图片内容。

YAYI-Ultra 是什么

YAYI-Ultra

YAYI-Ultra （雅意）是中科闻歌研发的企业级大语言模型的旗舰版本，具备强大的多领域专业能力和多模态内容生成能力。它支持数学、代码、金融、舆情、中医、安全等多个领域的专家组合，能够缓解垂直领域迁移中的“跷跷板”现象。YAYI-Ultra 支持最长128k的输入和更长的上下文窗口，具备1000万+图文数据对齐的多模态能力，支持多轮对话角色扮演、内容安全风控以及10+智能插件调用。

YAYI-Ultra 旨在为企业提供高效、准确的语言处理解决方案，尤其在需要跨领域知识融合的场景中表现出色。通过混合专家架构，YAYI-Ultra 能够在不同领域之间实现平滑切换，避免了单一模型在特定领域表现不佳的问题。

YAYI-Ultra 的主要功能

  • 多领域专业能力：YAYI-Ultra 是混合专家模型，支持数学、代码、金融、舆情、中医、安全等多种领域专家组合，缓解稠密模型在垂直领域迁移过程中普遍存在的“跷跷板”现象。
  • 多模态内容生成：支持图文并茂的输出，能根据用户的问题从知识库中提取相关信息，同步给出对应的图片内容。
  • 超长文输出：支持最长20万字输入和10万字超长输出，形成从“输入理解”到“内容创作”的全链路长文本能力闭环。
  • 数据分析与可视化：能准确完成数据分析、计算和图表绘制任务。
  • 复杂任务智能规划：YAYI-Ultra 增强了多工具串行调用场景下的规划合理性，能将复杂任务拆解为多个子任务，通过调用搜索引擎、代码解释器、图像解析等基础工具，以及新闻热榜追踪、传播影响力分析等垂直领域工具来完成任务。
  • 联网智能创作：支持联网收集信息完成创作，例如写一篇关于中国儒家文化发展历史的分析报告。

YAYI-Ultra 的技术原理

  • 混合专家架构：YAYI-Ultra 采用混合专家模型架构，支持多种领域专家组合，如数学、代码、金融、舆情、中医、安全等。能显著缓解稠密模型在垂直领域迁移过程中普遍存在的“跷跷板”现象，为不同领域提供高精度、低能耗的智能化解决方案。
  • 指令微调与数据驱动：YAYI-Ultra 的训练基于大规模的高质量多语言语料，结合指令微调技术，在不同领域和任务上表现出色。

如何运行 YAYI-Ultra

1. 环境安装

  1. 克隆本仓库内容到本地环境
git clone https://github.com/wenge-research/YAYI2.git
cd YAYI2
  1. 创建 conda 虚拟环境
conda create --name yayi_inference_env python=3.8
conda activate yayi_inference_env
  1. 安装依赖
pip install transformers==4.33.1
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install accelerate==0.25.0

2. Base 模型推理代码

from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("wenge-research/yayi2-30b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("wenge-research/yayi2-30b", device_map="auto", trust_remote_code=True)
inputs = tokenizer('The winter in Beijing is', return_tensors='pt')
inputs = inputs.to('cuda')
pred = model.generate(
    **inputs, 
    max_new_tokens=256, 
    eos_token_id=tokenizer.eos_token_id, 
    do_sample=True,
    repetition_penalty=1.2,
    temperature=0.4, 
    top_k=100, 
    top_p=0.8
)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝