20240110 大模型应用快讯

61 阅读1分钟

百度董事长兼CEO李彦宏曾说:“创业公司卷大模型没有意义,卷应用机会更大。”

  1. 荣耀出品MagicOS 8.0

    由荣耀出品,研发7B的魔法大模型,通过量化压缩等手段部署在手机端侧运行。端侧大模型可以在保证个人数据隐私的同时,实现AI能力的个性化定制。魔法大模型加持的MagicOS本质上还是一个智能体,它可以根据用户的意图,例如从用户的短信中预判出差时间地点,智适应调度差旅App,提供订票信息。

  2. 基于FPGA的大模型推理流程FlightLLM

    由无问穹芯、清华大学和上海交大联合推出,基于FPGA部署LLAMA2-7B,解决了大模型稀疏模式带来的计算效率低下,decode阶段导致的低带宽利用率和动态性引发的编译开销大等问题。推理速度优于V100s,能效超过V100s和A100。

    原文:FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs

    论文来源:arxiv.org/pdf/2401.03…

  3. 提升口语的虚拟人Hi Echo

    由网易有道推出,可实现与用户的近实时陪聊,提供口语打分报告和语言表达的AI润色建议和对话提示。