浙江大学公开课|第二季|大小模型端云协同赋能人机交互

48 阅读5分钟

大家好,我是吾鳴。

之前吾鳴给大家分享过由浙大出品的DeepSeek公开课,内容之广,课程质量之高,它们分别是:

AI大模型如何破局传统医疗|浙江大学|DeepSeek系列公开课|第二季

生成式人工智能赋能智慧司法及相关思考|浙江大学|DeepSeek系列公开课|第二季

浙江大学|DeepSeek系列公开课|第二季|DeepSeek技术溯源及前沿探索

浙江大学公开课|第二季|从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例

浙江大学公开课|第二季|智能金融:AI 驱动的金融变革

浙江大学公开课|第二季|人工智能重塑科学与工程研究

第一期(上):吴飞(浙江大学)DeepSeek:回望AI三大主义与加强通识教育

第一期(下):Chatting or Acting?——DeepSeek的突破边界与“浙大先生”的未来图景(浙江大学 陈文智)

第二期(上):孙凌云(浙江大学)DeepSeek:智能时代的全面到来和人机协作的新常态

第二期(下):王则可(浙江大学)DeepSeek模型优势:算力、成本角度解读

第三期(上):陈静远(浙江大学)语言解码双生花:人类经验与AI算法的镜像之旅

第三期(下):吴超(浙江大学)走向数字社会:从Deepseek到群体智慧

第四期(上):陈建海(浙江大学)DeepSeek的本地化部署与AI通识教育之未来

第四期(下):朱朝阳(浙江大学)DeepSeek之火,可以燎原

今天吾鳴要再给大家分享由浙江大学出品的公开课第二季第四期,它的主题是关于大小模型端云协同赋能人机交互,公开课分别从AI发展背景与趋势、端云协同技术框架与算法、跨异构模型与任务的知识迁移、推荐系统中的端云协同应用、人机交互与端智能体技术等方面展开,一共55页PPT,文末附上报告和视频下载地址。

内容摘要

AI发展背景与趋势
介绍AI领域的宏观背景,包括马斯克关于硅基生命主导未来的预言、ChatGPT引发的“AI的iPhone时刻”概念,以及大模型技术对社会的变革性影响。同时提及DeepSeek等模型在算力受限条件下的创新实践,强调端云协同技术的必要性。

端云协同技术框架与算法
定义端云协同的核心概念(边缘设备与云端模型协作),分析大模型(云端通用计算)与小模型(端侧实时响应)的互补性。提出协同算法如调度协同(基于反馈机制)和生成协同(ModelGPT框架),后者通过大模型快速生成定制化小模型,速度比传统微调快270倍,并在多模态任务中验证性能优势。

跨异构模型与任务的知识迁移
针对传统知识迁移方法在异构模型、任务和模态上的局限性,提出统一框架MergeNet。该框架通过参数适配和协同训练实现跨架构知识迁移,实验表明其在图像分类、问答等任务中显著优于传统蒸馏方法(如Top-1准确率提升至66.51%)。

推荐系统中的端云协同应用
分析云推荐系统的延迟高、模型更新慢等问题,提出端侧部署轻量模型实时感知用户兴趣,结合因果推理动态请求云端大模型的方案。实验显示该方法降低通信开销至原始3%,提升经济效益(如购买率增长22.82%),并解决隐私与效率的平衡问题。

人机交互与端智能体技术
探讨语音助手、多模态大模型在操作系统中的应用(如InfiGUIAgent 3B),强调端侧智能体的多步推理与反思能力。同时研究环境注入攻击对OS Agent的威胁(如提示注入、对抗样本),提出防御策略。实验验证自反思训练提升模型推理能力20%。

总结与未来方向
归纳端云协同在推荐系统、跨域迁移等场景的价值,强调“人工”与“智能”的结合,提出人机双向价值对齐的重要性。引用李飞飞观点,指出未来需培养善用AI工具的人才,并展望异构知识迁移、高效参数定制等研究方向。

精彩内容

报告下载地址:kdocs.cn/l/ci1DfElGC…