这是我参与「第四届青训营」笔记创作活动的第6天

端智能技术演进与实践

什么是端智能技术

是把机器学习/深度学习算法模型应用和部署到端设备上，这里的“端设备”是相对于云服务而言的，可以使手机，也可以是物联网IOT设备。

好处：

• 1.Low Latency:低延迟、实时性高
• 2.Offline:可离线
• 3.Power:端设备算力越来越强大
• 4.Low Cost:低成本
• 5.Privacy:保护隐私

端云协同：端智能不是云智能的替代，是云端机器学习的延伸，是要结合云和端各自的优势，在云端之间合理分配任务以获取问题最优解。

端智能技术实践案例

端智能案例落地套路

1.问题与方案

• 问题描述和定义
• 设计机器学习解决方案

2.训练AI模型

• 数据收集
• 模型设计与训练
• 模型压缩与转换

3.AI模型在移动端部署应用

• 模型部署到移动端

  简单方法：将模型放在app包体内assets目录下

  进阶做法：通过url动态下载，支持动态更新，同时减小包体积

• 收集输入推理预测

  • 加载模型
  • 构建模型输入
  • 执行推理预测
  • 获取推理运行结果

• 拿到结果执行业务策略

为什么要做模型压缩和转换？ 移动端使用的是被优化的推理引擎，可以再不同的CPU和GPU架构下更高效的执行模型推理计算

端智能工程师学习路线

1.入门

达成：对端智能技术有一定的认识，可以协作完成端智能技术的需求落地

• 了解端智能是什么，可以做什么
• 掌握移动端开发、Machine Learning基础知识，了解业内端智能框架
• 理解怎么做端智能，可以协作完成端智能技术解决实际业务问题的需求落地 2.进阶

达成：对移动端技术、端智能技术和负责业务有更深入的理解，可以站在更全面的视野上设计端智能解决方案，建设端上智能架构

标题：端智能技术演进与实践|青训营笔记