端智能技术演进与实践 | 青训营笔记

168 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的第12天。本文主要对端智能入门课程进行学习的笔记。

端智能(On-Device Machine Learning)

把机器/深度学习算法模型应用和部署到端设备上。(端设备包括手机、物联网loT设备等)

特点:

  1. 低延迟、实时性高
  2. 保护隐私:数据只在端侧使用,无需上传云端,更好保护用户隐私
  3. 算力
  4. 可离线
  5. 低成本
  6. 端云协同:端智能是云端机器学习的衍生,是结合云和端各自的优势,合理分配任务以获得问题的最优解

端智能案例步骤

  1. 问题描述和定义,并调研处通过机器学习解决问题的方法。
  2. 设计和训练机器学习模型,并针对端侧设备优化和转换模型
    • 数据来源
      • 开源数据(MNIST)
      • 合成数据
      • 人工手机和标注数据
        • 设计和实际需求贴合的一个数据采集程序
        • 兼顾不同变量:年龄、性别、惯用手等等
    • 数据增广
      • 旋转、平移、缩放变换
  3. 把优化后模型部署和集成到端侧设备应用中,执行推理预测

在线模拟演示神经网络模型设计的神器网站: 神经网络模型设计网站

手写数字识别

image.png 置信度:0.0-1.0

将录入的图片灰化,分隔为28,再28 * 28作为训练。

左右手

卷积神经网络模型

image.png

迭代模拟 image.png

运用

端智能工程师学习路线

image.png

  1. 入门

image.png

  1. 进阶

image.png

对移动端技术、端智能技术和负责业务有更深的理解,可以站在更全面的事业上设计端上智能解决方案,建设端上智能架构。

总结

  1. AI算法模型部署和应用到端侧
  2. 优势:Latency\Offline\Privacy\Power\Cost
  3. 发展历程和框架