端智能|青训营笔记

158 阅读2分钟

青训营笔记 这是我参与「第四届青训营 」笔记创作活动的第21天

端智能是指把深度学习算法模型应用和部署到设备上,即手机、物联网IoT设备等。

优点:

  1. 低延迟:运算均在手机端完成,无需网络,手机端也更能够实时反馈用户当前的操作。
  2. 隐私:数据只在手机端使用,无需上传云端,可更好地保护用户隐私数据。
  3. 算力:移动端设备越来越强大,算力越来越高。
  4. 低成本:在手机计算,利用手机算力和存储空间,可节省大量的云端计算和存储资源。
  5. 端云协同:手机端上算力、内存等受限,但是其便携;云端有海量数据和充足算力资源,两者互补可以发挥各自优势。

有点类似NVIDIA的DLSS等技术,厂商首先在云端利用庞大的算力,用深度学习对画面进行采样、学习、优化,多次执行以后,把收集到的最佳运算数据打包作为驱动技术的一部分下发到驱动更新,更新后本地显卡硬件就按照收到的运算方式去执行相应的运算,既提高了帧数,几乎不影响画面的同时还降低了硬件负载。反映到端智能,似乎就是在每次应用更新的时候,把云端最新运算的数据模型下发,更新优化手机端存在的深度学习算法模型,使其更高效、节能。

主要步骤:

  1. 模型压缩和转换:移动端使用的是被优化的推理引擎,可以在不同CPU和GPU架构下高效的执行模型推理计算。
  2. 数据收集:开源方式,合成数据,数据增广:旋转,平移,缩放变换等
  3. 模型设计:通过调整神经元个数和层数让预测更精确;神经元和层数越多相应耗时也会增加,需要综合权衡考虑。
  4. 模型训练:搭建训练环境,训练样本处理,模型构建、训练,验证样本准确度 总结: 步骤:问题描述和定义——>设计机器学习解决方案——>数据收集——>模型设计、训练——>模型压缩、转换 ——>部署到移动端——>收集输入,推理预测——>拿到结果,执行业务策略