这是我参与「第四届青训营 」笔记创作活动的第7天
该笔记主要是对青训营第六课知识点的简单总结和自己的小思考。
端智能技术演进与实践
什么是端智能技术
端智能是指把机器学习/深度学习算法模型应用和部署到端设备上(端设备是相对于云服务而言的,可以是手机,也可以是物联网IoT设备)
为什么要做端智能
Low Latency:低延迟、实时性高
Offline:可离线
Power:端设备算力越来越强大
Low Cost:低成本
Privacy:保护隐私
端云协同:端智能不是云智能的替代,是云端机器学习的延伸,是要结合云和端各自的优势,在云端之间合理分配任务以获取问题最优解
【腾讯OCR文字识别项目:文档框选和分割的部分在端上用小模型实时做的,而OCR的排版与分析是在云端上由更大的模型完成】
端侧机器学习框架
Google:Tensorflow Lite、ML Kit
华为:HiAI、ML Kit
Meta:PyTorch Mobile、PyTorch Live
Apple:CoreML
腾讯:NCNN、TNN
阿里:MNN
百度:Paddle-Lite
小米:Mace
字节:ByteNN、Pitaya
快手:KwaiNN、Ykit
其他……
端智能技术实践案例
案例:抖音换装特效、离线文字识别、肢体检测、手势识别
手写数字识别:
需求背景:App要做一个手写输入法模块,支持输入数字,如何实现?
端智能案例落地的套路:
问题和方案:问题描述和定义--》涉及机器学习解决方案
训练AI模型:数据收集--》模型设计/模型训练--》模型压缩/模型转化
AI模型在移动端部署应用:模型部署到移动端--》收集输入推理预测--》拿到结果执行业务策略