机器学习框架----MediaPipe

1,044 阅读2分钟

本文已参与[新人创作礼]活动,一起开启掘金创作之路

1、MediaPipe Google 多媒体机器学习框架

        https://google.github.io/mediapipe/

MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。基于图形的跨平台框架,用于构建多模式(视频,音频和传感器)应用的机器学习管道。

MediaPipe 可在移动设备、工作站和服务器上跨平台运行,并支持移动 GPU 加速。使用 MediaPipe,可以将应用的机器学习管道构建为模块化组件的图形

在谷歌,一系列重要产品,如 、Google Lens、ARCore、Google Home 以及 ,都已深度整合了 MediaPipe

还支持 TensorFlow 和 TF Lite 的推理引擎(Inference Engine),任何 TensorFlow 和 TF Lite 的模型都可以在 MediaPipe 上使用。同时,在移动端和嵌入式平台,MediaPipe 也支持设备本身的 GPU 加速。

     MediaPipe 的核心框架由 C++ 实现,并提供 Java 以及 Objective C 等语言的支持。MediaPipe 的主要概念包括数据包(Packet)、数据流(Stream)、计算单元(Calculator)、图(Graph)以及子图(Subgraph)。数据包是最基础的数据单位,一个数据包代表了在某一特定时间节点的数据,例如一帧图像或一小段音频信号;数据流是由按时间顺序升序排列的多个数据包组成,一个数据流的某一特定时间戳(Timestamp)只允许至多一个数据包的存在;而数据流则是在多个计算单元构成的图中流动。MediaPipe 图是有向的——数据包从数据源(Source Calculator或者 Graph Input Stream)流入图直至在汇聚结点(Sink Calculator 或者 Graph Output Stream) 离开。

安装以及使用详细讲官方文档

应用:

(1)基于虹膜(iris)测距

     https://ai.googleblog.com/2020/08/mediapipe-iris-real-time-iris-tracking.html

———————————————— 版权声明:本文为CSDN博主「jaccen」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:blog.csdn.net/jaccen2012/…