.NET 6.0 中 WPF + YOLOv5 + OpenCvSharp 摄像头实时识别

345 阅读2分钟

简介

机缘巧合下写的一个工程,本来是作为商家视觉识别上位机的替代品,但是最后没用上,因此只开发了一半(厂家升级了摄像头和软件)

该工程基于 WPF 的 .NET 6.0 + MVVM 调用摄像头进行识别

opencv开摄像头(不想自己封装win32api),yolov5对图像进行检测

引用库

MVVM

CommunityToolkit.Mvvm

Opencv

OpenCvSharp4 OpenCvSharp4.Windows OpenCvSharp4.WpfExtensions(wpf专供:BitmapSourceConverter)

Yolov5

SixLabors.ImageSharp(检测图片用)

Microsoft.ML.OnnxRuntime(yolov5环境库)(CPU版本)

yolov5分CPU、GPU、DirectML三个版本(DirectML没用过)

CPU版本和GPU版本不能一起装.

如何部署yolov5模型

首先,去Github官网拉取一个yolov5的模板工程,我们只需要更改引用模型参数即可

Github官网模板网址:(github.com/techwingsla…)

如何修改参数:

1、修改裁剪的图像宽高:图中的640

2、修改output的输出名称:图中的字符串"output"

3、修改标签名:图中的person,bicycle等为标签名(标号与模型中标号一致 如果你的为0,那就从0开始)

4、修改标签个数:图中的85(示例程序实际标签个数为80,标签个数=实际标签个数+5)

如何查看onnx模型参数:netron.app/

根据可视化面板来查看自己的参数

其次,修改完参数后重新编译生成dll文件,将dll文件导入工程中,随后将你的模型文件导入工程(.onnx文件)

踩坑点:千万别用nuget上的Yolov5Net包,会覆盖你的dll文件,运行模型不匹配后程序直接崩

代码

代码中加载模型

在MainViewModel中调用RegisterYoloModel函数即可

代码中识别

PlayCamera为视频检测函数

首先通过Opencv读取画面内容然后转成流的形式,然后再将流转换成yolov5所需要的图片进行检测,

最后检测出再用Opencv画框,再将所得的Mat通过BitmapSourceConverter类转换为Image控件所需要的

总结

该工程为半成品,LAB值过滤,Tcp、串口发送数据均还没有完全写完。

本文主要希望能给各位提供一点wpf中调用yolov5的思路,如有错误烦请指出。

界面展示:

最后

如果你觉得这篇文章对你有帮助,不妨点个赞支持一下!你的支持是我继续分享知识的动力。如果有任何疑问或需要进一步的帮助,欢迎随时留言。

也可以加入微信公众号 [DotNet技术匠] 社区,与其他热爱技术的同行一起交流心得,共同成长!

优秀是一种习惯,欢迎大家留言学习!

作者:SharpThreed

出处:cnblogs.com/hngyElectronic/p/17742907.html

声明:网络内容,仅供学习,尊重版权,侵权速删,歉意致谢!