图像处理之寻找物体

懵懵的班左琴
63 阅读4分钟

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 8 天

1 概述

在FLANN特征匹配的基础上，还可以进一步利用Homography映射找出已知物体。具体来说就是利用findHomography函数通过匹配的关键点找出相应的变换，再利用perspectiveTransform函数映射点群。

也就是分为以下两个大的步骤。

（1）使用函数 findHomography 寻找匹配上的关键点的变换。

（2）使用函数 perspectiveTransform 来映射点.

下面，我们分别对相关该函数进行简单介绍。

2 寻找透视变换: findHomography()函数

此函数的作用是找到并返回源图像和目标图像之间的透视变换 H：

3.PNG

C++:

Mat findHomography (

InputArray srcPoints,

InputArray dstPoints,

int method=0,

double ransacReprojThreshold=3,

OutputArray mask=noArray()

)

  • 第一个参数，InputArray 类型的 srePoints，源平面上的对应点，可以是CV_32FC2 的矩阵类型或者 vector。

  • 第二个参数，InputArray 类型的 dstPoints，目标平面上的对应点，可以是CV_32FC2的矩阵类型或者 vector。

  • 第三个参数，int 类型的 method，用于计算单应矩阵的方法。可选标识符为如表所示。

表 计算单应矩阵可选标识符

标识符含义
0使用所有点的常规方法(默认值)
CV_RANSAC基于RANSAC的鲁棒性方法
CV_LMEDS最小中值鲁棒性方法
  • 第四个参数， double类型的ransacReprojThreshold，有默认值3，处理点对为内围层时，允许重投影误差的最大值。这就是说，当

4.PNG

时,这里的点i被看做 内围层。若srePoints和dstPoints是以像素为单位的，那么此参数的取值范围一般在 1 到 10 之间。

  • 第五个参数， OutputArray类型的mask，有默认值noArray()，是一个可选的参数，通过上面讲到的鲁棒性方法（(CV_RANSAC或者CV_LMEDS()设置输出掩码。需要注意的是，输入掩码值会被忽略掉。

3 进行透视矩阵变换:perspectiveTransform()函数

perspectiveTransform 函数的作用是进行向量透视矩阵变换。

C++:

void perspectiveTransform(InputArray src,OutputArray dst, InputArray m)

  • 第一个参数， InputArray 类型的 sre，输入图像，即源图像，填 Mat 类的对象即可，且需为双通道或三通道浮点型图像，其中的每个元素是二维或三维可被转换的矢量。
  • 第二个参数，OutputArray类型的 dst，函数调用后的运算结果存在这里，即这个参数用于存放函数调用后的输出结果，需和源图片有一样的尺寸和类型。
  • 第三个参数， InputArray类型的m，变换矩阵，为3x3或者4x4浮点型矩阵。

4 示例程序：寻找已知物体

本节我们将放出用OpenCV寻找已知物体的详细注释的程序源代码。

源码



//---------------------------------【头文件、命名空间包含部分】----------------------------
//		描述：包含程序所使用的头文件和命名空间
//-----------------------------------------------------------------------------------------
#include "opencv2/core/core.hpp"
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/nonfree/nonfree.hpp"
#include <iostream>
using namespace cv;
using namespace std;


//-----------------------------------【main( )函数】--------------------------------------------
//		描述：控制台应用程序的入口函数，我们的程序从这里开始执行
//--------------------------------------------------------------------------------------------
int main(  )
{
	//【0】改变console字体颜色
	system("color 1F"); 


	//【1】载入原始图片
	Mat srcImage1 = imread( "1.jpg", 1 );
	Mat srcImage2 = imread( "2.jpg", 1 );
	if( !srcImage1.data || !srcImage2.data )
	{ printf("读取图片错误，请确定目录下是否有imread函数指定的图片存在~！ \n"); return false; }  

	//【2】使用SURF算子检测关键点
	int minHessian = 400;//SURF算法中的hessian阈值
	SurfFeatureDetector detector( minHessian );//定义一个SurfFeatureDetector（SURF） 特征检测类对象  
	vector<KeyPoint> keypoints_object, keypoints_scene;//vector模板类，存放任意类型的动态数组

	//【3】调用detect函数检测出SURF特征关键点，保存在vector容器中
	detector.detect( srcImage1, keypoints_object );
	detector.detect( srcImage2, keypoints_scene );

	//【4】计算描述符（特征向量）
	SurfDescriptorExtractor extractor;
	Mat descriptors_object, descriptors_scene;
	extractor.compute( srcImage1, keypoints_object, descriptors_object );
	extractor.compute( srcImage2, keypoints_scene, descriptors_scene );

	//【5】使用FLANN匹配算子进行匹配
	FlannBasedMatcher matcher;
	vector< DMatch > matches;
	matcher.match( descriptors_object, descriptors_scene, matches );
	double max_dist = 0; double min_dist = 100;//最小距离和最大距离

	//【6】计算出关键点之间距离的最大值和最小值
	for( int i = 0; i < descriptors_object.rows; i++ )
	{ 
		double dist = matches[i].distance;
		if( dist < min_dist ) min_dist = dist;
		if( dist > max_dist ) max_dist = dist;
	}

	printf(">Max dist 最大距离 : %f \n", max_dist );
	printf(">Min dist 最小距离 : %f \n", min_dist );

	//【7】存下匹配距离小于3*min_dist的点对
	std::vector< DMatch > good_matches;
	for( int i = 0; i < descriptors_object.rows; i++ )
	{ 
		if( matches[i].distance < 3*min_dist )
		{ 
			good_matches.push_back( matches[i]);
		}
	}

	//绘制出匹配到的关键点
	Mat img_matches;
	drawMatches( srcImage1, keypoints_object, srcImage2, keypoints_scene,
		good_matches, img_matches, Scalar::all(-1), Scalar::all(-1),
		vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );

	//定义两个局部变量
	vector<Point2f> obj;
	vector<Point2f> scene;

	//从匹配成功的匹配对中获取关键点
	for( unsigned int i = 0; i < good_matches.size(); i++ )
	{
		obj.push_back( keypoints_object[ good_matches[i].queryIdx ].pt );
		scene.push_back( keypoints_scene[ good_matches[i].trainIdx ].pt );
	}

	Mat H = findHomography( obj, scene, CV_RANSAC );//计算透视变换 

	//从待测图片中获取角点
	vector<Point2f> obj_corners(4);
	obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( srcImage1.cols, 0 );
	obj_corners[2] = cvPoint( srcImage1.cols, srcImage1.rows ); obj_corners[3] = cvPoint( 0, srcImage1.rows );
	vector<Point2f> scene_corners(4);

	//进行透视变换
	perspectiveTransform( obj_corners, scene_corners, H);

	//绘制出角点之间的直线
	line( img_matches, scene_corners[0] + Point2f( static_cast<float>(srcImage1.cols), 0), scene_corners[1] + Point2f( static_cast<float>(srcImage1.cols), 0), Scalar(255, 0, 123), 4 );
	line( img_matches, scene_corners[1] + Point2f( static_cast<float>(srcImage1.cols), 0), scene_corners[2] + Point2f( static_cast<float>(srcImage1.cols), 0), Scalar( 255, 0, 123), 4 );
	line( img_matches, scene_corners[2] + Point2f( static_cast<float>(srcImage1.cols), 0), scene_corners[3] + Point2f( static_cast<float>(srcImage1.cols), 0), Scalar( 255, 0, 123), 4 );
	line( img_matches, scene_corners[3] + Point2f( static_cast<float>(srcImage1.cols), 0), scene_corners[0] + Point2f( static_cast<float>(srcImage1.cols), 0), Scalar( 255, 0, 123), 4 );

	//显示最终结果
	imshow( "效果图", img_matches );

	waitKey(0);
	return 0;
}

效果图

捕获.PNG

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 8 天

avatar
文章
阅读
粉丝