【视觉项目】【day4】8.24号实验记录（消除瓶子内部“边缘”）

思路分析以及代码

思路1：使用findContours函数，设置轮廓为最外部RETR_EXTERNAL，结果发现结果仍然是所有轮廓。
思路2：先二值化，然后进行闭操作，然后canny，得到的轮廓确实比之前少很多，但是有个缺点：瓶子的边缘由于二值化的影响失真了。

原图	直接canny得到的图	二值化后canny图

思路3：先二值化，然后进行闭操作，然后填充较小的黑色区域，然后再进行腐蚀操作，得到了比原本瓶子要小一圈的mask，然后对canny后的图进行去轮廓操作（mask区域为黑），这样或许就可以了。

结果：确实好很多，但是有两张图片的没有结果，观察：有一个是因为孔洞填充选取的点有问题，还有一个 debug发现也是孔洞填充出现了问题。暂时现将大棕瓶区别对待。因为他的大津二值化结果有点特殊。
验证结果，发现效果确实比直接模板匹配canny后的好，但是仍然会有误判，发现误判主要出现在将大一点的瓶子的某部分识别成小瓶子，所以需要从瓶子像素多少来进行限制，规则是：不能识别成像素比模板瓶子像素少的类别。
所要做的：总结出模板图中瓶子像素值，得到每张测试图的瓶子像素（这里使用mask2的像素个数需要用连通域来进行甄别是否为，比实际瓶子要小）
空洞填充函数
输入：待处理图像的二值图
参数：背景颜色（黑还是白） 漫水填充的起始点（填充的是背景，一般选择（0,0））
输出：填充后的二值图

void My_hole_filling(Mat& srcImage, Mat& dstImage,int color,Point &startPoint)
{
	// Floodfill from point (0, 0) 以点(0,0)为种子点，进行漫水填充
	/*int x = startPoint.x;
	int y = startPoint.y;*/
	//srcImage.at<char>(x, y)
	if ( color== 255)		//背景为白
	{
		srcImage = ~srcImage;
	}
	Mat im_floodfill = srcImage.clone();
	floodFill(im_floodfill, startPoint, Scalar(255));
	//255
	// Invert floodfilled image 反转图像
	Mat im_floodfill_inv;
	bitwise_not(im_floodfill, im_floodfill_inv);

	// Combine the two images to get the foreground. 获得前景
	dstImage = (srcImage | im_floodfill_inv);
	dstImage = ~dstImage;
}

获取瓶子外轮廓的函数
输入：原图灰度图 canny阈值 输出：轮廓图 mask2图

void get_external_Contours_function(Mat& srcImage, Mat& dstImage,Mat& dstmask, int canny_thred)
{
	//模糊化降噪
	blur(srcImage, srcImage, Size(5, 5));
	Mat mask;
	//大津二值化
	threshold(srcImage, mask, 100, 255, THRESH_OTSU);
	//闭操作
	int Abs_offset = 2;
	Mat element = getStructuringElement(MORPH_ELLIPSE, Size(Abs_offset * 2 + 1, Abs_offset * 2 + 1), Point(Abs_offset, Abs_offset));	//返回的是内核矩阵
	morphologyEx(mask, mask, MORPH_CLOSE, element);
	//孔洞填充
	Point startpoint = Point(40,40);
	My_hole_filling(mask, mask, 0, startpoint);
	//将mask缩小一圈
	Mat mask2;
	Mat element_erode = getStructuringElement(MORPH_ELLIPSE, Size(Abs_offset * 2 + 1, Abs_offset * 2 + 1), Point(Abs_offset, Abs_offset));	//返回的是内核矩阵
	morphologyEx(mask, mask2, MORPH_DILATE, element_erode);
	dstmask = mask2;
	//mask2就是我们的掩膜
	//对模糊后的灰度图进行canny检测
	Canny(srcImage, dstImage, canny_thred, canny_thred * 2, 3);
	//将在mask2内的所有为白的像素置为黑
	int height = dstImage.rows;
	int width = dstImage.cols;
	for (int j = 0; j < height; j++)
	{
		for (int i = 0; i < width; i++)
		{
			if (mask2.at<uchar>(j, i) == 0 && dstImage.at<uchar>(j, i) == 255)
			{
				dstImage.at<uchar>(j, i) = 0;
			}
		}
	}
}

连通域测试代码，找出mask2中面积最大的连通域的像素个数

int main()
{
	cv::Mat srcMat = imread("D:\\opencv_picture_test\\视觉项目resize后的图片夹\\测试图片夹\\测试图\\10+麻点.jpg",1);
	//cv::Mat srcMat = imread("D:\\opencv_picture_test\\视觉项目resize后的图片夹\\测试图片夹\\测试图\\大棕瓶.jpg", 1);
	//cv::Mat srcMat = imread("D:\\opencv_picture_test\\视觉项目resize后的图片夹\\测试图片夹\\均衡化前的测试图\\方肩+肩薄.jpg", 1);
	Mat dstMat;
	Mat mask2;
	int thred = 40;
	//转换成灰度
	cvtColor(srcMat, dstMat, COLOR_BGR2GRAY);
	get_external_Contours_function(dstMat, dstMat, mask2, thred);
	//观察连通域个数，同时选出最大的那个连通域，之前对mask2进行反色
	mask2 = 255 - mask2;
	Mat lableMat;
	Mat statsMat;
	Mat centerMat;
	int nComp = cv::connectedComponentsWithStats(mask2,
	lableMat,
	statsMat,
	centerMat,
	8,
	CV_32S);
	//找出连通域像素个数最多的那个，然后记录下像素个数
	int max_pixels = 0;
	int max_pixels_label = 0;
	if (nComp == 1) max_pixels = statsMat.at<int>(1, 4);
	else
	{
		//找到像素点最多的连通域标记
		vector<int > pixels_nums;
		for (int i = 1; i < nComp; i++)
		{
			pixels_nums.push_back(statsMat.at<int>(i, 4));	//将连通域面积入vector
		}
		//找到最大的值并且返回它在vector的位置
		auto maxPosition = max_element(pixels_nums.begin(), pixels_nums.end());
		max_pixels = *maxPosition;
		max_pixels_label = maxPosition - pixels_nums.begin();
	}
	cout <<"连通域个数(算上背景)="<< nComp << endl;
	cout << "max_pixels = " << max_pixels << endl;
	cout << endl;
	imshow("die_on_chip", dstMat);
	waitKey(0);
	return 0;
}

结果：

获取地址成功
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\10+波纹.jpg
0 max_pixels = 14347
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\10+麻点.jpg
1 max_pixels = 13617
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\10+气泡+瓶口破裂.jpg
2 max_pixels = 13368
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\10.jpg
3 max_pixels = 14335
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\10_2.jpg
4 max_pixels = 12677
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\11.jpg
5 max_pixels = 11718
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\12.jpg
6 max_pixels = 12413
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\13+炸口.jpg
7 max_pixels = 8002
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\14.jpg
8 max_pixels = 8870
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\2+料纹.jpg
9 max_pixels = 18144
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\3.jpg
10 max_pixels = 16658
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\3_2.jpg
11 max_pixels = 15836
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\4+厚底.jpg
12 max_pixels = 17636
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\4+厚底2.jpg
13 max_pixels = 16468
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\4+炸肩.jpg
14 max_pixels = 15504
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\5+脖夹料.jpg
15 max_pixels = 19443
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\5+肩薄.jpg
16 max_pixels = 18623
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\5+气泡.jpg
17 max_pixels = 19209
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\5+炸口.jpg
18 max_pixels = 20063
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\5+皱纹气泡.jpg
19 max_pixels = 19552
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\6.jpg
20 max_pixels = 14913
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\6_2.jpg
21 max_pixels = 15616
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\6_3.jpg
22 max_pixels = 15653
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\7+厚底.jpg
23 max_pixels = 15158
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\7+厚底2.jpg
24 max_pixels = 13383
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\8.jpg
25 max_pixels = 14950
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\8_2.jpg
26 max_pixels = 15271
D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图\9.jpg
27 max_pixels = 13192

统计每个瓶子的像素个数（取最小的再减去2000作为标准）

判断序列	像素个数
1	暂不统计
2	18144
3	15836
4	15504
5	18623
6	14913
7	13383
8	14950
9	13192
10(A)	12677
11(B)	11718
12©	12413
13(D)	8002
14(E)	8870

实现思路：获取测试图后，得到其mask2像素个数。与pixels_num_criterion[ ]中的元素相比较。
记录下满足(test_mask_pxiels>=pixels_num_criterion[i]-pixels_num_sub)的序号i，放入新的vector：prepare_template_num然后用序号属于其中的模板去匹配。
代码好像有点问题，存个档，明天检查一下：

//将测试图转换成与模板图相匹配的函数
//输入：测试图 canny算子阈值 输出：外轮廓图 
//返回值：该测试图mask2中的瓶子像素个数
int test_covertTo_Outer_contour(Mat& srcImg, Mat& dstImg, int thred)
{
	//这里我们批量处理
	Mat mask2;
	//int thred = 40;
	//转换成灰度
	cvtColor(srcImg, dstImg, COLOR_BGR2GRAY);
	get_external_Contours_function(dstImg, dstImg, mask2, thred);
	//观察连通域个数，同时选出最大的那个连通域，之前对mask2进行反色
	mask2 = 255 - mask2;
	Mat lableMat;
	Mat statsMat;
	Mat centerMat;
	int nComp = cv::connectedComponentsWithStats(mask2,
		lableMat,
		statsMat,
		centerMat,
		8,
		CV_32S);
	//找出连通域像素个数最多的那个，然后记录下像素个数
	int max_pixels = 0;
	int max_pixels_label = 0;
	if (nComp == 1) max_pixels = statsMat.at<int>(1, 4);
	else
	{
		//找到像素点最多的连通域标记
		vector<int > pixels_nums;
		//0是背景
		for (int i = 1; i < nComp; i++)
		{
			pixels_nums.push_back(statsMat.at<int>(i, 4));	//将连通域面积入vector
		}
		//找到最大的值并且返回它在vector的位置，然后还需要+1才是在连通域label中的位置
		auto maxPosition = max_element(pixels_nums.begin(), pixels_nums.end());
		max_pixels = *(maxPosition);
		max_pixels_label = (maxPosition - pixels_nums.begin() + 1);
	}
	return max_pixels;
}
int main()
{
	//改变控制台字体颜色
	system("color 02");
	//******************************************【0】获取测试文件夹路径和模板文件夹路径********************************************************//
	//获取测试文件夹路径和模板文件夹路径
	cv::String path_test = "D:/opencv_picture_test/视觉项目resize后的图片夹/测试图片夹/测试图/";        
	cv::String path_template = "D:/opencv_picture_test/视觉项目resize后的图片夹/模板图片夹/template外轮廓/";    
	cout << "获取地址成功" << endl;
	//******************************************【1】加载模板图像********************************************************//
	//创建模板vector
	vector<Mat>tempMat;
	//插入模板元素
	Mat srcImage;
	std::vector<cv::String> temp_filenames;
	cv::glob(path_template, temp_filenames);                 //opencv里面用来读取指定路径下文件名的一个很好用的函数
	for (int i = 0; i < temp_filenames.size(); i++)
	{
		srcImage = cv::imread(temp_filenames[i],0);
		tempMat.push_back(srcImage);
		cout << temp_filenames[i] << endl;
	}
	//获取模板数目
	int tempMat_Nums = tempMat.size();
	//******************************************【2】加载测试图像********************************************************//
	//创建测试vector
	vector<Mat>testMat;
	//插入测试元素
	std::vector<cv::String> test_filenames;
	cv::glob(path_test, test_filenames);                 //opencv里面用来读取指定路径下文件名的一个很好用的函数
	for (int i = 0; i < test_filenames.size(); i++)
	{
		srcImage = cv::imread(test_filenames[i]);
		testMat.push_back(srcImage);
		//cout << test_filenames[i] << endl;
	}
	//获取测试图数目
	int testMat_Nums = testMat.size();
	//******************************************【3】对每张测试图进行模板匹配********************************************************//
	for (int j = 0;j < testMat_Nums;j++)
	{
		cout <<"第"<< j <<"张测试图片的测试"<< endl;
		Mat resultMat;
		Mat CompareMat;
		Mat dispMat;
		//将测试图转换成与模板图相匹配的类型
		int test_mask_pxiels = 0;
		test_mask_pxiels=test_covertTo_Outer_contour(testMat[j], CompareMat, 40);
		cout << "test_mask_pxiels" << test_mask_pxiels << endl;
		int match_method = TM_CCORR_NORMED;		//经过试错发现此参数较好。
		//用每个模板去匹配测试图，并且找出每次结果的最佳匹配值，将值存入vector中
		vector<double>goodval;
		vector<Point>goodlock;
		int matchnum = 0;
		Point matchLoc;
		vector<int>prepare_template_num;
		cout << "可能的模板序号" << endl;
		for (int i = 0;i < 14;i++)
		{
			if (test_mask_pxiels >= (pixels_num_criterion[i] - pixels_num_sub))
			{
				//将符合规则的模板序号导入vector中
				prepare_template_num.push_back(i);
				cout << i <<" ";
			}
		}
		cout << endl;
		for (int x = 0;x < prepare_template_num.size();x++)
		{
			cout << prepare_template_num[x] << " ";
		}
		cout << endl;
		for (int i = 0;i < tempMat_Nums;i++)
		{
			//采用模板与目标图像像素与各自图像的平均值计算dot product，正值越大匹配度越高，负值越大图像的区别越大，但如果图像没有明显的特征（即图像中的像素值与平均值接近）则返回值越接近0；
			matchTemplate(CompareMat, tempMat[i], resultMat, match_method);
			//不归一化，因为不同模板归一化后的最佳值皆为1，无法比较
			//normalize(resultMat, resultMat, 0, 1, NORM_MINMAX, -1, Mat());	//归一化
			double minVal; double maxVal; Point minLoc; Point maxLoc;	//定义最大值最小值以及它们的位置变量
			minMaxLoc(resultMat, &minVal, &maxVal, &minLoc, &maxLoc, Mat());	//从结果矩阵中找到匹配度最大以及最小的值并且确定其位置
			//对于方法SQDIFF和SQDIFF_NORMED两种方法来讲，越小的值就有着更高的匹配结果
			//而其余的方法则是数值越大匹配效果越好
			if (match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED)
			{
				//将不符合像素数目规则的模板的可能性置1
				vector<int>::iterator result = find(prepare_template_num.begin(), prepare_template_num.end(), i); //查找该模板是否食欲符合规则的模板
				if (result == prepare_template_num.end()) //没找到
				{
					minVal = 1;
				}
				goodlock.push_back(minLoc);
				goodval.push_back(minVal);
			}
			else
			{
				//将不符合像素数目规则的模板的可能性置0
				vector<int>::iterator result = find(prepare_template_num.begin(), prepare_template_num.end(), i); //查找该模板是否食欲符合规则的模板
				if (result == prepare_template_num.end()) //没找到
				{
					maxVal = 0;
				}
				goodlock.push_back(maxLoc);
				goodval.push_back(maxVal);
			}
			show_probability(i, maxVal);
			//cout << i << "  " << maxVal << endl;
		}
		//找到goodval中最佳的一组
		if (match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED)
		{
			auto goodPosition = min_element(goodval.begin(), goodval.end());
			matchnum = distance(begin(goodval), goodPosition);
		}
		else
		{
			auto goodPosition = max_element(goodval.begin(), goodval.end());
			matchnum = distance(begin(goodval), goodPosition);
		}
		show_text(matchnum, test_filenames[j]);
		matchLoc = goodlock[matchnum];
		testMat[j].copyTo(dispMat);
		//以最佳匹配点为中心绘制与模板相同大小的框
		rectangle(dispMat, matchLoc, Point(matchLoc.x + tempMat[matchnum].cols, matchLoc.y + tempMat[matchnum].rows), Scalar::all(255), 2, 8, 0);
		namedWindow("testMat", WINDOW_NORMAL);//WINDOW_NORMAL允许用户自由伸缩
		imshow("testMat", dispMat);
		waitKey(30);
	}
	return 0;
}