opencv 图像的容器 Mat

xuejianxinokok
1,074 阅读8分钟

1. 目的

有多种方法可以从现实世界中获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等等。在每种情况下，我们（人类）看到的都是图像。但是，当将其转换为图像时，设备记录的是图像每个点的数值。

MatBasicImageForComputer.jpg

例如在上图中，可以看到汽车的镜子只不过是一个包含所有像素点强度值的矩阵。如何获取和存储像素值可能会根据需要而有所不同，但最终计算机世界中的所有图像都可能被简化为数字矩阵和描述矩阵本身的其他信息。OpenCV是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，首先需要熟悉的是 OpenCV 如何存储和处理图像。

2. Mat

OpenCV 自 2001 年成立。当时，该库是围绕C接口构建的，为了将图像存储在内存中，他们使用了一个名为IplImage的 C 结构体。这是您将在大多数较早的教程和培训资料中看到的内容。这样做的问题是它把 C 语言的所有缺点都摆在了桌面上。最大的问题是手动内存管理。它建立在用户负责处理内存分配和释放的假设之上。虽然这对于较小的程序来说不是问题，但一旦代码库增长，处理所有这些内存问题会导致我们专注于解决开发目标将更加困难。

幸运的是，C++ 出现并引入了类的概念，使用户更容易通过自动内存管理（或多或少）。好消息是 C++ 与 C 完全兼容，因此在进行更改时不会出现兼容性问题。因此，OpenCV 2.0 引入了一个新的 C++ 接口，它提供了一种新的编程方式，这意味着无需再摆弄内存管理，使代码简洁（代码写的更少，实现的功能更多）。C++ 接口的主要缺点是目前许多嵌入式开发系统仅支持 C。因此，除非目标是嵌入式平台，否则使用旧方法是没有意义的（除非是喜欢故意找麻烦的受虐狂）。

关于Mat需要知道的第一件事是不再需要手动分配内存并在不需要它时立即释放它。虽然这样做仍有可能，但大多数 OpenCV 函数将自动为输出数据分配内存。如果传递一个已经存在的Mat对象，它已经为矩阵分配了所需的空间，这很有好处，内存将被重用。换句话说，始终只使用执行任务所需的内存。

Mat是一个包含两部分数据的类：矩阵头（包含诸如矩阵大小、用于存储的方法、存储的矩阵的地址等信息）和指向包含像素值（采用哪种维度决定于选择的存储方法）。矩阵头大小是固定的，但是矩阵本身的大小可能因图像而异，并且通常大几个数量级。

OpenCV 是一个图像处理库。它包含大量图像处理功能。为了解决实际问题，大多数时候会使用库的多个功能。因此，将图像传递给函数是一种常见的做法。图像处理算法，它往往计算量很大。所以一般对较大的图像不进行拷贝，而是使用内存共享进一步提高程序的速度。

为了解决这个问题，OpenCV 使用了引用计数系统。这个想法是每个Mat对象都有自己的标头，但是通过让它们的矩阵指针指向相同的地址，可以在两个Mat对象之间共享一个矩阵。 此外，复制构造函数只会复制矩阵头和指向大矩阵的指针，而不是数据本身。

Mat A, C;                          // creates just the header parts
A = imread(argv[1], IMREAD_COLOR); // here we'll know the method used (allocate matrix)
Mat B(A);                          // Use the copy constructor
C = A;                             // Assignment operator

最后，所有上述对象都指向同一个数据矩阵，并且使用其中任何一个进行修改也会影响所有其他对象。实际上，不同的对象只是为相同的底层数据提供不同的访问方法。然而，它们的矩阵头是不同的。真正有趣的部分是可以创建仅引用完整数据的一部分的矩阵头。例如，要在图像中创建感兴趣区域 ( ROI )，您只需创建具有新边界的矩阵头：

Mat D (A, Rect(10, 10, 100, 100) );  // using a rectangle
Mat E = A(Range::all(), Range(1,3)); // using row and column boundaries

现在你可能会问——如果矩阵本身可能属于多个Mat对象，当不再需要它时谁负责清理它？简短的回答是：最后一个使用它的对象。这是通过使用引用计数机制来处理的。每当有人复制Mat对象的头部时，矩阵的计数器就会增加。每当清除标头时，此计数器就会减少。当计数器达到零时，矩阵被释放。有时也想复制矩阵本身，所以 OpenCV 提供了

Mat F = A.clone();
Mat G;
A.copyTo(G);

现在修改F或G不会影响A的头部指向的矩阵。从这一切中需要记住的是：

  • OpenCV 函数的输出图像分配是自动的（除非另有说明）。
  • 使用 OpenCV 的 C++ 接口无需考虑进行内存管理。
  • 赋值运算符和复制构造函数只复制头部。
  • 可以使用cv::Mat::clone()和cv::Mat::copyTo()函数复制图像的底层矩阵。

3. 存储方法

这是关于如何存储像素值的。可以选择使用的颜色空间和数据类型。颜色空间是指如何组合颜色分量以编码给定的颜色。最简单的一种是灰度，可以使用的颜色是黑色和白色。这些的组合使我们能够创建许多灰色阴影。

对于丰富多彩的方式，有更多的方法可供选择。它们中的每一个都将其分解为三个或四个基本成分，可以使用这些成分的组合来创建其他成分。最受欢迎的一种是 RGB，主要是因为这也是我们的眼睛构建颜色的方式。它的基色是红色、绿色和蓝色。为了编码颜色的透明度，有时会添加第四个元素 alpha (A)。

然而，还有许多其他颜色系统，每个都有自己的优点：

  • RGB 是最常见的，因为我们的眼睛使用类似的机制，但请注意，OpenCV 标准显示系统使用 BGR 颜色空间来组合颜色（红色和蓝色通道交换位置）。
  • HSV 和 HLS 将颜色分解为它们的色调、饱和度和亮度分量，这是我们描述颜色的更自然的方式。例如，可能会忽略最后一个 亮度分量成分，从而使算法对输入图像的光照条件不太敏感。
  • YCrCb 被流行的 JPEG 图像格式使用。
  • CIE Lab* 是一个感知均匀的颜色空间，如果需要测量给定颜色与另一种颜色的距离，它会派上用场。

每个构建组件都有自己的有效域。这导致使用不同的数据类型。如何存储组件定义了我们对其域的控制。可能的最小数据类型是char，这意味着一个字节或 8 位。这可能是无符号的（因此可以存储从 0 到 255 的值）或有符号的（从 -127 到 +127 的值）。虽然这个宽度，在三个分量（如 RGB）的情况下，已经提供了 1600 万种可能的颜色来表示，但可以通过使用浮点数（4 字节 = 32 位）或双精度（8 字节 = 64 位）获得更精细的控制) 每个组件的数据类型。尽管如此，请记住增加组件的大小也会增加内存中整个图片的大小。

4. 显式创建 Mat 对象

在加载、修改和保存图像教程中，已经学习了如何使用cv::imwrite()函数将矩阵写入图像文件。但是，出于调试目的，查看实际值要方便得多。可以使用Mat的 << 运算符来打印矩阵。请注意，这只适用于二维矩阵。

虽然Mat作为一个图像容器非常好用，但它也是一个通用的矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建 Mat 对象：


Mat M(2,2, CV_8UC3, Scalar(0,0,255));
cout << "M = " << endl << " " << M << endl << endl;

MatBasicContainerOut1.png

对于二维和多通道图像，首先定义它们的大小：行数和列数。

然后需要指定用于存储元素的数据类型和每个矩阵点的通道数。为此，根据以下约定构建了多个定义：

CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]

例如，CV_8UC3意味着我们使用 8 位长的 unsigned char 类型，每个像素有三个通道。最多为四个通道预定义了类型。cv::Scalar是四元素短向量。指定它，可以使用自定义值初始化所有矩阵元素。如果您需要更多，可以使用上面的宏创建类型，在括号中设置通道号，如下所示。

  • 使用 C/C++ 数组并通过构造函数进行初始化
int sz[3] = {2,2,2};  //sz==>size 大小数组
Mat L(3,sz, CV_8UC(1), Scalar::all(0));

上面的例子展示了如何创建一个多于二维的矩阵。指定其维度，然后传递一个包含每个维度大小的指针，其余部分保持不变。

  M.create(4,4, CV_8UC(2));
  cout << "M = "<< endl << " "  << M << endl << endl;

MatBasicContainerOut2.png

无法使用此构造初始化矩阵值。如果新大小不适合旧大小，它只会重新分配其矩阵数据内存。

    Mat E = Mat::eye(4, 4, CV_64F);
    cout << "E = " << endl << " " << E << endl << endl;
    Mat O = Mat::ones(2, 2, CV_32F);
    cout << "O = " << endl << " " << O << endl << endl;
    Mat Z = Mat::zeros(3,3, CV_8UC1);
    cout << "Z = " << endl << " " << Z << endl << endl;

MatBasicContainerOut3.png

  • 对于小型矩阵，可以使用逗号分隔的初始化程序或初始化程序列表（最后一种情况下需要 C++11 支持）：
 Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
 cout << "C = " << endl << " " << C << endl << endl;
 C = (Mat_<double>({0, -1, 0, -1, 5, -1, 0, -1, 0})).reshape(3);
 cout << "C = " << endl << " " << C << endl << endl;

MatBasicContainerOut6.png


Mat RowClone = C.row(1).clone();
cout << "RowClone = " << endl << " " << RowClone << endl << endl;

MatBasicContainerOut7.png

提示:

可以使用cv::randu()函数填充具有随机值的矩阵。需要为随机值提供下限和上限：

  Mat R = Mat(3, 2, CV_8UC3);
  
  randu(R, Scalar::all(0), Scalar::all(255));

5. 输出格式

在上面的示例中，可以看到输出使用了默认格式。然而，OpenCV 允许您格式化矩阵输出：

  • 默认

    cout << "R (default) = " << endl << R << endl << endl;

MatBasicContainerOut8.png

  • Python
 cout << "R (python) = " << endl << format(R, Formatter::FMT_PYTHON) << endl << endl;

MatBasicContainerOut16.png

  • 逗号分隔值 (CSV)
 cout << "R (csv) = " << endl << format(R, Formatter::FMT_CSV) << endl << endl;

MatBasicContainerOut10.png

  • Numpy
cout << "R (numpy) = " << endl << format(R, Formatter::FMT_NUMPY ) << endl << endl;

MatBasicContainerOut9.png

  • C
 cout << "R (c) = " << endl << format(R, Formatter::FMT_C ) << endl << endl;

MatBasicContainerOut11.png

6. 其他常见项目的输出

OpenCV 也通过 << 操作符提供对其他常见 OpenCV 数据结构输出的支持：

  • 二维点
 Point2f P(5, 1);
 cout << "Point (2D) = " << P << endl << endl;

MatBasicContainerOut12.png

  • 3D点
 Point3f P3f(2, 6, 7);
 cout << "Point (3D) = " << P3f << endl << endl;

MatBasicContainerOut13.png

  • 通过cv::Mat 打印 std::vector
 vector<float> v;
 v.push_back( (float)CV_PI);   
 v.push_back(2);    
 v.push_back(3.01f);
 cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;

MatBasicContainerOut14.png

  • std::vector 点
vector<Point2f> vPoints(20);
for (size_t i = 0; i < vPoints.size(); ++i)
    vPoints[i] = Point2f((float)(i * 5), (float)(i % 7));
cout << "A vector of 2D Points = " << vPoints << endl << endl;

MatBasicContainerOut15.png

这里的大多数示例都包含在一个小型控制台应用程序中。您可以从此处或 cpp 示例的核心部分下载它。

原文地址

avatar
文章
阅读
粉丝