文档结构  
翻译进度:已翻译     翻译赏金:0 元 (?)    ¥ 我要打赏
参与翻译: coyee (5)

目的

在这篇教程中你将学会:

  • 学会使用 OpenCV 函数 matchTemplate 来搜索两个图片之间相匹配的部分
  • 学会使用 OpenCV 函数 minMaxLoc 在给定的数组中查找最大和最小值(以及位置).

原理

什么是模板匹配?

模板匹配是一项在给定的图片中查找模板图片的技术。.

模板匹配是怎么工作的?

上面的图片通过滑动匹配一个 TM_CCORR_NORMED 并得到 R 结果。最高匹配值显示为最佳匹配。如你所见,红色线条标识出来的是最高值,因此该位置(矩形)就是匹配的结果。

  • 通过模板图片的滑动,这意味着模板图片每次滑动一个像素(从左到右,从上到下)。每个不同的位置上,都会计算出一个数值来表示匹配度。
    ../../../../../_images/Template_Matching_Template_Theory_Result.jpg

  • 实际上我们可以使用函数 minMaxLoc 来定位在 R 阵列中最高值(或者最低值,这取决于匹配方法的类型).

第 1 段(可获 2 积分)

OpenCV 提供哪些匹配方法?

OpenCV 通过 matchTemplate 来实现模板匹配,提供了以下 6 种方法:

  1. method=CV_TM_SQDIFF

    R(x,y)= \sum _{x',y'} (T(x',y')-I(x+x',y+y'))^2
  2. method=CV_TM_SQDIFF_NORMED

    R(x,y)= \frac{\sum_{x',y'} (T(x',y')-I(x+x',y+y'))^2}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}
  3. method=CV_TM_CCORR

    R(x,y)= \sum _{x',y'} (T(x',y') \cdot I(x+x',y+y'))
  4. method=CV_TM_CCORR_NORMED

    R(x,y)= \frac{\sum_{x',y'} (T(x',y') \cdot I(x+x',y+y'))}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}
  5. method=CV_TM_CCOEFF

    R(x,y)= \sum _{x',y'} (T'(x',y') \cdot I(x+x',y+y'))

    where

    \begin{array}{l} T'(x',y')=T(x',y') - 1/(w \cdot h) \cdot \sum _{x'',y''} T(x'',y'') \\ I'(x+x',y+y')=I(x+x',y+y') - 1/(w \cdot h) \cdot \sum _{x'',y''} I(x+x'',y+y'') \end{array}
  6. method=CV_TM_CCOEFF_NORMED

    R(x,y)= \frac{ \sum_{x',y'} (T'(x',y') \cdot I'(x+x',y+y')) }{ \sqrt{\sum_{x',y'}T'(x',y')^2 \cdot \sum_{x',y'} I'(x+x',y+y')^2} }

代码

  • 本程序主要功能:

    • 加载图片以及要匹配的模板图片
    • 使用 OpenCV 的 matchTemplate 函数执行匹配过程,并使用 6 种方法进行试验
    • 对匹配输出进行规划化处理
    • 定位匹配度最高的位置
    • 在最高匹配的区域绘制矩形框
  • 下载代码请点击 这里

  • 详细代码:

第 2 段(可获 2 积分)
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

/// Global Variables
Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

/// Function Headers
void MatchingMethod( int, void* );

/** @function main */
int main( int argc, char** argv )
{
  /// Load image and template
  img = imread( argv[1], 1 );
  templ = imread( argv[2], 1 );

  /// Create windows
  namedWindow( image_window, CV_WINDOW_AUTOSIZE );
  namedWindow( result_window, CV_WINDOW_AUTOSIZE );

  /// Create Trackbar
  char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

  MatchingMethod( 0, 0 );

  waitKey(0);
  return 0;
}

/**
 * @function MatchingMethod
 * @brief Trackbar callback
 */
void MatchingMethod( int, void* )
{
  /// Source image to display
  Mat img_display;
  img.copyTo( img_display );

  /// Create the result matrix
  int result_cols =  img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_rows, result_cols, CV_32FC1 );

  /// Do the Matching and Normalize
  matchTemplate( img, templ, result, match_method );
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

  /// Localizing the best match with minMaxLoc
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;

  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

  /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
  if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
    { matchLoc = minLoc; }
  else
    { matchLoc = maxLoc; }

  /// Show me what you got
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );

  return;
}
第 3 段(可获 2 积分)

代码解释

  1. 定义全局变量,注入图像、模板、结果阵列等等:

    Mat img; Mat templ; Mat result;
    char* image_window = "Source Image";
    char* result_window = "Result window";
    
    int match_method;
    int max_Trackbar = 5;
    
  2. 加载原图和模板图:

    img = imread( argv[1], 1 );
    templ = imread( argv[2], 1 );
    
  3. 创建窗体来显示结果:

    namedWindow( image_window, CV_WINDOW_AUTOSIZE );
    namedWindow( result_window, CV_WINDOW_AUTOSIZE );
    
  4. 创建 Trackbar 给匹配方法使用,当有变化时候回调 MatchingMethod 方法.

    char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
    createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
    
  5. 等待用户键入任何键以退出程序.

    waitKey(0);
    return 0;
    
  6. 检查回调函数,首先对原图做了个拷贝:

    Mat img_display;
    img.copyTo( img_display );
    
  7. 下一步创建结果阵列用来存储匹配结果,观察结果阵列的大小

    int result_cols =  img.cols - templ.cols + 1;
    int result_rows = img.rows - templ.rows + 1;
    
    result.create( result_rows, result_cols, CV_32FC1 );
    
  8. 执行模板匹配函数:

    matchTemplate( img, templ, result, match_method );
    

    参数包含输入图片、模板图片,结果存放阵列以及匹配方法

  9. 对结果进行规范化:

    normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
    
  10. 使用 minMaxLoc 在结果阵列中定位最大和最小的匹配度

    double minVal; double maxVal; Point minLoc; Point maxLoc;
    Point matchLoc;
    
    minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
    

    该函数需要以下参数:

    • result: 源数组
    • &minVal&maxVal: 用来存储结果中的最小和最大匹配度
    • &minLoc and &maxLoc: 数组中的最小和最大匹配对应的位置点.
    • Mat(): 可选的掩码值
  11. 对前两个方法 ( CV_SQDIFF 和 CV_SQDIFF_NORMED ) 来说最低值表示最佳匹配。而其他的方法则是值越高匹配度越高。因此我们在 matchLoc 变量中保存相应的值:

    if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
      { matchLoc = minLoc; }
    else
      { matchLoc = maxLoc; }
    
  12. 显示原图以及结果阵列,并在最高匹配的位置绘制矩形::

    rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
    rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
    
    imshow( image_window, img_display );
    imshow( result_window, result );
    
第 4 段(可获 2 积分)

匹配结果

  1. 测试程序的原图:

    ../../../../../_images/Template_Matching_Original_Image.jpg

    测试程序的模板图:

    ../../../../../_images/Template_Matching_Template_Image.jpg
  2. 生成下列的结果图(前面使用的是标准方法: SQDIFF, CCORR 和 CCOEFF, 下面是经过规范化后的版本). 前三个图里,第一个图最黑表示最佳匹配,第2、3个图则是最亮为最佳匹配。

    Result_0Result_2Result_4Result_1Result_3Result_5
  3. 正确的匹配结果如下图所示 (黑色方框为匹配区域)。需要注意的是 CCORR 和 CCDEFF 给出了错误的匹配,但是这些错误的匹配经过规范化后结果就正确了。这是因为我们使用了最高匹配而不是可能的高匹配。

    ../../../../../_images/Template_Matching_Image_Result.jpg
第 5 段(可获 2 积分)

文章评论