【译】图像特征检测,描述和匹配
Hassaballah, M. , A. A. Ali , and H. A. Alshazly . "Image Features Detection, Description and Matching." (2016).a
摘要 特征检测,描述和匹配是计算机视觉应用中重要的组成部分,因此它们在前几十年中受到了极大的注意。几种特征检测器和描述符已经在文献在中被提出,且对图像中那些具有潜在吸引力(即,具有一种独特的属性)的点做了许多定义。这篇文章为检测和描述图像特征介绍了基本符号和数学概念。然后文章还讨论了完美特征所具有的性质并且概述了现存的多种检测和描述方法。更深地,文章还解释了一些特征匹配方法。最后,文章讨论了最常用的检测和描述算法性能评估技术。
关键词 兴趣点 特征检测器 特征描述符 特征提取 特征匹配
1 介绍
在前几十年中,图像特征检测器和描述符已经成为计算机视觉社区中最流行的工具并且被广泛应用在大量的应用中。图像表示 【1】,图像分类和图像检索 【2-5】,目标识别和匹配 【6-10】,三维场景重建 【11】,动作追踪 【12-14】,纹理分类 【15-16】,机器人定位 【17-19】,以及生物识别系统 【20-22】,所有都依赖于图像中稳定且有代表性的特征。因此,对于这些应用,检测和提取图像特征是十分重要的步骤。
为了建立图像之间的对应关系,其中两个或多个图像的对应关系是需要的,确定每一幅图像中显著的点集是重要的 【8,23】。在分类任务中,目标图像的特征描述符和训练完成的图像特征相匹配,并且已训练图像中具有最大一致对应关系的就是最佳匹配。在这种情况下,特征描述符匹配可以建立在距离测量上,例如欧几里得距离或者马氏距离。对于图像配准,同一场景不同设备不同时间获取的两幅或者多幅图像的空间对齐是十分重要的。图像配准或对齐任务中主要的步骤为:特征检测,特征匹配,基于图像中一致特征的变换函数的推导,以及基于导出的变换函数的图像重建【24】。任何匹配、识别系统的首要步骤是检测以及描述图像中的兴趣位置。一旦计算出描述符,比较这些描述符可以得到图像间的关系以完成匹配、识别任务。另外,对于线上街道级别虚拟导航应用,我们需要特征检测和特征描述符从一些平面图像(全景图像)中取提取特征【25】。
基本思想是首先检测对一类转换协变的兴趣区域。然后,对于每个检测到的区域,在检测到的关键点周围构建图像数据的不变特征向量表示(即描述符)。从图像中提取特征描述符可以基于二阶统计数据、参数模型、从图像变换中获取的参数,甚至是这些方法的组合。两种图像特征可以从图像内容表示中提取出来:全局特征和局部特征。全局特征(例如颜色和纹理)目的是将图像作为整体考虑,可以解释为从图像所有像素中获取的一种特别的属性。然而,局部特征是用于发现和描述图像中的关键点或兴趣区域。在这方面,如果局部特征算法在图像中检测到 n 个关键点,就有 n 个向量描述每一个关键点的形状,颜色,方向,纹理等。全局颜色和纹理特征被证实在数据库中寻找相似图像十分有用,而面向局部结构的特征适合目标分类或者寻找同一对象或场景的其它事件【26】。同时,全局特征不能区分图像的前景和背景,以及两个部分的混合信息【27】。
另一方面,因为实时应用需要处理更多数据或者需要在计算能力有限的移动设备中运行,对可以快速计算,快速匹配,有效利用内存并且还要保持好的准确度的局部特征描述符的需求在不断增长。另外,对移动平台上的图像匹配来说,局部特征描述符被证实是一个很好的选择,在这里可以处理遮挡和丢失的对象【18】。对于相机标定,图像分类,图像检索和目标追踪、重建这一类具体应用,特征检测器和描述符对亮度、视角改变和图像扭曲(例如噪声,模糊,光照)的鲁棒性是十分重要的【28】。 而其他特定的视觉识别任务,如人脸检测或识别,则需要使用特定的检测器和描述符【29】。
在文献中,大量的特征提取方法被提出来计算可靠的描述符。有些描述符是专门为特定的应用场景设计例如形状匹配【29,30】。在这些描述符中,尺度不变特征变换(SIFT)描述符【31】利用了高斯函数中一系列差分(DoG)中的局部极值来提取鲁棒性特征,并且加速稳健特征(SURF)描述符【32】受到 SIFT 的部分启发,用于快速计算独特不变的局部特征,SURF 十分流行且广泛应用于多种应用。这些描述符使用预设的过滤器和非线性操作来表示突出的图像区域。在文章的剩余部分, 我们概述了这些方法和算法以及开发人员提出的改进。更深地,我们也将介绍检测和描述图像特征的基础符号和数学概念。我们还在细节上探索检测器和描述符之间的量化关系以及如何评估它们的性能。
2 定义和原理
2.1 全局和局部特征
在图像处理和计算机视觉任务中,我们需要表示图像通过其特征。原始图像对人眼是抑郁提取特征的,但是对于计算机算法并非如此。总的来说,有两种表示图像的方法,全局特征和局部特征。在全局特征表达中,图像通过一个多维特征向量表示,用来描述整幅图像中的信息。换句话说,全局表示方法会生成一个单一向量,这个向量包含图像的多个方面的可测量信息,例如颜色,纹理或者形状。特别地,每幅图像中提取的单一向量可以用来作比较。例如,当一个人想要区分两幅图像,分别是关于海(蓝色)和森林(绿色)的,一个关于颜色的全局描述符可以为每个类生成完全不同的向量。在这样的背景下,全局特征可以被解释为图像中涉及所有像素的一个特别的属性。这种属性可以是颜色直方图,纹理,边缘,甚至是将图像滤波后的描述符【33】。在另一方面,局部特征表示的主要目标是根据一些显著区域区别表示图像,同时保持视角和光照不变性。因此,图像是基于它的局部结构,通过从一组被称为兴趣区域(即关键点)的图像区域中提取的局部特征描述符集合来描述的。 Fig. 1 描述了这些兴趣区域。大部分局部特征表达了图像块中的纹理。
总的来说,使用哪一种特征一般上很大程度上会依赖于手头上的应用,开发者偏向于最具有区分度的。例如,一个有着大鼻子和小眼睛的人和另一个小鼻子和大眼睛的人在释放图或者灰度分布上会有相似的面部照片。然后,从局部特征簇提取的局部特征或者全局模式看起来会根据有区分度。然而,对于在 WEB 尺度级图像索引应用中的大型数据库,考虑全局特征识是合适的。再者,全局特征对那些可以接受粗略地兴趣目标分割应用是有用的。全局特征的优势在于它们更快,更紧凑同时易于计算且内存友好。不过,全局表示也受到一些众所周知的限制,尤其是它们对一些重要变换不能保持不变,并且对杂物和遮挡敏感。在一些应用中,例如副本检测,许多非法拷贝和原件是十分相似的;它们仅收到压缩,缩放或者有限的裁剪【34】。同时,使用为大尺度图像搜索局部特征可以提供更好的效果【35】。另外因为局部结构比其它平滑区域结构更易区分且稳定,所以局部特征在图像匹配和目标识别中更有用。然而,它们经常需要大量的内存,因为图像可能包含成百上千个局部图像描述符。研究者建议将局部图像描述符聚集为一个紧凑向量并且降维优化【35】。
2.2 特征检测器的特征
Tuytelaars 和 Mikolajczyk【27】将局部特征定义为“是一个与其邻居区分开的图像模式”。因此,它们认为局部不变特征的目标是提供一种可以有效匹配图像间局部结构的表示。也就是说,我们希望获取一组稀疏的局部度量,这些度量可以捕获输入图像的本质并对它们的兴趣区域进行编码。为了这个目标,特征检测器和提取器必须有某些性质,同时需要记住这些性质的重要性依赖于实际的应用设置以及做出的妥协。下面列举的性质对在计算机视觉应用中运用特征是十分重要的:
- 鲁棒性,特征检测算法需要检测出同一个特征位置,不依赖缩放,选择,平移,光度变形,人为压缩和噪声。
- 可重用性,特征检测算法可以在不同观测条件下获取的同一场景图像反复检测出相同的特征。
- 准确性,特征检测算法应该准确地定位图像特征(相同像素位置),尤其是在需要精确对应关系来估计对极几何1(the epipolar geometry)的图像匹配任务中。
- 通用性,特征检测算法需要可以在不同应用中检测特征。
- 高效性,特征检测算法应该能够在新图像中快速检测特征以支持实时应用。
- 保量性,图像检测算法需要检测所有的或者大量的图像特征。其中,检测出的特征密度应该反映图像的信息内容以提供紧凑的图像表示。
2.3 尺度和仿射不变性
事实上,基于矩形或者圆形这类固定形状的区域匹配,在存在一些几何和光度畸变下,寻找对应关系是不可靠的,因为它们会影响区域形状。数字图形中的目标在不同的观察尺度下会有不同的外表。因此,在分析图像内容时,尺度改变会产生重要的影响。已经提出了不同的技术来解决在这种条件下检测和提取不变图像特征。一些是处理尺度变化,还有一些则更深层次地处理仿射变换。为了解决尺度变化,这些技术假设尺度的变化在所有方向上都是相同的(即均匀的),并使用尺度空间的连续核函数在所有可能的尺度上搜索稳定的特征。其中,图像的大小是不同的,并且滤波器(例如,高斯滤波器)重复地用来平滑图像,也可以保持原始图像大小,改变滤波器的大小,如 Fig. 2 所示。更多关于在尺度改变下的特征检测细节可以在【36】中找到,在这之中提出了一个用于生成图像兴趣尺度级的假设,通过在高斯拉普拉斯(LoG)归一化后的尺度中寻找尺度空间极值。
在另一个方面,在仿射变换中每一个方向的缩放可以是不同的2。不均匀的缩放对定位,尺度,局部结构形状都有影响。因此,尺度不变检测器在这种显著仿射变换中会失效。因此,在这种均匀缩放下的特征检测器需要拓展成仿射不变检测器,以检测局部图像结构的仿射形状。因此,这些放射不变检测器可以看作是尺度不变检测器的一般推广。
总的来说,仿射变换是一系列变换的组合:平移,缩放,翻转,旋转,和剪切3。一个仿射变换(affinity)是任一个保持共线性和距离比的线性映射。在这个角度上看,仿射意味着是射影变换的一个特殊情况,他不会把任何对象从仿射空间
3 图像特征检测器
特征检测器可以大概地分为三类:单尺度检测器,多尺度检测器以及仿射不变检测器。概括地说,单尺度意味着使用检测器内部参数对特征或目标轮廓仅有一个表示。单尺度检测器对诸如旋转,平移,光照改变和附加噪声的变换是不变的。然而,它们不适用于处理缩放问题。给定同一场景的但尺度不同的两幅图像,我们想要确定是否可以检测到相同的兴趣点。因此,在尺度改变下,建立能够可靠地提取显著特征的多尺度检测器是有必要的。接下来我们会讨论单尺度和多尺度检测器以及仿射不变检测器的细节。
3.1 单尺度检测器
3.1.1 Moravec’s 检测器
Moravec’s 检测器【37】对寻找图像中完全不同的区域感兴趣,这可以用于记录连续图像帧。它被用于角点检测算法,其中角点是那些低自相似性的点。 这个检测器测试给定图像的每一个像素来确定是否是一个角点。它考虑以某个像素为中心的局部图像块,然后确定它与相邻图像块的相似度。这个相似度是使用中心图像块核其它图像块的平方差之和(SSD)来确定的。基于 SSD 的值,我们需要考虑以下几种情况:
- 如果像素在均匀强度的区域内,那么相邻的块会看起来相似或者发生很小的变化。
- 如果像素在边上,那么在平行方向的相邻块只有很小的改变,与边垂直的方向会有很大的变化。
- 如果像素在一个任意方向都会发生很大变化的位置,那么没有相邻块会与其相似,当任意平移都会发生很大改变时,也就检测到了一个角点。
块与其邻居(水平,垂直和两个对角线)之间最小的 SSD 被用于角的一个度量。一个角或者兴趣点当 SSD 达到一个局部最大值时被检测到。下面的步骤可以用于实现 Moravec’s 检测器:
输入:灰度图像,窗口大小,阈值
对图像中的每一个像素
,以及平移量 ,计算强度变化 ,如下通过计算角测度
为每一个像素 构建对应的角图对所有角图中所有小于 T 的值归 0
使用非最大值抑制寻找局部最大值。剩下所有的非零值为角点。
为了执行非最大值抑制,需要按梯度方向扫描一幅图像,这个方向是与边方向是垂直的。所有不是局部最大值的像素都会被抑制为 0。正如 Fig.3 所描述的,p 和 r 是在 q 梯度方向上的两个相邻点。如果像素 q 的值比 p,q 任一个小,则抑制。Moravec’s 检测器的一个优势为可以检测出大量的角点。然而,它不是各向同性的。强度改变值仅仅在一些离散的位移上(例如,8 个理论方向)并且不再这 8 个相邻方向上的边会被分配到一个相对大的角测度。因此,它不是旋转不变的4,这也导致了可重用率低。
3.1.2 Harris 检测器
Harris 和 Stephens【38】发展了一种结合角和边检测器的方法以解决
Moravec’s
检测器中的限制。通过获取所有方向上的自相关改变量(例如,强度改变),这使得检测器在检测和重用率上变得可取。这个基于自相关矩阵的检测器是应用最广泛的技术。这个用于检测图像特征以及描述局部结构的
2*2 对称自相关矩阵如下表示5:
其中
通过为每一个像素
3.1.3 SUSAN 检测器
Simith 和 Brady
【39】介绍了一中不使用图像微分的角点计算方法,是一种通用的低层次的图像处理技术,称为
SUSAN(Smallest Univalue Segment Assimilating Nucleus)7。它不仅是一个角检测器还可以用于边缘检测核图像降噪。通过在每一个像素上放置一个固定半径的圆形掩膜来检测角点。中心像素就代表着核,掩膜下的其它像素会与核相比较来检查是否与核有相似的强度值。与核亮度十分相似的像素归为一组,被称为
USAN (Univalve Segment Assimilating Nucleus)。当一个位置的 USAN
中的像素个数达到一个局部最小值并且低于特别的阈值
T,这个位置就是角点。为了检测角点,同一掩膜下的两个像素的相似比较函数
SUSAN 检测器有如下几个优势:
- 不需要使用微分,因此不需要额外的降噪或者任何昂贵的计算
- 高可重用率
- 平移以及旋转不变
不幸的是,它对尺度和其它变换不是不变的,并且固定的阈值不使用于一般情况。这个检测器需要一个可适应的阈值,并且掩膜的形状需要改变。
3.1.4 FAST 检测器8
FAST(Features from Accelerated Segment Test)最初是由 Rosten 和
Drummondn
【40,41】提出的角点检测器。在这个检测方案中,通过对每个像素使用分段检测来确定候选点,该方法将围绕候选点的
16 个像素作为计算基础。如果在以 r 为半径的 Bresenham 圆上有一组包含 n
个连续像素,且这些像素全部比候选像素(表示为
尽管高速测试可以有很好的性能,但还是受到了在【41】中提及的几个限制和不足。使用机器学习方法可以改善这些限制和不足。决策树算法(ID3)是一种著名的用于学习像素分类的方法,可以对上述算法有很大的加速。因为第一阶段测试会在兴趣点周围产生很多响应,所以需要额外执行非最大值抑制。这使得特征定位更加准确。这个步骤的角测度公式如下:
换句话说,整个处理分为两个阶段。首先,对给定 n 以及合适的阈值的分段测试的角点检测在一组图像(最好是取自目标应用域)上执行。圆上的 16 个像素被分为比中心暗,相似或者亮。然后,在这 16 个位置使用 ID3 算法来得到最大信息增益9。 非最大值抑制应用于连续弧中像素与中心像素之间的绝对差值之和。注意到使用 ID3 算法执行的角点检测与使用分段检测器会有轻微的不同,因为决策树模型依赖于训练数据,这些模型不能覆盖所有的角点。与现存的许多检测器相比,FAST 角点检测器的高速表现使其十分适合实时视频处理应用。然而,它不是尺度不变的,并且对噪声敏感,它还依赖于阈值,选择一个合适的阈值是一个相当重要的工作。
3.1.5 Hessian 检测器10
Hessian 斑点检测器【42,43】是以一个关于图像强度
其中
3.2 多尺度检测器
3.2.1 高斯拉普拉斯(LoG)
高斯拉普拉斯(Laplacian-of-Gaussian,LoG)是一个二阶微分的线性组合且是一个常用的斑点检测器。给定一副图像
拉普拉斯对暗斑点呈现正响应,对亮斑点则是负响应,斑点大小为
3.2.2 高斯差分(DoG)
实际上,LoG
操作是十分耗时的。为了加速计算,Lowe【31】提出了一种基于局部三维极值的高效算法,极值是在使用高斯差分(Difference-of-Gaussian,DoG)构建的尺度空间金字塔中寻找的。这种方法应用于尺度不变特征变换(SIFT)算法。在这个背景下,DoG
给出了 LoG 的一种近似,并且用于从尺度空间极值中高效检测稳定特征。DoG
函数

3.2.3 Harris-Laplace13
Harris-Laplace 是由 Mikolajczyk 和
Schmid【45】提出的尺度不变的角点检测器。它依赖于 Harris
角点检测器和高斯尺度空间的组合。尽管 Harris
角点具有旋转不变性和光照不变性,但不是尺度不变的因此,对该检测器中使用的二阶矩矩阵进行了修正,使其与图像分辨率无关。Harris-Laplace
中的尺度适应的二阶矩矩阵表示如下:
3.2.4 Hessian-Laplace
和 Harris-Laplace 相似,基于 Hessian 矩阵的检测器也可以用相同的方法构造一个具有尺度不变性的检测器,名为 Hessian-Laplace。首先,我们使用 Laplacian 或者它的近似表示 DoG 来构造尺度空间。然后使用 Hessian 矩阵的行列式提取尺度不变类斑点特征。Hessian-Laplace 检测器获取的大量特征覆盖了整幅图像,和 Harris-Laplace 相比可重用性略低。此外,由于空间和尺度定位中使用的滤波器的相似性,提取的位置更适合于基于二阶高斯微分的尺度估计。Bay et al. 【32】宣称基于 Hessian 的检测器比基于 Harris 的更稳定。类似得,使用 DoG 代替 LoG 来加速计算,Hessian 行列式使用积分图像技术来近似【29】以达到 Fast Hessian 检测器【32】。
3.2.5 Gabor-Wavelet 检测器
最近,Yussof 和 Hitam【47】提出一种基于 Gabor 小波15的多尺度兴趣点检测器。Gabor 小波是受高斯包络函数限制的平面波形状的生物激励卷积核,其核类似于哺乳动物简单皮层细胞的二维感受场谱的响应。Gabor 小波使用经过高斯包络函数调制的复平面波。
其中
3.3 仿射不变检测器
到现在为止讨论的特征检测器展示了平移、旋转和均匀尺度的不变性,并认为局部图像结构的位置和尺度不受仿射变换的影响。因此,它们可以处理一部分富含挑战性的反射不变性问题,同时记住尺度在每个方向上是可以不同的。这反过来使得尺度不变检测器不能处理显著的仿射变换。因此,建立一个对透视变换具有鲁棒性的检测器需要仿射变换不变性。一个仿射不变检测器可以视作是尺度不变检测器的一般版本。最近,一些特征检测器拓展为可以处理仿射变换不变特征。举个例子,Schaffalitzky 和 Zisserman 【48】通过仿射归一化拓展 Harris-Laplace 检测器。Mikolajczyk 和 Schmid 【45】介绍了一种尺度以及仿射不变兴趣点检测方法。他们的算法同时适应了点邻域的位置,尺度,形状来获取仿射不变点。其中,Harris 检测器使用适用于仿射变换并基于二阶矩矩阵估计点邻域的形状。这是通过如下由 Lindberg 和 Garding【49】得出的迭代估计方案:
- 使用尺度不变 Harris-Laplace 检测器明确初始区域点。
- 对每一个初始点,使用仿射形状自适应将区域归一化以满足仿射不变。
- 迭代估计仿射区域,选择合适的积分尺度,微分尺度和空间定位兴趣点。
- 使用这些尺度以及空间定位来更新仿射区域。
- 重复第三步直到满足停止条件。
类似于 Harris-affine,同样的想法可以用于基于 Hessian 的检测器,以实现名为 Hessian-affine 的仿射不变检测器。对于单幅图像。Hessian-affine 通常比 Harris-affine 得到更多可靠的区域。性能的改变依赖于分析的场景类型。再者,Hessian-affine 对纹理场景有很好的响应,纹理场景中有很多类似角的部分。然而,对一些类似建筑的结构化场景,Hessian-affine 处理得很好。Mikolajczyk 和 Schmid 对几种最先进的仿射检测器进行了深入的分析【50】。
由于篇幅限制,还有几种没有被讨论过的特征检测器,例如,Fast Hessian 或 the Determinant of Hessian (DoH) 【32】 ,MSER【51,52】。关于这些检测器更详细的讨论见【44,45,53】。
4 图像特征描述
一旦在位置
4.1 尺度不变特征变换(SIFT)
lowe【31】提出了尺度不变特征变换算法(scale-invariant feature transform ,SIFT),其使用 DoG 操作在图像中检测到大量的兴趣点。这些点通过 DoG 函数的局部极值选择。在每一个兴趣点可以提取一个特征向量。在多个尺度上,在兴趣点周围的邻域上,利用局部图像属性来估计图像的局部方向,以提供相对于旋转的不变性。接下来,为每一个检测到的点基于特定特征尺度的局部图像信息计算一个描述符。通过建立兴趣点周围区域的梯度方向直方图,SIFT 描述符寻找最高的方向值并且其它大于最值 80% 的值,并使用这些方向作为这个关键点的主方向。
SIFT 算法的描述阶段从采样关键点周围
标准 SIFT
描述符表示在几个方面是值得注意的:这种表示是精心设计的,以避免由于边界效应和位置的平滑变化而产生的问题,方向和尺度不会引起特征向量的根本变化;它十分紧凑,使用
128
元素的向量表示像素块;但对仿射变换不是显著不变的,这种表示对由透视效果引起的变形具有惊人的弹性。这些特征在不同尺度,选择和光照下与其它竞争算法的匹配性能中得到了证明。在另一个方面,标准
SIFT 特征向量的组成是复杂的并且 SIFT 具体设计背后的选择不明确导致 SIFT
公共的高维问题,这影响了计算描述符所需的时间(十分慢)。作为 SIFT
的拓展,Ke 和 Sukthankar【54】提出了 PCA-SIFT 来减少原始 SIFT
描述符的高维性。PCA-SIFT 使用主成分分析(Principal
Components
Analysis,PCA)技术对关键点周围的梯度图像块归一化。它在给定的尺度下提取
4.2 梯度位置方向直方图(GLOH)
梯度位置方向直方图(Gradient location-orientation histogram,GLOH)由
Mikolajczyk 和 Schmid 【50】提出,也是 SIFT 描述符的拓展。GLOH 与 SIFT
描述符非常相似,它只将 SIFT
使用的笛卡尔位置网格替换为对数-极坐标网格,并应用 PCA
来减小描述符的大小。GLOH
使用对数-极坐标位置网格将径向分为三个(半径设置为
6,11,15),角度方向分为 8 个,如 Fig.9
所示最后有 17 个子块。GLOH 描述符将梯度方向分为 16
个条目并以此建立了一组直方图,所以每个兴趣点的特征向量有
4.3 加速鲁棒特征描述符(SURF)
加速鲁棒特征(Speeded-Up Robust Features,SURF)检测-描述符由 Bay
等人发展【32】以作为 SIFT 的有效替代。与SIFT
相比它更加快且更具鲁棒性。对于兴趣点检测阶段,并不依赖理想高斯微分,而是基于简单的
2D 核滤波器。其中,它使用基于 Hessian
矩阵行列式的尺度不变斑点检测器来进行尺度选择和定位。它基础的思想为用一个高效的方式来近似高斯二阶微分,通过一组盒滤波器创建的积分图像。Fig.10
描绘了这个
SURF
描述符首先以检测到的兴趣点为中心建立一个方形区域,并确定其主方向。这个窗口的大小为
和 SIFT 相比 SURF 描述符主要的优势在于处理速度,因为它使用 64 维特征向量来描述局部特征,而 SIFT 使用的是 128 维。然而,SIFT 描述符更适于描述受平移,选择,缩放和其它光照变化影响的图像。尽管 SURF 展示了它在很多计算机视觉应用上的潜力,但它也有许多缺陷。在比较 2D 和 3D 目标时,当旋转幅度大或视角差距大时它将失效。此外,如【56】解释的那样,SURF 并不是完全仿射不变的。
4.4 Local Binary Pattern (LBP)
LBP
【57,58】表征了纹理的空间结构并展示了灰度单一变换的不变性特点。它通过将相邻像素和中心像素比较以编码排序关系,也就是说通过将每一个像素值和其相邻像素比较以创建一个基于顺序的特征。特别地,将那些比中心像素具有更大特征响应的相邻像素标记为
“1”,否则标记为
“0”。这些同时进行的比较的结果由一个二进制串记录。然后,从公共比率为 2
的几何序列得到的权重,根据串的索引分配给每一个比特。因此,带有权值的二进制串就可以转换为一个十进制值索引(即,LBP
特征响应)。也就是说,这个描述符将邻域上的结果描述了为一个二进制数(二元模式)。其标准模式下,强度为
其中
因为像素之间的关系随距离增加而减少,所以许多的纹理信息可以从局部邻域中获得。因此,半径
R 一般都比较小。在实际应用中,邻域间的差分符号被解释为 N
位二进制数,使得有如 Fig.13 所示的
已经提出了几种不同的 LBP,包括中心对称 LBP(the center-symmetric local binary patterns,CS-LBP),局部三元模式(the local ternary pattern,LTP),基于 CS-LBP 的中心对称 LTP(CS-LTP),以及正交对称 LTP(orthogonal symmetric local ternary pattern,OS-LTP)【60】。不像 LBP,CS-LBP 描述符比较中心对称对之间的灰度差分(见 Fig.13)。实际上,LBP 有容忍光照改变和计算简单的优势。不幸的是,LBP 特征是离散模式的索引而不是数值特征,因此它很难与其它区分度高的特征结合在一个紧凑的描述符中【61】。此外,它产生更高维的特征并对平坦区域的高斯噪声敏感。
4.5 Binary Robust Independent Elementary Features (BRIEF)
BRIEF 是一个低比特率描述符,用于随机森林和随机蕨类分类器的图像匹配【62】。它属于 LBP 和 BRISK 那样的二元描述族,它仅执行简单的二元比较测试和使用汉明距离17而不是欧几里得距离或者马氏距离。简单来说,为了建立二元描述符,有必要的仅仅是比较被检测兴趣点周围的两个像素的强度。这使得以一个非常小的计算开销便可以获得具有代表形的描述符。此外,二元描述符匹配仅需要计算汉明距离,而汉明距离通过现代架构的 XOR 原语实现快速计算。
BRIEF
算法依赖于相对小的图像强度差分测试来将图像块表示为二进制串。更特别的是,对大小为
作者的实验显示了仅仅 256 位,甚至 128 位便足以获取十分好的匹配结果。因此,BRIEF 在计算以及内存存储方面都是高效的。不幸的是 BRIEF 描述符对大于 35° 的旋转不具鲁棒性,因此,它并不提供旋转不变性。
4.6 其它特征描述符
大量的描述符在文献中提出,并且之中的许多已经被证明在计算机视觉应用中是有效的。举个例子,基于颜色的局部特征是由 Weijer 和 Schmidt 【63】提出的基于颜色信息的四个颜色描述符。Gabor 表示或者其变化【64,65】在某种意义上是最优的,在最小化空间和频率的二维联合不确定性上。Zernike 矩【66,67】和 Steerable 滤波器【68】也用于特征提取和描述。
受到 Weber’s Law 的启发,根据局部强度变化和中心像素强度值为每个像素计算一个密集的描述符,这个方法为在【28】中提出的 Weber Local Descriptor(WLD)。WLD 描述符采用了 SIFT 使用梯度和其方向直方图的优势,以及 LBP 的计算效率和较小支持区域的优势。和 LBP 描述符相比,WLD 首先计算显著微模式(即,差分激励),然后在这些显著模式以及当前点的梯度方向上建立统计数据。
两种基于测量图像可视实体相似度从兴趣区域提取特征的方法在【69】中提出。这些方法的思路为将两个著名的方法结合起来,即 SIFT 描述符和 Local Self-Similarities(LSS)。基于笛卡尔位置网格提取了两个名为 Local Self-Similarities(LSS,C)和 Fast Local Self-Similarities(FLSS,C)的特征,这两个特征是基于对数-极坐标位置网格(LSS,LP)的 Local Self-Similarities 的改进版本。LSS 和 FLSS 作为局部特征应用于 SIFT 算法。LSS和FLSS描述符在每个单元中使用基于分布的直方图表示而不是而不是在自然(LSS,LP)描述符中的对数-极坐标位置网格中选择每个桶中的最大相关值。因此,它们得到更具鲁棒性的几何变换不变性和好的光度变换不变性。一个基于二阶梯度直方图的局部图像描述符在【70】中提出,名为 HSOG,用于捕捉神经邻域的曲率相关几何特性。Dalal 和 Triggs【71】展示了梯度方向直方图(HOG)描述符,结合了 SIFT 的性质以及 GLOH 描述符。HOG 和 SIFT 的主要差别为 HOG描述符是在具有重叠局部对比归一化的均匀间隔单元的密集网格上计算的。
Fan 等人在另一个方向提出了一种兴趣区域描述方法,这种方法在多个可使用区域中基于强度顺序汇聚局部特征。通过强度顺序汇聚不仅对选择和单调强度改变不变,而且将序数信息编码为描述符。通过汇聚两种不同的局部特征,可以得到一种基于梯度,一种基于强度的描述符,即 Multisupport Region Order-Based Gradient Histogram (MROGH) 和 the Multisupport Region Rotation and Intensity Monotonic Invariant Descriptor (MRRID)。前一种结合了强度顺序信息和梯度,然而后一种完全基于强度顺序,这使得它对大的光照改变部分不变。
尽管最近提出了大量的图像特征描述符,其中的几个是专门为某些场景应用设计的,如目标识别,形状检索或者 LADAR 数据处理【73】。此外,这些描述符的作者在为某些特别任务收集的有限数量基准数据集上评估描述符性能。因此,为特别的应用邻域选择一个合适的描述符是困难的。在这方面,最近一些研究对几种描述符做了比较:兴趣区域描述符【50】,二进制描述符【74】,局部颜色描述符【75】,和 3D 描述符【76,77】。事实上,声称描述图像特征是一个已经被解决的问题是过于大胆和乐观的。另一方面,鉴于上述描述符在几种应用程序中的成功,声称为一般现实情况设计描述符几乎是不可能的说法太过悲观了。最后,为了将描述符算法设计为可以通用还有大量的工作要做。我们主张进一步研究如何使用由三维数据和颜色信息捕获的新模式。对于实时应用,未来研究的进一步是在如 GPU 的并行处理单元上实现算法。
5 特征匹配
特征匹配或者一般而言的图像匹配,作为很多计算机视觉应用的一部分,如图像配准,相机标定和目标识别,建立同一场景/目标的两幅图像之间的对应关系。一种常见的图像匹配方法包括从图像数据中检测一组与图像描述符相联系的兴趣点。一旦特征和它的描述符从两幅或多幅图像中提取出来,下一步便是如 Fig.14 那样在这些图像之间建立基础的特征匹配。
为了不失一般性,图像匹配的问题可以表述如下,假设
其中,对于所有的
兴趣点
在另一方面,这些算法并不适用与二进制特征(例如,FREAK 或者 BRISK)。二进制特征匹配使用的是汉明距离,通过 按位 XOR 操作计算,并对结果进行位计数。这里涉及到的操作都可以很快的执行。匹配大型数据库的经典方案为使用比线性搜索快几个数量级的近似匹配来提到原先的线性搜索。也就是说,以返回最近邻的近似点作为代价,但是经常与真实的最近邻点十分相近。为了执行二进制特征匹配,需要使用其它的方法如【80-82】。
一般地,基于兴趣点的匹配方法的性能依赖于潜在兴趣点的性质以及与之相联系的图像描述符【83】。因此,适合图像内容的检测器和描述符应该被用于应用中。举个例子,如果一副包含细菌细胞的图像,那么就需要斑点检测器而不是角点检测器,但对于城市的鸟瞰图,角点检测器更适于人造结构。此外,选择一个可以解决图像退化问题的检测器和描述符是十分重要的。例如,如果没有尺度改变,则不处理尺度变换的检测器更受推崇;反之,如果一副包含很大变形,例如尺度和旋转,那么具有更高计算力的 SURF 特征检测器和描述符更适用于这个情况。至于更高的准确度,建议同时使用几种检测器和描述符。在特征匹配邻域,必须注意到二进制描述符(例如,FREAK 或 BRISK)一般具有更快的速度且一般用于寻找图像间点的一致性关系,但是它们和基于向量的描述符相比准确度更低【74】。数据分析显示,类似 RANSAC 的鲁棒性方法可以用于在估计几何变换或者基础矩阵时,筛选匹配特征中的外点,这对图像配置和目标识别应用中的特征匹配十分有用。
6 性能评估
6.1 基准数据集
在互联网上有多种多样的数据集可以作为研究者的基准。一个流行并广泛用于检测器和描述符性能评估的为标准 Oxford 数据集【84】。这个数据集包含了不同几何和光度变换(视角改变,尺度改变,图像旋转,图像模糊,光照变换以及 JPEG 压缩)以及不同场景类型的(结构和纹理场景)数据集。在光照改变的情况下,通过改变相机孔径来改变光照。然而对于旋转,尺度改变,视角改变和模糊,有两种不同的场景类型。一种为结构场景,包含独特边缘边界的同类区域(例如涂鸦,建筑)。另一种则包含不同形式的重复纹理。因此,图像变换和场景类型造成的影响可以单独分析。每一个数据集包含 6 个几何和光度变形图像,其中第一张图像和其余 5 张相比是渐变的。Fig.15 为从 Oxford 数据集中抽取的几张图像。
6.2 评估标准
为了判断两张图像特征是否匹配(即,属于是否属于同一特征),Mikolajczyk
等人【44】提出基于重复率标准的评估方法,通过比较检测到的区域和真实区域之间的重叠大小。重复率可以被认为是最重要的评估标准,在评估特征检测器的稳定性上。它测量探测器在图像中提取相同特征点的能力,而不考虑成像条件。重复率标准表示了检测器某个检测器对于某一场景是否足够好。在这个评估方法中,两个兴趣区域
A 和 B 是一致的,当重叠错误率
这个方法计算了两个区域的并集和交集的全部像素数量。此外,一个匹配是正确的,当图像上两个对应区域的错误率小于
区域并的 50%,也就是
另一方面,区域描述符的性能由匹配标准度量,即,描述符表示一个场景区域的好坏。这是基于由图像对得到的正确和错误匹配的数量决定的。这通过比较真实的对应区域数量和正确匹配的区域数量计算。匹配为描述符空间中最邻近的【50】。在这个情况下,两个兴趣区域成匹配对,如果它们描述符
其中,No.correspondences
为两幅图像的匹配区域的数量。然而,召回率是同一场景的两幅图像之间正确匹配的区域数量对于一致区域数量。一个理想描述符的对任意准确率其召回率为
1。为了获取其曲线,需要改变阈值
7 总结
这篇文章的目标是为新研究者在图像特征检测和提取研究领域提供一简洁明了的,简短的介绍。介绍了检测和提取图像特征的基本符号和数学概念,描述了完美特征检测器的特性。之前介绍了各种现存的检测兴趣点的算法。也讨论了使用最频繁的描述算法 SIFT,SURF,LBP,WLD,……并且它们的优缺点也着重强调了。此外,它解释了一些特征匹配方法。最后,文章还介绍了它们算法中用于评估性能的技术。
参考文献
Yap, T., Jiang, X., Kot, A.C.: Two-dimensional polar harmonic transforms for invariant image representation. IEEE Trans. Pattern Anal. Mach. Intell. 32(7), 1259–1270 (2010)
Liu, S., Bai, X.: Discriminative features for image classification and retrieval. Pattern Recogn. Lett. 33(6), 744–751 (2012)
Rahmani, R., Goldman, S., Zhang, H., Cholleti, S., Fritts, J.: Localized content-based image retrieval. IEEE Trans. Pattern Anal. Mach. Intell. 30(11), 1902–1912 (2008)
Stöttinger, J., Hanbury, A., Sebe, N., Gevers, T.: Sparse color interest points for image retrieval and object categorization. IEEE Trans. Image Process. 21(5), 2681–2691 (2012)
Wang, J., Li, Y., Zhang, Y., Wang, C., Xie, H., Chen, G., Gao, X.: Bag-of-features based medical image retrieval via multiple assignment and visual words weighting. IEEE Trans. Med. Imaging 30(11), 1996–2011 (2011)
Andreopoulos, A., Tsotsos, J.: 50 years of object recognition: directions forward. Comput. Vis. Image Underst. 117(8), 827–891 (2013)
Dollár, P., Wojek, C., Schiele, B., Perona, P.: Pedestrian detection: an evaluation of the state of the art. IEEE Trans. Pattern Anal. Mach. Intell. 34(4), 743–761 (2012)
Felsberg, M., Larsson, F., Wiklund, J., Wadströmer, N., Ahlberg, J.: Online learning of correspondences between images. IEEE Trans. Pattern Anal. Mach. Intell. 35(1), 118–129 (2013)
Miksik, O., Mikolajczyk, K.: Evaluation of local detectors and descriptors for fast feature matching. In: International Conference on Pattern Recognition (ICPR 2012), pp. 2681–2684. Tsukuba, Japan, 11–15 Nov 2012
Kim, B., Yoo, H., Sohn, K.: Exact order based feature descriptor for illumination robust image matching. Pattern Recogn. 46(12), 3268–3278 (2013)
Moreels, P., Perona, P.: Evaluation of features detectors and descriptors based on 3D objects. Int. J. Comput. Vis. 73(3), 263–284 (2007)
Takacs, G., Chandrasekhar, V., Tsai, S., Chen, D., Grzeszczuk, R., Girod, B.: Rotation-invariant fast features for large-scale recognition and real-time tracking. Sign. Process. Image Commun. 28(4), 334–344 (2013)
Tang, S., Andriluka, M., Schiele, B.: Detection and tracking of occluded people. Int. J. Comput. Vis. 110(1), 58–69 (2014)
Rincón, J.M., Makris, D., Uru ˇnuela, C., Nebel, J.C.: Tracking human position and lower body parts using Kalman and particle filters constrained by human biomechanics. IEEE Trans. Syst. Man Cybern. Part B 41(1), 26–37 (2011)
Lazebnik, S., Schmid, C., Ponce, J.: A sparse texture representation using local affine regions. IEEE Trans. Pattern Anal. Mach. Intell. 27(8), 1265–1278 (2005)
Liu, L., Fieguth, P.: Texture classification from random features. IEEE Trans. Pattern Anal. Mach. Intell. 34(3), 574–586 (2012)
Murillo, A., Guerrero, J., Sagues, C.: SURF features for efficient robot localization with omnidirectional images. In: International Conference on Robotics and Automation, pp. 3901–3907. Rome, Italy, 10–14 Apr, 2007
Valgren, C., Lilienthal, A.J.: SIFT, SURF & seasons: appearance-based long-term localization in outdoor environments. Rob. Auton. Syst. 58(2), 149–156 (2010)
Campos, F.M., Correia, L., Calado, J.M.F.: Robot visual localization through local feature fusion: an evaluation of multiple classifiers combination approaches. J. Intell. Rob. Syst. 77(2), 377–390 (2015)
Farajzadeh, N., Faez, K., Pan, G.: Study on the performance of moments as invariant descriptors for practical face recognition systems. IET Comput. Vis. 4(4), 272–285 (2010)
Mian, A., Bennamoun, M., Owens, R.: Keypoint detection and local feature matching for textured 3D face recognition. Int. J. Comput. Vis. 79(1), 1–12 (2008)
Jain, A.K., Ross, A.A., Nandakumar, K.: Introduction to Biometrics, 1st edn. Springer (2011)
Burghardt, T., Damen, D., Mayol-Cuevas, W., Mirmehdi, M.: Correspondence, matching and recognition. Int. J. Comput. Vis. 113(3), 161–162 (2015)
Bouchiha, R., Besbes, K.: Comparison of local descriptors for automatic remote sensing image registration. SIViP 9(2), 463–469 (2015)
Zhao, Q., Feng, W., Wan, L., Zhang, J.: SPHORB: a fast and robust binary feature on the sphere. Int. J. Comput. Vis. 113(2), 143–159 (2015)
Zhang, S., Tian, Q., Huang, Q., Gao, W., Rui, Y.: USB: ultrashort binary descriptor for fast visual matching and retrieval. IEEE Trans. Image Process. 23(8), 3671–3683 (2014)
Tuytelaars, T., Mikolajczyk, K.: Local invariant feature detectors: a survey. Found. Trends Comput. Graph. Vis. 3(3), 177–280 (2007)
Chen, J., Shan, S., He, C., Zhao, G., Pietikäinen, M., Chen, X., Gao, W.: WLD: a robust local image descriptor. IEEE Trans. Pattern Anal. Mach. Intell. 32(9), 1705–1720 (2010)
Viola, P., Jones, M.J.: Robust real-time face detection. Int. J. Comput. Vis. 57(2), 137–154 (2004)
Janan, F., Brady, M.: Shape description and matching using integral invariants on eccentricity transformed images. Int. J. Comput. Vis. 113(2), 92–112 (2015)
Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vis. 60(2), 91–110 (2004)
Bay, H., Ess, A., Tuytelaars, T., Gool, L.: Speeded-up robust features (SURF). Comput. Vis. Image Underst. 110(3), 346–359 (2008)
Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. Int. J. Comput. Vis. 42(3), 145–175 (2001)
Bianco, S., Mazzini, D., Pau, D., Schettini, R.: Local detectors and compact descriptors for visual search: a quantitative comparison. Digital Signal Process. 44, 1–13 (2015)
Jégou, H., Perronnin, F., Douze, M., Sánchez, J., Pérez, P., Schmid, C.: Aggregating local descriptors into a compact codes. IEEE Trans. Pattern Anal. Mach. Intell. 34(9), 1704–1716 (2012)
Lindeberg, T.: Feature detection with automatic scale selection. Int. J. Comput. Vis. 30(2), 79–116 (1998)
Moravec, H.P.: Towards automatic visual obstacle avoidance. In: 5th International Joint Conference on Artificial Intelligence, pp. 584–594 (1977)
Harris, C., Stephens, M.: A combined corner and edge detector. In: The Fourth Alvey Vision Conference, pp. 147–151. Manchester, UK (1988)
Smith, S.M., Brady, J.M.: A new approach to low level image processing. Int. J. Comput. Vis. 23(1), 45–78 (1997)
Rosten, E., Drummond, T.: Fusing points and lines for high performance tracking. In: International Conference on Computer Vision (ICCV’05), pp. 1508–1515. Beijing, China, 17–21 Oct 2005
Rosten, E., Drummond, T.: Machine learning for high speed corner detection. In: 9th European Conference on Computer Vision (ECCV’06), pp. 430–443. Graz, Austria, 7–13 May 2006
Beaudet, P.R.: Rotationally invariant image operators. In: International Joint Conference on Pattern Recognition, pp. 579–583 (1978)
Lakemond, R., Sridharan, S., Fookes, C.: Hessian-based affine adaptation of salient local image features. J. Math. Imaging Vis. 44(2), 150–167 (2012)
Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky, F., Kadir, T., Gool, L.: A comparison of affine region detectors. Int. J. Comput. Vis. 65(1/2), 43–72 (2005)
Mikolajczyk, K., Schmid, C.: Scale & affine invariant interest point detectors. Int. J. Comput. Vis. 60(1), 63–86 (2004)
Lindeberg, T.: Scale selection properties of generalized scale-space interest point detectors. J. Math. Imaging Vis. 46(2), 177–210 (2013)
Yussof, W., Hitam, M.: Invariant Gabor-based interest points detector under geometric transformation. Digital Signal Process. 25, 190–197 (2014)
Schaffalitzky, F., Zisserman, A.: Multi-view matching for unordered image sets. In: European Conference on Computer Vision (ECCV), pp. 414–431. Copenhagen, Denmark, 28–31 May 2002
Lindeberg, T., Gårding, J.: Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure. Image Vis. Comput. 15(6), 415–434 (1997)
Mikolajczyk, K., Schmid, C.: A performance evaluation of local descriptors. IEEE Trans. Pattern Anal. Mach. Intell. 27(10), 1615–1630 (2005)
Matas, J., Chum, O., Urban, M., Pajdla, T.: Robust wide baseline stereo from maximally stable extremal regions. In. In British Machine Vision Conference (BMV), pp. 384–393 (2002)
Matas, J., Ondrej, C., Urban, M., Pajdla, T.: Robust wide-baseline stereo from maximally stable extremal regions. Image Vis. Comput. 22(10), 761–767 (2004)
Li, J., Allinson, N.: A comprehensive review of current local features for computer vision. Neurocomputing 71(10–12), 1771–1787 (2008)
Ke, Y., Sukthankar, R.: PCA-SIFT: a more distinctive representation for local image descriptors. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR’04), pp. 506–513. Washington, DC, USA, 27 June–2 July 2004
Morel, J., Yu, G.: ASIFT: a new framework for fully affine invariant image comparison. SIAM J. Imaging Sci. 2(2), 438–469 (2009)
Pang, Y., Li, W., Yuan, Y., Pan, J.: Fully affine invariant SURF for image matching. Neurocomputing 85, 6–10 (2012)
Ojala, T., Pietikäinen, M., Mäenpää, M.: Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Trans. Pattern Anal. Mach. Intell. 24(7), 971–987 (2002)
Heikkiläa, M., Pietikäinen, M., Schmid, C.: Description of interest regions with local binary patterns. Pattern Recogn. 42(3), 425–436 (2009)
Tian, H., Fang, Y., Zhao, Y., Lin, W., Ni, R., Zhu, Z.: Salient region detection by fusing bottomup and top-down features extracted from a single image. IEEE Trans. Image Process. 23(10), 4389–4398 (2014)
Huang, M., Mu, Z., Zeng, H., Huang, S.: Local image region description using orthogonal symmetric local ternary pattern. Pattern Recogn. Lett. 54(1), 56–62 (2015)
Hong, X., Zhao, G., Pietikäinen, M., Chen, X.: Combining LBP difference and feature correlation for texture description. IEEE Trans. Image Process. 23(6), 2557–2568 (2014)
Calonder, M., Lepetit, V., Özuysal, M., Trzcinski, T., Strecha, C., Fua, P.: BRIEF: computing a local binary descriptor very fast. IEEE Trans. Pattern Anal. Mach. Intell. 34(7), 1281–1298 (2012)
Van De Weijer, J., Schmid, C.: Coloring local feature extraction. In: European Conference on Computer Vision (ECCV), pp. 334–348. Graz, Austria, 7–13 May 2006
Subrahmanyam, M., Gonde, A.B., Maheshwari, R.P.: Color and texture features for image indexing and retrieval. In: IEEE International Advance Computing Conference (IACC), pp.1411–1416. Patiala, India, 6–7 Mar 2009
Zhang, Y., Tian, T., Tian, J., Gong, J., Ming, D.: A novel biologically inspired local feature descriptor. Biol. Cybern. 108(3), 275–290 (2014)
Chen, Z., Sun, S.: A Zernike moment phase-based descriptor for local image representation and matching. IEEE Trans. Image Process. 19(1), 205–219 (2010)
Chen, B., Shu, H., Zhang, H., Coatrieux, G., Luo, L., Coatrieux, J.: Combined invariants to similarity transformation and to blur using orthogonal Zernike moments. IEEE Trans. Image Process. 20(2), 345–360 (2011)
Freeman, W., Adelson, E.: The design and use of steerable filters. IEEE Trans. Pattern Anal. Mach. Intell. 13(9), 891–906 (1991)
Liu, J., Zeng, G., Fan, J.: Fast local self-similarity for describing interest regions. Pattern Recogn. Lett. 33(9), 1224–1235 (2012)
Huang, D., Chao, Z., Yunhong, W., Liming, C.: HSOG: a novel local image descriptor based on histograms of the second-order gradients. IEEE Trans. Image Process. 23(11), 4680–4695 (2014)
Dalal, N., Triggs, B.: Histograms of oriented gradients for human detection. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR’05), pp. 886–893. San Diego, CA, USA, 20–26 June 2005
Fan, B., Wu, F., Hu, Z.: Rotationally invariant descriptors using intensity order pooling. IEEE Trans. Pattern Anal. Mach. Intell. 34(10), 2031–2045 (2012)
Al-Temeemy, A.A., Spencer, J.W.: Invariant chromatic descriptor for LADAR data processing. Mach. Vis. Appl. 26(5), 649–660 (2015)
Figat, J., Kornuta, T., Kasprzak, W.: Performance evaluation of binary descriptors of local features. Lect. Notes Comput. Sci. (LNCS) 8671, 187–194 (2014)
Burghouts, G., Geusebroek, J.M.: Performance evaluation of local color invariantss. Comput. Vis. Image Underst. 113(1), 48–62 (2009)
Moreels, P., Perona, P.: Evaluation of features detectors and descriptors based on 3D objects. Int. J. Comput. Vis. 73(2), 263–284 (2007)
Guo, Y., Bennamoun, M., Sohel, F., Lu, M., Wan, J., Kwok, N.M.: A comprehensive performance evaluation of 3D local feature descriptors. Int. J. Comput. Vis. First online, 1–24 (2015)
Muja, M., Lowe, D.G.: Scalable nearest neighbor algorithms for high dimensional data. IEEE Trans. Pattern Anal. Mach. Intell. 36(11), 2227–2240 (2014)
Szeliski, R.: Computer Vision: Algorithms and Applications. Springer, USA (2011)
Muja, M., David G. Lowe: Fast matching of binary features. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR’12), pp. 404–410. Toronto, ON, USA, 28–30 May 2012
Nister, D., Stewenius, H.: Scalable recognition with a vocabulary tree. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR’06), pp. 2161–2168. Washington, DC, USA, 17–22 June 2006
Yan, C.C., Xie, H., Zhang, B., Ma, Y., Dai, Q., Liu, Y.: Fast approximate matching of binary codes with distinctive bits. Frontiers Comput. Sci. 9(5), 741–750 (2015)
Lindeberg, T.: Image matching using generalized scale-space interest points. J. Math. Imaging Vis. 52(1), 3–36 (2015)
The oxford data set is available at (last visit, Oct. 2015) http://www.robots.ox.ac.uk/~vgg/data/affine/