一、特征点的提取
特征点提取课题包含提取（detector）和描述（descriptor）两部分。
提取指识别关键点或特征点，描述指对特征点及其周围信息进行量化表达。
本节内容从图像特征点入手，延伸至三维点云特征点的传统方法（如casi co），并介绍基于深度学习的点云特征点提取方法（如model）。
1.图像特征
1) 特征点检测
特征点指图像中关键或显著的点，如角点或特定区域（如向日葵的中心圆）。通常定义为单个像素点（二维图像）或三维点云中的点，但部分方法将区域整体视为特征点。特征点检测（detection）用于定位特征点位置。
2) 特征点的描述
特征点描述将特征点及其周围信息编码为向量（如SIFT描述子）。通过量化局部特征（如梯度方向、强度分布），生成唯一描述符，便于后续匹配。
3) 特征点的匹配
特征点匹配通过比较描述向量（如欧氏距离）建立不同图像中特征点的对应关系。应用包括全景图合成（对齐多张图像）和SLAM（稀疏地图构建）。
4) 应用案例
例题:全景图应用
全景图合成通过特征点匹配对齐多张图像，结合混合（blending）技术消除曝光差异或镜头畸变。
例题:SLAM应用
基于特征的SLAM（如ORB-SLAM）通过提取稀疏特征点构建三维地图（仅保留显著点，如物体边缘）。定位通过特征点深度估计相机位姿（图中方框），构图生成特征点的三维坐标（稀疏点云）。
2.三维点云特征
三维特征点（如深度学习提取的UC特征点）多分布于结构显著区域（如CAD模型的桌角、激光雷达扫描的墙角）。角点检测是经典方法，但RGB-D数据中可能存在噪声（如平整区域误检）。
1) 配准
特征点可用于点云配准（匹配两片点云）。相比ICP算法，特征点方法对初始位姿要求更低，且适用于重合率较低的场景。特征描述与匹配（第九课内容）是配准的核心步骤。
2) 物体6D定位
刚性物体定位通过匹配模型与场景的特征点，计算6D位姿（旋转+平移）。
3) 数字人驱动
数字人驱动依赖人脸特征点（如嘴角、眼角）的非刚性匹配，将二维视频表情迁移至三维模型。该技术广泛应用于直播与短视频，但需解决姿态与表情变化的挑战。
4) 应用案例
- 例题:点云特征提取应用
- 特征点可编码空间信息（如核弹排列象征坐标），但需结合具体场景定义特征语义。
3.点云特征检测方法
特征点提取方法包括：
- 二维启发：Harris角点、SIFT、ORB（重点讲解Harris算法）
- 三维原生：ISS（基于点云结构）
- 深度学习：受限于标注数据稀缺（特征点定义模糊）
1) Harris检测器
Harris角点检测核心思想是通过局部窗口（patch）移动评估区域独特性。角点需满足：任意方向移动均导致窗口内容显著变化。
- patch匹配
独特patch需满足：移动后内容变化明显（如角点、交界点）。空白区域因无变化被排除。
- 角点
角点数学定义：若窗口在x/y方向移动均引起强度（intensity）变化，则为角点；仅单方向变化为边缘；无变化为平坦区域。
特征点分析：
边缘（Edge）：沿某一方向导数较大（如x 方向），另一方向接近零。
平滑区域（Flat）：两个方向导数均接近零。
角点（Corner）： xxx和 yyy方向导数均较大，对应特征点。
通过特征值检测
特征值条件：
角点：斜方差矩阵M的两个特征值λ1和λ2均较大。
边缘：仅一个特征值较大。
平滑区域：两个特征值均较小。
响应函数：通过设定阈值筛选特征点，如取较小特征值作为响应值。
响应函数R
| 方法 | 公式 | 特点 |
|---|---|---|
| 1994年原始方法 | R=min(λ1,λ2)R | 直接取较小特征值作为响应值。 |
| 1988年Harris方法 | R=det(M)−k⋅trace(M)2R | 通过行列式与迹的组合计算响应值，k为超参数（ - 04- - 06）。 |
响应函数选择：不同函数需调整阈值，但核心均为分析M矩阵的特征值分布。
例题:Harris检测器应用
步骤：
- 计算图像每个像素区域的斜方差矩阵M。
- 根据响应函数（如Harris方法）生成响应图，红色表示高响应区域。
- 设定阈值筛选候选角点。
问题：初始响应图存在密集冗余点，需进一步优化。
非最大值抑制
非极大值抑制（NMS）：
- 选择局部响应最大值点作为候选角点。
- 抑制其邻域内其他低响应点。
- 迭代处理直至每个区域仅保留一个特征点。
应用场景：点云特征提取中同样需使用NMS避免密集冗余点。
二、harris 3d
Harris角点检测原理基于分析图像中小方块移动后像素强度的变化，该问题可转化为分析斜方差矩阵，矩阵元素为每个像素强度关于x和y方向的一阶导数。拓展至三维需解决三个问题：
- 离散点云中如何计算强度关于xyz方向的一阶导数
- 三维空间patch的定义（可通过半径r限定邻域）
- patch移动方式（类比二维情况，增加w维度）
- 核心难点在于三维点云中强度梯度的计算。
1) 例题:平面点移动分析
平面点移动特性：当平面沿x、y方向移动时，移动后的点与原平面距离为零；仅沿z方向移动会产生距离。
斜方差矩阵特征值分析：由三个方向移动距离组成的斜方差矩阵中，两个特征值为零，一个特征值较大，反映仅沿特定方向移动产生距离。
三.哈里斯总结
| 维度 | 协方差矩阵来源 | 响应函数 | 应用场景 |
|---|---|---|---|
| 二维图像 | 强度关于xy的一阶导 | λ₂ | 检测图像平面强度变化 |
| 3D带强度 | 强度关于xyz的一阶导 | λ₂ | 识别表面强度非均匀分布 |
| 3D无强度 | 表面法向量 | λ₃ | 检测几何非平面特征 |
| 6D混合 | 坐标+强度一阶导+法向量组合 | λ₄ | 综合强度与几何特征的关键点检测 |
