1. 黎曼流形无导数优化算法概述
在机器学习和工程优化领域，许多问题天然地存在于非线性几何结构中，如Stiefel流形、Grassmann流形等。这类问题通常可以表述为在黎曼流形上的优化任务。与传统的欧几里得空间优化不同，黎曼优化需要考虑流形的几何特性，这使得标准优化方法无法直接应用。
无导数优化（Derivative-Free Optimization, DFO）方法特别适用于目标函数梯度难以获取或计算成本高昂的场景。这类方法仅依赖函数值信息，通过智能采样策略构建局部模型来指导搜索方向。在黎曼流形上，无导数方法面临两个核心挑战：如何定义有效的有限差分近似，以及如何处理流形约束。
2. 核心算法设计与原理分析
2.1 Int-RFD算法机制
Int-RFD（Intrinsic Riemannian Finite-Difference）算法的核心创新在于采用双参数序列(σ_k, τ_k)分别控制步长和有限差分精度。这与传统DFQRM方法形成鲜明对比：
- 步长控制序列(σ_k)：采用乐观估计策略，允许较大步长探索潜在优化区域
- 差分精度序列(τ_k)：采用保守估计，确保梯度近似足够精确
数学上，在点x_k ∈ M处的有限差分梯度近似为： grad̂ f(x_k) = Σ_{i=1}^d (f(R_x_k(τ_k v_i)) - f(x_k))/τ_k · v_i 其中{v_i}构成切空间T_x_k M的规范正交基，R是流形上的收缩映射。
2.2 Ext-RFD的 extrinsic 策略
Ext-RFD（Extrinsic Riemannian Finite-Difference）针对嵌入欧氏空间的黎曼子流形设计，其关键特点是：
- 环境空间差分：直接在环境欧氏空间中计算有限差分
- 投影机制：通过投影将环境空间梯度映射到切空间
- 维度优势：当流形维度d ≪ 环境空间维度n时，计算效率显著提升
算法复杂度分析表明，Ext-RFD达到ϵ-临界点需要：
- 函数评估次数：O(dϵ⁻²)
- 收缩操作次数：与问题维度无关
3. 实验设计与性能对比
3.1 欧氏空间基准测试
在OPM测试集（134个CUTEst问题）上的实验显示：
| 指标 | Int-RFD | DFQRM |
|---|---|---|
| 求解率(η=10⁻³) | 98.5% | 6.0% |
| 平均函数评估次数 | 1.2×最优 | 3.8×最优 |
| 计算时间效率 | 83.6%最优 | 16.4%最优 |
性能曲线分析表明，双参数策略使Int-RFD在97%的问题上表现更优，且随着计算预算增加，优势更加明显。
3.2 黎曼问题测试集
测试包含三类典型问题：
Top奇异向量问题：
- 流形：St(m1,m3)×St(m2,m3)
- 目标函数：-trace(XᵀAY)
- Int-RFD求解率：80% vs RDSE-SB的20%
字典学习问题：
- 流形：Ob(m1,m3)
- 正则项：平滑l1范数(λ=0.01, δ=0.001)
- RDSE-SB表现最佳，但无方法能完全求解所有实例
旋转同步问题：
- 流形：SO(m1)^{m2}
- 当m1=2,m2=20时，Ext-RFD运行时间仅为Int-RFD的60%
4. 关键实现细节与优化
4.1 切空间基生成
两种算法都需要构造切空间规范正交基。实践中发现：
- Gram-Schmidt稳定性：对于病态流形，需增加迭代修正
- 封闭形式基：对SO(n)等流形存在解析解，可提升30%效率
- 随机初始化：采用Gaussian随机向量投影效果优于均匀分布
4.2 参数自适应策略
实验确定的超参数设置规则：
- 初始值：σ₀=1, τ₀=100
- 更新规则：σ_{k+1} = max(σ_k/2, 10⁻⁶)
- 停止准则：τ_k ≤ ϵ=10⁻⁵
5. 应用场景与选择建议
5.1 算法选型指南
| 场景特征 | 推荐算法 | 理论依据 |
|---|---|---|
| 纯欧氏空间问题 | Int-RFD | 复杂度O(dϵ⁻²) |
| d ≪ n的嵌入流形 | Ext-RFD | 收缩操作次数恒定 |
| 高曲率流形 | Int-RFD | 避免投影失真 |
| 计算资源受限 | Ext-RFD | 并行化环境空间计算 |
5.2 典型应用案例
计算机视觉：
- 三维重建中的旋转矩阵估计
- 使用Ext-RFD处理SO(3)流形，速度提升40%
自然语言处理：
- 词嵌入空间的正交约束优化
- Int-RFD在20维Stiefel流形上收敛更快
推荐系统：
- 矩阵分解的正交正则化
- 混合使用两种算法平衡精度与效率
6. 局限性与改进方向
当前方法存在以下待解决问题：
噪声敏感度：有限差分在噪声环境下稳定性不足
- 解决方案：发展随机方差缩减技术
高维流形：当d>100时基生成成本显著增加
- 研究方向：稀疏基构造方法
非光滑问题：现有理论仅适用于光滑目标
- 扩展思路：引入次梯度近似机制
在实际部署中发现，当目标函数在法方向变化剧烈时(L_E ≫ L_M)，Ext-RFD性能会下降。此时建议采用混合策略：初期用Ext-RFD快速下降，后期切换至Int-RFD精细调优。
