高级拟合技术
1. 选择合适的最小化器
最小化器 功能区用于选择并配置驱动拟合过程的算法。 选择合适的最小化器可能决定拟合是快速、稳健地收敛，还是缓慢或不稳定。 OghmaNano 提供多种成熟算法，每种都有不同优势，可通过 拟合方法 下拉菜单选择。
从总体上看，拟合算法可分为两类。第一类是 下坡或基于梯度的方法， 它们试图“让球沿山坡滚下”直到到达最小误差点。其中一些需要 显式计算梯度，这对复杂模型可能代价高且脆弱；另一些则为无导数方法， 通常更稳健。第二类是 统计方法，它们不仅寻求最佳拟合， 还提供概率分布，用于表征解的置信度与唯一性。这些 方法计算开销更大，但能对参数不确定性给出更深入的洞见。
| 方法 | 下坡 | 梯度 | 统计 | 备注 |
|---|---|---|---|---|
| Nelder-Mead | ✅ | ❌ | ❌ | 稳健、慢、可靠 |
| Newton | ✅ | ✅ | ❌ | 脆弱、有时很快 |
| Thermal Annealing | ❌ | ❌ | ✅ | 出奇地好 |
| MCMC | ❌ | ❌ | ✅ | ? |
| HMC | ❌ | ❌ | ✅ | ? |
Nelder–Mead（单纯形下坡法）
Nelder–Mead 单纯形算法是 OghmaNano 中使用最广泛的拟合方法 — 事实上，截至 2024 年发表的所有论文都依赖它。 该方法的一般性介绍可见： https://en.wikipedia.org/wiki/Nelder%E2%80%93Mead_method . 在实践中，该最小化器稳健且不需要梯度，使其非常适合复杂问题。 其主要配置选项为：
- Stall steps: 若误差在指定步数内没有改善则停止拟合。
- Disable reset at level: 防止算法在误差低于定义阈值后重新启动。
- Fit convergence: 定义认为拟合已收敛并终止运行的误差水平。
- Start simplex step multiplier: 设置初始参数扰动的幅度。 值 > 1.0 鼓励对参数空间进行更广泛探索；值 < 1.0 使拟合更接近 初始猜测。经验法则：2.0 为“较大”，0.1 为“较小”。
- Enable snapshots during fit: 默认禁用快照以减少磁盘访问。 开启后会在每一步保存快照，但会降低性能。
- Simplex reset steps: 指定在单纯形被重置之前执行多少步。 重置可帮助跳出局部极小值，但也可能将解推离收敛。
Nelder–Mead 的主要优势在于其简单性与稳健性。从概念上讲，它在不需要梯度计算的情况下 “让球沿坡面下滚”向最小误差面逼近，这对含噪或 不连续的模型尤其有价值。
💡 Nelder–Mead 的实用建议
- 我们建议大多数拟合问题从 Nelder–Mead 开始。只有在收敛失败或需要统计洞见时才切换到其他最小化器。
- 截至 2024 年发表的所有 OghmaNano 论文都使用该方法，使其成为可复现性的经验证、可靠基线。
- 当问题维度很高时（即一次拟合许多变量），Nelder–Mead 可能较慢。
- 始终将拟合变量数量最小化到严格需要的那些——这会降低维度并改善收敛。
- 先运行 一次迭代 来检查灵敏度，再决定是否进行完整的自动拟合。
热退火
热退火是一种随机优化方法，其灵感来自材料从 高温冷却到低温的物理过程。在 OghmaNano 中，该算法在 您指定的变量边界所定义的参数空间中探索。正确设置这些边界至关重要——最小化器不会在其之外搜索。
在实践中，热退火往往表现得出奇地好，并且在寻找 合理解方面可能比 Nelder–Mead 更快。然而，最终拟合有时精度较低或不够“精细”，并且仍可能需要 使用 Nelder–Mead 进行进一步细化。热退火特别适用于跳出局部极小值，并对参数空间进行全局探索。
- Dump every n steps: 按指定间隔将当前状态保存到磁盘。
- Cooling constant: 控制模拟“温度”下降的速度。冷却遵循 \( e^{-k(T_{\text{start}}-T_{\text{stop}})} \)，其中 \(T_{\text{start}} = 300\,K\) 且 \(T_{\text{stop}} = 0\,K\)。
- Annealing steps: 将系统从 \(T_{\text{start}}} 冷却到 \(T_{\text{stop}}} 所用的迭代次数。
💡 使用热退火的建议
- 当 Nelder–Mead 卡在局部极小值时最适合使用。
- 仔细设置参数边界——算法不会在其之外搜索。
- 预期比 Nelder–Mead 更快收敛，但最终结果精度较低。
- 考虑随后运行 Nelder–Mead 以细化退火得到的解。
牛顿法
为完整性起见，OghmaNano 中包含了牛顿法，但对大多数拟合 问题而言它很少是最佳选择。作为基于梯度的最小化器，它需要在每一步计算导数。虽然这 在某些平滑、性质良好的问题上偶尔会比 Nelder–Mead 更快，但也使算法 更脆弱：导数评估中的微小数值误差就可能导致拟合发散或停滞。
在实践中，牛顿法对初始猜测与变量尺度高度敏感。除非 问题非常简单且条件良好，否则往往难以收敛。基于这些原因，它通常 不建议作为主要方法，但在受控场景下可作为诊断工具或用于实验。
💡 使用牛顿法的建议
- 仅在问题规模小且光滑，并且有良好初始猜测时使用牛顿法。
- 确保变量范围缩放合理——不良缩放会导致发散。
- 若牛顿法不收敛，请回退到 Nelder–Mead 或热退火。
- 主要将牛顿法用于测试或探索特定案例，而不是用于生产拟合。
马尔可夫链蒙特卡洛（MCMC）
马尔可夫链蒙特卡洛（MCMC）是一种统计拟合方法，它以随机方式对参数空间采样，但会以 随时间建立正确概率分布的方式进行。不同于 Nelder–Mead 或牛顿法（它们返回单一的 “最佳拟合”参数集），MCMC 产生一个解的分布，显示不同参数 取值的可能性。这使其在量化不确定性与识别 变量间相关性方面特别强大。在 OghmaNano 中已实现支持，但尚未经过稳健测试。
哈密顿蒙特卡洛（HMC）
哈密顿蒙特卡洛（HMC）通过使用梯度信息来提出更高效的跳转，从而扩展了 MCMC 思想。它不是随机移动， 而是模拟粒子在似然 景观中的“运动”，在梯度引导下可显著提升高维问题中的采样效率。 与 MCMC 一样，HMC 生成拟合参数的概率分布，而不是单一解。 在 OghmaNano 中已实现支持，但尚未经过稳健测试。
无 U 转采样器（NUTS）
无 U 转采样器（NUTS）是 HMC 的一种自适应变体，它会自动决定何时停止在参数空间中的轨迹， 以避免浪费计算或重复走回头路。这使 NUTS 更易用，因为它 减少了手动调参的需求。NUTS 通常被认为是贝叶斯参数估计中最有效且 最稳健的方法之一。在 OghmaNano 中已实现支持，但尚未经过稳健测试。
👉 下一步： 现在继续到 第 C 部分，了解更高级的拟合方法。