Tag: L-BFGS

L-BFGS算法（Limited-memory Broyden–Fletcher–Goldfarb–Shanno algorithm）是一种用于求解非线性优化问题的拟牛顿法，特别适用于高维参数空间的优化场景。作为BFGS算法的内存优化版本，它通过仅保留最近几次迭代的曲率信息来降低内存消耗，同时保持了原算法优秀的收敛特性。这种算法在机器学习模型训练中表现出色，尤其适合处理参数规模庞大但内存受限的情况。 在自动驾驶领域，L-BFGS算法常被用于训练复杂的感知模型和决策模型。例如在点云处理、高精地图构建等任务中，算法能够高效地优化包含数百万参数的目标函数。相较于传统的随机梯度下降法，L-BFGS在参数更新时考虑了目标函数的二阶导数信息，这使得它在某些凸优化问题上能获得更快的收敛速度，同时避免了显式计算和存储完整的Hessian矩阵所带来的计算负担。