的一个维度即把该维度当做变量剩下的n-1个维度当作常量,通过最小化来求解问题即最终点收敛到期望的局部极小值点。通过上述操作显然有
相比梯度下降法而言坐标下降法不需要计算目标函数的梯度在每步迭代中仅需求解一维搜索问题所以对于某些复杂的问题计算较为简便。但如果目标函数不光滑的线c;坐标下降法可能会陷入非驻点。
坐标轴下降法在每次迭代中在当前点处沿一个坐标方向进行一维搜索 固定其他的坐标方向找到一个函数的局部极小值。而梯度下降总是沿着梯度的负方向求函数的局部最小值。
坐标轴下降优化方法是一种非梯度优化算法。在整个过程中依次循环使用不同的坐标方向进行迭代一个周期的一维搜索迭代过程相当于一个梯度下降的迭代。
梯度下降是利用目标函数的导数来确定搜索方向的该梯度方向可能不与任何坐标轴平行。而坐标轴下降法法是利用当前坐标方向进行搜索不需要求目标函数的导数只按照某一坐标方向进行搜索最小值。
两者都是迭代方法且每一轮迭代都需要O(mn)的计算量(m为样本数n为系数向量的维度)
weixin_50042417:最后一个最小二乘法的例子中所使用的拟合方程z=ax+by表示的是一个平面还是一个空间直线啊？为什么？为什么要选用z=ax+by这个方程来拟合这四个点啊？求解释..............
上一篇：VEMTE减速