说明:最速下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失...
说明:遗传算法是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择以及杂交等。遗传算法通常实现方式为一种计算机模拟。对于一个最优化问题,一定数量的候选解(称为个体)的抽象表示(称为染色体)的种群向更好的解进化。传统...
说明:Benders分解算法是J.F.Benders在1962年首先提出的,是一种求解混合整数规划问题的算法。Benders分解算法将具有复杂变量的规划问题分解为线性规划和整数规划,用割平面的方法分解出主问题与子问题,通过迭代的方法求解出最优值。 Benders分解算法是一个很常用的算法,用来计算像最小整...
说明:扩展kalmanfilter(也称为线性化卡尔曼滤波): 是一个简单的非线性近似滤波算法,指运动或观测方程不是线性的情况。 无迹kalman滤波(UKF) KF和EKF都是都将问题转化为线性高斯模型,所以可以直接解出贝叶斯递推公式中的解析形式,方便运算。但对于非线性问题...