说明：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函...

说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...

newton-step 矩阵求逆 gradient-in-matrix 解方程组

说明：拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton...

拟牛顿迭代法 无约束优化 拟牛顿法 导数约束 优化 s函数

说明：基于最大似然估计的独立分量分析算法，包括随机梯度算法，相对梯度算法，快速不动点算法3个程序

快速不动点-算法 gradient-estimation ML-estimation ML 最大似然估计

说明：程序包包含若个子程序，其中有最速下降法，共轭梯度法，牛顿法，拟牛顿法等搜索算法，运行过程中，比较各个算法的优缺点，便于对具体情况做出合适的选择

matlab

说明：解析供给函数的数值导数，梯度导数。提供了一个完全自适应数值微分工具标量和向量值函数。提供了标量函数的导数（高达第四阶）的工具，以及梯度向量、方向导数、雅可比矩阵和Hessian矩阵。为所有工具提供错误估计。 提供鲁棒自适应数值微分（高达第四的衍生物）的用户提供的功能，多为四不整合。它是半智能的，试图...

数值导数 梯度导数 雅可比矩阵 Hessian矩阵

说明：基于kaiser窗的双谱线插值FFT谐波分析，这个有中文注释，看得明白，最小均方误差等算法的MSE的计算,添加噪声处理，可以动态调节运行环境的参数，包括随机梯度算法，相对梯度算法。

算法 测试 追踪 一个 迭代 测速 松弛

说明：压缩感知：3维压缩感知重构算法，采用最速下降法和梯度投影原理,逐步逼近最优解。是本人精心编写调试好的，请放心使用。

压缩感知 3维压缩感知 重构算法 下降法 梯度投影

说明：介绍了基本优化方法，比如基本的牛顿法，拟牛顿法，以及相关的约束最优化方法如拉格朗日乘子法等。

基本优化方法

说明：是路径规划的实用方法，部分实现了追踪测速迭代松弛算法，到达过程是的泊松过程，在matlab R2009b调试通过，包括随机梯度算法，相对梯度算法，相控阵天线的方向图（切比雪夫加权）。

matlab