说明：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函...

说明：次梯度算法简易程序,matlab编写次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。

说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...

非线性方程组 矩阵求逆 idealfo 最优控制 newton-step

说明：一个例子，使用的是BP神经网络代码，采用的基本下降梯度算法

子-梯度-算法-MATLAB BP 梯度下降matlab 梯度下降

说明：压缩感知：3维压缩感知重构算法，采用最速下降法和梯度投影原理,逐步逼近最优解。是本人精心编写调试好的，请放心使用。

压缩感知 3维压缩感知 重构算法 下降法 梯度投影

说明：这是用于对球体重力进行反演的程序，所用算法是共轭梯度法

重力 梯度反演 反演 共轭梯度反演 球体重力梯度

说明：解决了最小无约束优化问题，步长由ARmijo非精确一维搜索生成，迭代方向分别由最速下降法，阻尼牛顿法，共轭梯度法，拟牛顿法(BFGS)产生。

最小无约束优化 优化算法 阻尼牛顿法 共轭梯度法 拟牛顿法

说明：文中包含利用遗传算法进行优化的梯度下降神经网络的代码和教程，内容非常丰富，包含可以直接运行的代码和相关重要参考文献论文，可帮助理解，属于很综合的优秀资料，个人现分享出来供大家学习。

BP matlab GA GA-BP代码 遗传-梯度

说明：污水处理过程中关键水质参数无法在线监测的问题,提出基于PCA GABP神经网络的污水水质软测量方法。该方法由两部分组成:主元分析PCA和GABP神经网络。其中,GABP算法采用局部改进遗传算法优化神经网络权值,并采用自适应学习速率动量梯度下降算法对神经网络进行训练,建立软测量模型。仿真结果表明该软测...

matlab 神经网络 GABP

说明：基于lms算法的干扰自适应抵消，LMS算法是基于最陡下降法的统计估计的最小均方值算法，令误差的均方值达到最小时的抽头系数的值即为最优解。LMS算法抽头系数w的变化方向为代价方程的负梯度方向。

lms算法 干扰 抵消