说明：解决了最小无约束优化问题，步长由ARmijo非精确一维搜索生成，迭代方向分别由最速下降法，阻尼牛顿法，共轭梯度法，拟牛顿法(BFGS)产生。

最小无约束优化 优化算法 阻尼牛顿法 共轭梯度法 拟牛顿法

说明：文中包含利用遗传算法进行优化的梯度下降神经网络的代码和教程，内容非常丰富，包含可以直接运行的代码和相关重要参考文献论文，可帮助理解，属于很综合的优秀资料，个人现分享出来供大家学习。

BP matlab GA GA-BP代码 遗传-梯度

说明：Sobel算子边缘增强算法，利用梯度下降原理边缘化图象

sobel算法 边缘-增强 sobelEdgeDetection sobel-matlab sobel

说明：快速迭代收缩阈值算法，FISTA用一种更为聪明的办法选择序列{xk}，使得其基于梯度下降思想的迭代过程更加快速地趋近问题函数F(x)的最小值。FISTA的缺点是：Lipschitz常数L(f)不一定可知或者可计算。

fista 迭代阈值收缩 迭代收缩算法 FISTA算法 FISTA-算法

说明：BP神经网络的仿真，能够拟合各种函数，支持梯度下降法和LM两种训练算法。所有代码自己编写，没有使用matlab自带的函数，是学习的最佳范本。

合种 神经网络 NerualNetwork BP lm算法

说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...

newton-step 矩阵求逆 gradient-in-matrix 解方程组

说明：mulStablePoint用不动点迭代法求非线性方程组的一个根 mulNewton用牛顿法法求非线性方程组的一个根 mulDiscNewton用离散牛顿法法求非线性方程组的一个根 mulMix用牛顿-雅可比迭代法求非线性方程组的一个根 mulNewtonSOR用牛顿-SOR迭代法求非线性方程组的一...

数值延拓法 非线性求微分 高斯牛顿算法 拟牛顿法 求方程组的解

说明：基于lms算法的干扰自适应抵消，LMS算法是基于最陡下降法的统计估计的最小均方值算法，令误差的均方值达到最小时的抽头系数的值即为最优解。LMS算法抽头系数w的变化方向为代价方程的负梯度方向。

lms算法 干扰 抵消

说明：利用逻辑回归实现二分类的matlab程序。随机生成训练样本，利用梯度下降法进行训练，并且在样本图上画出了分类边界。

friendooe logistic-regression Logistic-分类 逻辑回归 逻辑回归-matlab

说明：这份代码实现了用支持向量机过滤垃圾邮件。采用matlab实现。是coursera上Ng给的一个练习题。该SVM使用梯度下降法实现。还给出了一个小的数据集用于实验。非常适合SVM的初学者使用。

matlab 邮件 支持 过滤 向量 垃圾