说明：FWNN 模糊小波神经网络的实现源码，学习算法使用的是GD（梯度下降算法）

模糊神经网络 fwnn 小波神经网络 bppso 小波-模糊

说明：BP神经网络的仿真，能够拟合各种函数，支持梯度下降法和LM两种训练算法。所有代码自己编写，没有使用matlab自带的函数，是学习的最佳范本。

合种 神经网络 NerualNetwork BP lm算法

说明：这是一个用于传统回归问题的神经模糊网络，如正弦函数等。该网络的理论基础是建立一个神经模糊系统，该系统的结构可以用网络的更新规则进行更新。未注明日期的法则基于梯度下降算法。

matlab 回归 神经网络

说明：使用BP网络实现了对Iris数据的分类，使用了可变学习速率和带动量的梯度下降算法。

iris-matlab-bp bp-iris-matlab iris-BP gradient-descent-bp matlab-bp

说明：根据andrew课件实现的LR回归，采用梯度下降算法进行求解，通过设置不同的lamda，实现对过拟合的惩罚。

matlab 回归 logistic 分析 损失

说明：拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton...

拟牛顿迭代法 无约束优化 拟牛顿法 导数约束 优化 s函数

说明：mulStablePoint用不动点迭代法求非线性方程组的一个根 mulNewton用牛顿法法求非线性方程组的一个根 mulDiscNewton用离散牛顿法法求非线性方程组的一个根 mulMix用牛顿-雅可比迭代法求非线性方程组的一个根 mulNewtonSOR用牛顿-SOR迭代法求非线性方程组的一...

数值延拓法 非线性求微分 高斯牛顿算法 拟牛顿法 求方程组的解

说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...

newton-step 矩阵求逆 gradient-in-matrix 解方程组

说明：程序包包含若个子程序，其中有最速下降法，共轭梯度法，牛顿法，拟牛顿法等搜索算法，运行过程中，比较各个算法的优缺点，便于对具体情况做出合适的选择

matlab

说明：应用背景这是一本很不错的，关于最优化方法的程序，里面包含应用较多的几种方法的现成程序，其中包括线性搜索、最速下降法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、罚函数法等等。关键技术里面包含现在应用较多的几种方法的源程序，对初学者有很大的帮助。希望对有需要的同学有所帮助，里面也含有...

matlab