说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...
说明：介绍了基本优化方法，比如基本的牛顿法，拟牛顿法，以及相关的约束最优化方法如拉格朗日乘子法等。
说明：一个例子，使用的是BP神经网络代码，采用的基本下降梯度算法
说明：最速下降梯度法matlab程序.转载自科研中国.
说明：程序包包含若个子程序，其中有最速下降法，共轭梯度法，牛顿法，拟牛顿法等搜索算法，运行过程中，比较各个算法的优缺点，便于对具体情况做出合适的选择
说明：次梯度算法简易程序,matlab编写次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。