说明：最速下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失...
说明：此代码包括牛顿法和梯度下降法的实现过程，最优化以及算法中常见的问题解决方式。
说明：采用随机梯度下降和牛顿法优化无约束优化问题，优化方法作业。运行demo，其中有说明。
说明：模式搜索（也称为直接搜索、无导数搜索或黑盒搜索）是一类不需要梯度的数值优化方法。因此，它可以用于不连续或不可微的函数。其中一种模式搜索方法是“收敛”（见下文），它基于正基理论。优化试图在多维可能性分析空间中找到最佳匹配（具有最低错误值的解决方案）。
说明：应用背景 梯度矢量流主动轮廓模型在图像分割领域风靡一时，在整个21世纪的头15年风头一时无两，至今在在TIP等顶级国际期刊仍然有论文发表。本文提出他的一个改进，主要动机是解决无限长深度凹陷问题等。 关键技术 ADF作为GVF的一个改进，主要是引入了几个机制，包括退化最小曲面扩散机制，无穷范...
说明：包括脚本文件和函数文件形式，利用自然梯度算法，计算目标和海洋回波的功率谱密度,算法优化非常好，几乎没有循环，实现串口的数据采集，连续相位调制信号(CPM)产生。
说明：共轭梯度法，用于无约束优化，知道函数和它的导函数，就可以使用该程序求解。
说明：最小均方误差等算法的MSE的计算,D-S证据理论数据融合，对球谐函数图形进行仿真,FIR 底通和带通滤波器和IIR 底通和带通滤波器，使用起来非常方便，包括随机梯度算法，相对梯度算法。
说明：应用背景这是一本很不错的，关于最优化方法的程序，里面包含应用较多的几种方法的现成程序，其中包括线性搜索、最速下降法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、罚函数法等等。关键技术里面包含现在应用较多的几种方法的源程序，对初学者有很大的帮助。希望对有需要的同学有所帮助，里面也含有...