说明：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函...
说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...
说明：应用背景这是一本很不错的，关于最优化方法的程序，里面包含应用较多的几种方法的现成程序，其中包括线性搜索、最速下降法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、罚函数法等等。关键技术里面包含现在应用较多的几种方法的源程序，对初学者有很大的帮助。希望对有需要的同学有所帮助，里面也含有...
说明：个人收集ＭＡＴＬＡＢ智能算法合集
说明：机械优化设计的作业 包括一维搜索方法（二次差值，牛顿法，黄金分割法），以及最速下降法和内点惩罚函数法及等值线图
说明：基本的多维优化算法，如最速下降法，牛顿法以及高斯牛顿法等