说明:介绍了基本优化方法,比如基本的牛顿法,拟牛顿法,以及相关的约束最优化方法如拉格朗日乘子法等。
说明:该算法包含极大似然估计的梯度算法和快速ica算法,已经调试成功过,调试时注意所给信号x是行向量还是列向量
说明:在机器学习问题中,很多的算法归根到底就是在求解一个优化问题,然而我们的现实生活中也存在着很多的优化问题,例如道路上最优路径的选择,商品买卖中的最大利润的获取这些都是最优化的典型例子,前面也陆续地有一些具体的最优化的算法,如基本的梯度下降法,牛顿法以及启发式的优化算法(PSO,ABC等)。
说明:此程序描述了基于梯度投影重建的稀疏方法切用matlab实现