说明:采用动量梯度下降算法训练BP网络,有需要的下哦~
说明:此代码包括牛顿法和梯度下降法的实现过程,最优化以及算法中常见的问题解决方式。
说明:计算梯度下降法计算极值,只能找到局部最小点。可以通过调整步长实现全局最小
说明:在机器学习问题中,很多的算法归根到底就是在求解一个优化问题,然而我们的现实生活中也存在着很多的优化问题,例如道路上最优路径的选择,商品买卖中的最大利润的获取这些都是最优化的典型例子,前面也陆续地有一些具体的最优化的算法,如基本的梯度下降法,牛顿法以及启发式的优化算法(PSO,ABC等)。