登录 |  注册 |  繁體中文


梯度下降

分类: 人工智能&大数据 颜色:橙色 默认  字号: 阅读(14) | 评论(0)
利用梯度下降法求解梯度的过程:
 
        一般情况下分为三步:
 
        1-随机一个初始值,在多元线性回归中,我们随机一组w,带入到损失函数中,得到一个初始点.
 
        2-让这个点按照负梯度的方向运动,就是我们前边讲的 ,梯度的计算如上文所述.
 
        3-迭代第二步,当迭代达到多少次数,或者上一步和这一步的结果误差小于某个数,就认为是最优解了,停止迭代.迭代次数和最小误差值都是可以设置的.
 
        通过第三步,我们就可以得到一个我们想要的最优解.
 
        最后补充一点,梯度下降的公式 
 
        其中α表示学习率(learning rate),用于控制每一步下降的步长(步长要选择适中,步长太小下降的速度比较慢,太大则可能造成不收敛;通常也可以选择动态步长的方法,即前期使用大步长用于快速下降,后期采用小步长使用收敛精度)



姓 名: *
邮 箱:
内 容: *
验证码: 点击刷新 *   

回到顶部