资源经验分享正规方程推导详解

正规方程推导详解

2019-11-28 | |  62 |   0

原标题:正规方程推导详解

原文来自:博客园      原文链接:https://www.cnblogs.com/geeksongs/p/11147520.html


当我们在求解梯度下降算法的时候,经常会用到正规方程来求解w的值,这个时候就用到正规方程来求解是最快的方法,但是正规方程又是怎么来的呢?我们来看看:首先我们设我们的损失函数为 MSE train,那么这个时候我们只需要对其求解偏导就好了,于是我们有∇ w MSE train = 0 。具体推导过程如下如图所示,这里只做字母的解说,括号里的(train)代表的是训练集:
01.png

我们可以看到第一步我们首先把 MSE train替换成我们的损失函数:并利用范数来表示这是在二维空间当中求解训练集和真实值之间的绝对值(下标为2表示的是二维空间,求解的是欧式距离)。第二步把我们预测出来的y hat替换成我们的x和w权重相加得到的值。第三步由于我们用到了两个矩阵的相乘,因此将其转置,转置之后两个矩阵才可以进行相乘,或者说相乘更加方便一些。后面就是一些化简的步骤了,也没有什么难度。最后就可以得到我们正规方程的解啦!!


免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。

合作及投稿邮箱:E-mail:editor@tusaishared.com

上一篇:人工智能05 计算机视觉

下一篇:随机森林--你想到的,都在这了

用户评价
全部评价

热门资源

  • Python 爬虫(二)...

    所谓爬虫就是模拟客户端发送网络请求,获取网络响...

  • TensorFlow从1到2...

    原文第四篇中,我们介绍了官方的入门案例MNIST,功...

  • TensorFlow从1到2...

    “回归”这个词,既是Regression算法的名称,也代表...

  • 机器学习中的熵、...

    熵 (entropy) 这一词最初来源于热力学。1948年,克...

  • TensorFlow2.0(10...

    前面的博客中我们说过,在加载数据和预处理数据时...