课堂笔记 - 深度学习 Deep Learning (14)

了解计算的公式後要来学习如何校正logistic regression：

• Error Measure for Logistic Regression

首先复习一下前一篇的最後结论：y-hat = p(y=1|x) 在x中y=1发生的机率

=> 当y=1 时 p(y|x) = y-hat ; 当y=0 时 p(y|x) = 1-(y-bar)

整理後可以得到：

不懂就...先记起来

总之我们想要尽量的逼近我们的目标，也就是求出Max(p(y|x))，
於是想要使用单调递增的ln()函数去尽量逼近，得出Max(ln(p(y|x)))。
就是高中学的natural log，ln(x)微分後会是1/x

同时也想要尽量减少误差，於是这边使用的Error Function 一样使用ln()去计算的话 => min(ln(p(y|x)))
由此可得

套用进一开始假设的E(w1,w2,b) = -ln(p(y|x))，
p(y|x)则用刚刚整理好的公式带入 =>

就可以得到Logistic Regression的 Error Function，也就是Cross-entropy loss function