课堂笔记 - 深度学习 Deep Learning (12)

• Logistic regression的介绍

Logistic regression就跟其他的回归分析一样，都是预测的分析，不一样的是他预测的结果会用二进位来显示。
所用的Error Function是cross-entropy，大多用於二进位output或是一个/多个属性的output。

注意：虽然它名字有 regression 但是它是属於 classification 噢... :D

• 三个简易模型
  还记得前面篇章的激发/抑制吗？ 这三种模型是用不一样的Activation Function：

1. Binary Classification (sign function)
   
   前面的PLA就是用来计算这个的演算法

2. Linear Regression (linear function)
   
   用gradient descent(梯度下降)计算

3. Logistic Regression (sigmoid function)
   
   用gradient descent(梯度下降)计算

• Sigmoid function
  

前面介绍线性函数的时候有提到过，这边顺便做简单的数学推导：

当n=0：

当n趋近於无限大：

当n趋近於负无限大：

可以看到它是一个连续的函数在(0,1)之间，也可以被称为机率值。

重点笔记

总之先记起来...