课堂笔记 - 深度学习 Deep Learning (7)

讲完机器学习的基础,接下来是类神经网路讯号的传递函式。

  • Activation Functions

Activation Functions(Transfer function):Define the output of a node when given the inputs of the node.
依照输入去给输出的方程序都统一称作Activation Functions。

类神经网路则是可以依照输入值去判断输出的结果是inhibit(抑制)或excite(触发),可以是线性或非线性函数。

  1. Sign function: f(n) = sign(n)
    之前写python实作PLA有小小提到过,当n > 0的时候输出1, n < 0的时候则是-1, n = 0则为的一个逻辑函数:
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783vKyokKGphs.png

  2. Linear function: f(n) = n
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783fGqgyPySZv.png

  3. Logistic sigmoid function:f(n) = 1/(1+e^(−n) )
    将n带入e,使f(n)的值趋近+1和0
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783kPdjYWQGRH.png

  4. Hyperbolic Tangent Tanh function: f(n) = (e^n−e^(−n))/(e^n+e^(−n) )
    跟上面一样用e去控制输出的区间,但曲线涨幅较大
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783NXrtFfc6KL.png

  5. Rectified Linear Unit ReLU function: f(n) = max(0, n)
    简单粗暴的判断是否激发:是正数n就激发n,不是就输出为0
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783Hn4AUoeens.png

  6. Leaky ReLU function: f(n) = max(0.01n, n)
    跟上面的激发状态一样,但抑制时会输出0.01n的值
    https://ithelp.ithome.com.tw/upload/images/20211024/20142783QOxSPX8iag.png

  • Network Architectures

单层:
https://ithelp.ithome.com.tw/upload/images/20211024/20142783p9ZltlKIsA.png
多层:
https://ithelp.ithome.com.tw/upload/images/20211024/20142783NKyHH2Jafn.png

输入後经过的层数在抵达输出层前称为隐藏层:
https://ithelp.ithome.com.tw/upload/images/20211024/20142783S5ZC01wcoh.png

在数有几层时输入层不含在层数内,
因此上面的那个图案隐藏层(2)+输出(1)=三层


<<:  课堂笔记 - 深度学习 Deep Learning (6) Lab2

>>:  【杂谈】 今天就来点闲聊吧③ - 铁人赛观察之有意思的系列

第五天:使用 TeamCity Cloud

前面两天我们讨论了两种安装 TeamCity 的方式,虽然步骤不难,但假如要正式对外上线的话,还有一...

如果你只用积极情绪做事,那你的效率可能只有50%

Day14 - 谈谈有关情绪 在《真实的幸福》这本书里面,提到了积极情绪跟消极情绪的使用方法。 积极...

[Day29] swift & kotlin 上架篇!(3) 双平台 上架比较

上架费用 首先来谈谈费用 Apple 99USD/年 有个人帐号可选择 还有公司与政府帐号 分别有不...

D-5.Rails route scope

Routes 其实路经身为整个MVC中Controller的门面,却容易被轻忽对待,即使遵照着TDD...

Day 18 - Tally String Times with Reduce

前言 JS 30 是由加拿大的全端工程师 Wes Bos 免费提供的 JavaScript 简单应用...