Day 4 Matrix capsules with EM routing

前言

接续着昨天讲到的EM routing，今天来将EM routing做进一步的解释

EM routing

将向量的输入输出改为使用矩阵来做运算处理，协议动态胶囊路由也需要替换成最大期望值演算法(expectation maximaiztion algorithm)，若在两个姿势向量(pose vector)中使用cosine做运算，并没有办法处理得非常好。最大期望值路由演算法(EM routing algorithm)会利用具有多层胶囊的胶囊网路让其运作起来更有效率。

主要层的胶囊表示为，代表每一层胶囊的姿势矩阵，而代表他的激活可能性。在层的胶囊和层的胶囊之间有一个可训练的转移权重矩阵(Transformation weight matrix)。最大期望值(EM)是胶囊的姿势矩阵和转移权重矩阵的姿势矩阵在层的胶囊的投票结果。这个投票结果是由输出矩阵和转换矩阵相乘而得。

以下用图解来解释

假设pose matrix是一个4x4的矩阵，W也会是一个4x4的权重矩阵
我们将低层级的胶囊(前面的胶囊)的值丢给後面高层级的胶囊，就会得到更好的结果
中间的部分我们会透过某些方式对这些矩阵做处理
在这种胶囊网路的概念中routing的部分就会被Non-Linear Routing Procedure(程序)做一个取代
这边训练的方法，就会使用高斯混合模型（Gaussian mixture model，简称GMM）的方式做运算

https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm

在k-means中，我们只用一个点就代表一个群集的中心

图中使用GMM可以获得二次曲面形状的分类
而若是使用k means则只能识别出球状的

GMM的聚集越集中，所求出来的a就会越大
因此从分类的角度上来说，这就会是一个分类很好的标准

後记

由於今天才发现有Microsoft的赞助加码，因此我之後会试试看使用Azure来实作