超限学习机
时间：2020-08-15 13:21:49 来源：雅意学习网 本文已影响 人 
超限学习机（ELM）
2006 年，Huang 等人 [61] 提出超限学习机（ELM）。它是为了解决传统学习算法所包含的缺点，例如训练时间较长、容易受到噪声干扰与陷入局部最优解、参数选择较为敏感等等，才被提出来的单隐藏层前馈神经网络，具有优异的学习准确性和速度 [46] 。超限学习机不需要迭代地调整神经网络权值和隐藏层节点偏置，而是通过直接学习使用最小二乘法就能够得到。在基本训练的步骤中缺少了迭代后，神经网络的学习速度明显变快，陷入过拟合的概率同样减小。
假设有 N 个训练数据 [x t ] ,i i， 1,2, , i N ，其中 1 2[ , , , ]
T ni i i inx x x x R是样本， 1 2[ , , , ] Tmi i i imt t t t R 为样本jx 的期望输出向量， n 和 m 代表对应的输入和输出的维数。对于 N 个训练数据， l 个隐藏层节点来说， l N ， ( ) g x 是激活函数，常规的一般为 Sigmoid 型，由此得到超限学习机神经网络输出数学模型如式（4.1）：
1( ) ,
1,2, ,li i j i jiβ g b j N a x t
（4.1）
其中， 1 2[ , , , ] Ti i i ina a a a 表示输入层节点与第 i 个隐藏层节点之间的输入权值， 1 2[ , , , ] Ti i i imβ β β β 为输出权值，ib 为隐藏层偏置。
式（4.1）可以简化为， β H T
（4.2）
其中式（4.2）中，隐藏层输出矩阵为 H 表示，输出权值矩阵（隐藏层与输出层间）为 β 表示，期望输出矩阵为 T 表示 [62] 。
1 1 1 11 1( ) ( )( , , )( ) ( )l li i jN l N lN lg b g bbg b g b a x a xH a xa x a x
（4.3）
1TTll mβββ
1NN m TTtTt
（4.4）
当满足 = l N 时，即训练样本个数和隐藏层节点个数相同时，那么由式（4.2）可以直接求出矩阵 H 的逆矩阵如式（4.4）所示，它与输出的节点个数无关 [63] ，输出权值矩阵 β 的最优解由此也可计算得出。但在一般情况下 l N ，即隐藏层节点个数是远小于训练样本个数，这时矩阵 H 是奇异矩阵，需要利用最小二乘方法对式（4.2）进行求解：
β†H T
（4.5）
其中，†H 为隐藏层输出矩阵的 Moore-Penrose 广义逆。
