OS-ELM快速精确的在线序贯超限学习机

摘要：本文采用一种在线序贯学习算法用于单隐含层的前馈网(single hidden layer feed-forward networks, SLFNs)。这种算法亦称之为在线序贯超限学习机(online sequential extreme learning machine, OS-ELM)，它可一个接一个地学习数据，或一块接一块地学习数据（数据块的大小可固定可变化）。在OS-ELM中，用于加性节点的激活函数可以是任何有界的非常数分段连续函数，而RBF (radial basis function)节点的激活函数可为任何可积的分段连续函数。在OS-ELM中，隐节点的参数是随机选择的，并且输出权重是依据序贯到达的数据而确定的。为此，研究了在线序贯ELM框架的构造，并在auto-MPG, abalone, California housing库上，对OS-ELM作性能评估和分析，并将结果以图表的形式展示出来。实验结果表明，OS-ELM 方法比其他序贯算法更快些，并且能获得更好的泛化性能。

关键词超限学习机，OS-ELM，节点

毕业设计说明书外文摘要

Abstract：In this paper, an online sequential learning algorithm is adopted for single hidden layer feed-forward networks (SLFNs) with additive or radial basis function (RBF) hidden nodes in a uniﬁed framework. The algorithm is referred to as online sequential extreme learning machine (OS-ELM) and can learn data one-by-one or chunk-by-chunk (a block of data) with ﬁxed or varying chunk size. The activation functions for additive nodes in OS-ELM can be any bounded nonconstant piecewise continuous functions and the activation functions for RBF nodes can be any integrable piecewise continuous functions. In OS-ELM, the parameters of hidden nodes (the input weights and biases of additive nodes or the centers and impact factors of RBF nodes) are randomly selected and the output weights are analytically determined based on these sequentially arriving data. So, the following content is needed to study: build online sequential ELM framework, and in the auto - MPG, abalone, California housing, libraries, the OS-ELM for performance evaluation and analysis, and will result in the form of chart. The results show that the OS-ELM is faster than the other sequential algorithms and produces better generalization performance

Keywords Extreme learning machine (ELM), online sequential ELM(OS-ELM)

1 绪论 1

1.1 工程背景及意义 2

1.2相关技术的现状 2

1.3论文后续章的内容安排 3

2算法设计 4

2.1回顾ELM 4

2.2算法的基本原理与特色 7

2.3算法的实现步骤与流程图 12

3系统实验及测试 13

3.1 OS-ELM与其他顺序学习算法的比较 13

3.2 OS-ELM的性能评估 14

3.3数据集介绍 15

3.4MATLAB简介 16

3.5实验结果 16

3.6实验分析与改进 18

结论 19

致谢 20

参考文献21

1 绪论

反向传播（BP）算法及其变型已成为训练具有加性隐含节点的单隐含层前馈神经网络SLFNs (single hidden layer feed-forward neural networks)的骨干。值得注意的是，BP算法基本上是批量学习算法。随机梯度下降的BP（SGBP）[ 1 ]是用于序贯学习应用的主要变型之一。在SGBP中，基于使用成本函数瞬时值的一阶信息，在每次迭代中学习网络参数。 SGBP由于训练数据可能需要大量训练，因此训练误差较慢。为了克服这种效率，研究人员提出了在网络参数学习的过程中使用二阶信息，如递归Levenberg Marquardt算法 [ 2 ]，[ 3 ]。即使二阶方法可以缩短整体的收敛时间，他们可能需要更多的时间来处理每个数据，这可能会带来问题，在连续的学习中，如果数据到达快速。SGBP网络规模需要预定义和设置固定值。 OS-ELM快速精确的在线序贯超限学习机:http://www.chuibin.com/jisuanji/lunwen_205565.html