神经网络主要类型及其应用指南

互推小编 2023-08-07

目前深度学习中的神经网络种类繁多，用途各异。由于这个分支在指数增长，跟踪神经网络的不同拓扑有助于更深刻的理解。在本文中，我们将展示神经网络中最常用的拓扑结构。

图2: 感知器: 大脑中信息存储和组织的概率模型[3] | 来源: 康奈尔航空实验室的弗兰克 · 罗森布拉特标记的感知器。纽约水牛城，1960

神经网络拓扑

1. 感知器(Perceptron(P)) :

感知器模型也称为单层神经网络。这个神经网络只包含两层:

输入层
输出层

这种类型的神经网络没有隐藏层。它接受输入并计算每个节点的加权。然后，它使用激活函数(大多数是Sigmoid函数)进行分类。

应用:

分类
编码数据库(多层感知器)
监控访问数据(多层感知器)

2. 前馈(Feed Forward (FF)) :

前馈神经网络是一种其中的节点不会形成循环的人工神经网络。在这种神经网络中，所有的感知器都被安排在输入层接收输入，输出层产生输出。隐藏层与外部世界没有联系，这就是为什么它们被称为隐藏层。在前馈神经网络中，一层的每个感知器与下一层的每个节点连接。因此，所有节点都是完全连接的。需要注意的是，同一层中的节点之间没有可见或不可见的连接。在前馈网络中没有后回路。因此，为了使预测误差最小化，我们通常使用反向传播算法来更新权值。

应用:

数据压缩
模式识别
计算机视觉
声纳目标识别
语音识别
手写字符识别

3.径向基网络(Radial Basis Network (RBN)) :

径向基函数网络通常用于解决函数逼近问题。区别于其它神经网络，它们有更快的学习速度和通用逼近能力。径向基神经网络和前馈神经网络的主要区别在于，径向基神经网络使用径向基函数作为激活函数。Logistic(sigmoid)函数的输出值在0到1之间，用来判断答案是是或否。问题是，如果我们有连续的值，则用不了前馈神经网络。径向基神经网络确定生成的输出和目标输出距离多大。在连续值的情况下非常有用。总之，径向基神经网络使用其它的激活函数表现就和前馈神经网络一样。

应用:

函数逼近
时间序列预测
分类
系统控制

4. 深度前馈(Deep Feed-forward (DFF)) :

深层前馈网络是使用多个隐藏层的前馈网络。只用一层隐藏层的主要问题是过拟合，因此通过增加隐藏层，可以减少过拟合，提高泛化能力。

应用:

数据压缩
模式识别
计算机视觉
心电图噪声滤波
金融预测

5. 循环神经网络(Recurrent Neural Network (RNN)):

循环神经网络是前馈神经网络的一种改进形式。在这种类型中，隐藏层中的每个神经元接收具有特定时间延迟的输入。使用这种类型的神经网络，我们需要在当前的迭代中访问之前的信息。例如，当我们试图预测一个句子中的下一个单词时，我们首先需要知道之前使用的单词。循环神经网络可以处理输入并跨时共享任意长度和权重。模型大小不会随着输入的大小而增加，模型中的计算会考虑到历史信息。然而，这种神经网络的问题是计算速度慢。此外，它不能考虑当前状态的任何未来输入。它也无法记住很久以前的信息。

应用:

机器翻译
机器人控制
时间序列预测
语音识别
语音合成
时间序列异常检测
节奏学习
音乐创作

6. 长/短期记忆(Long / Short Term Memory (LSTM)) :

LSTM 网络引入了一个记忆单元。他们可以处理间隔记忆的数据。如上可见，我们可以在RNN中考虑时间延迟，但如果我们有大量的相关数据，RNN很容易失败，而LSTMs 正好适合。另外，与 LSTMs 相比，RNN不能记忆很久以前的数据。
应用:

语音识别
写作识别

7. 门控循环单位(Gated Recurrent Unit (GRU)):

GRU是LSTM的一个变种，因为它们都有相似的设计，绝大多数时候结果一样好。GRU只有三个门，并且它们不维持内部单元状态。

a. 更新门(Update Gate): 决定有多少过去的知识可以传递给未来。
b. 重置门(Reset Gate): 决定过去的知识有多少需要遗忘。
c. 当前记忆门(Current Memory Gate): 重置命运的子部分。

应用:

复调音乐模型
语音信号建模
自然语言处理

8. 自动编码器(Auto Encoder (AE)) :

自动编码器神经网络是一个非监督式机器学习算法。在自动编码器中，隐藏神经元的数量小于输入神经元的数量。自动编码器中输入神经元的数目等于输出神经元的数目。在自动编码器网络中，我们训练它来显示输出，输出和输入尽可能接近，这迫使自动编码器找到共同的模式和归纳数据。我们使用自动编码器来更小的表示输入。我们还可以从压缩的数据中重建原始数据。该算法相对简单，因为自动编码器要求输出与输入相同。

编码器: 转换输入数据到低维
解码器: 重构压缩数据

应用:

分类
聚类
特征压缩

9. 变分自动编码器(Variational Autoencoder (VAE)) :

变分自动编码器(VAE)使用一种概率方法来描述观测。它显示了一个特征集中每个属性的概率分布。

应用:

在句子之间插入
图像自动生成

10. 去噪自动编码器(Denoising Autoencoder (DAE) ：

在这种自动编码器中，网络不能简单地将输入复制到其输出，因为输入也包含随机噪声。在 DAE 上，我们制造它是为了降低噪声并在其中产生有意义的数据。在这种情况下，该算法迫使隐藏层学习更鲁棒的特征，以便输出是噪声输入的更精确版本。

应用:

特征提取
降维

11.稀疏自动编码器(Sparse Autoencoder (SAE)) :

在稀疏自动编码器网络中，我们通过惩罚隐藏层的激活来构造我们的损失函数，这样当我们将一个样本输入网络时，只有少数节点被激活。这种方法背后的直觉是，例如，如果一个人声称自己是A、 B、 C 和 D 学科的专家，那么这个人可能在这些科目上更多的是一个通才。然而，如果这个人只是声称自己专注于学科D，那么大概率预期可以从这个人的学科 D 的知识中得到启发。
应用:

特征提取
手写数字识别

12. 马尔可夫链(Markov Chain (MC)) :

马尔可夫链是一个基于某些概率规则经历从一种状态到另一种状态转换的数学系统。过渡到任何特定状态的概率完全取决于当前状态和经过的时间。

例如，一些可能的状态可以是:

信件
数字
天气情况
棒球比分
股票表现

应用:

语音识别
信息及通讯系统
排队论
统计学

13. 霍菲特网络(Hopfield Network (HN)):

在 Hopfield 神经网络中，每个神经元都与其它神经元直接相连。在这个网络中，神经元要么是开的，要么是关的。神经元的状态可以通过接受其它神经元的输入而改变。我们通常使用 Hopfield 网络来存储模式和记忆。当我们在一组模式上训练一个神经网络，它就能够识别这个模式，即使它有点扭曲或不完整。当我们提供不完整的输入时，它可以识别完整的模式，这将返回最佳的猜测。
应用:

优化问题
图像检测与识别
医学图像识别
增强 X 射线图像

14. 波茨曼机(Boltzmann Machine (BM)):

波茨曼机网络包括从一个原始数据集中学习一个概率分布，并使用它来推断没见过的数据。在 BM 中，有输入节点和隐藏节点，一旦所有隐藏节点的状态发生改变，输入节点就会转换为输出节点。例如: 假设我们在核电站工作，安全必须是第一位的。我们的工作是确保动力装置中的所有组件都可以安全使用——每个组件都会有相关的状态，使用布尔值1表示可用，0表示不可用。然而，还有一些组成部分，我们不可能定期测量它们的状态。

此外，没有数据可以告诉我们，如果隐藏的部件停止工作，发电厂什么时候会爆炸。在这种情况下，我们构建了一个模型，当组件更改其状态时，它会发出通知。这样，我们将得到通知检查该组件，并确保动力装置的安全。

应用：

降维
分类
回归
协同过滤
特征学习

15. 受限玻尔兹曼机(Restricted Boltzmann Machine (RBM)):

RBM 是 BM 的一种变种。在这个模型中，输入层和隐藏层的神经元之间可能有对称的连接。需要注意的一点是，每一层内部都没有内部连接。相比之下，玻尔兹曼机可能有内部连接的隐藏层。这些限制让模型的训练更高效。
应用:

过滤
特征学习
分类
风险检测
商业及经济分析

16.深度信念网络(Deep Belief Network (DBN)) :

深度信念网络包含许多隐藏层。我们可以使用无监督算法调用 DBN，因为它首先学习而不需要任何监督。DBN 中的层起着特征检测器的作用。经过无监督训练后，我们可以用监督方法训练我们的模型进行分类。我们可以将 DBN 表示为受限玻耳兹曼机(RBM)和自动编码器(AE)的组合，最后的 DBN 使用概率方法得到结果。

应用: