高级管理人员

自组织图 (SOM) 是一种特定类型的神经网络。与多层感知器（MLP；它们使用得更频繁）相比，SOM 神经元在规则网格上具有一个位置。

SOM 的培训

SOM 通常以随机方式进行训练（来源：[1]）。这意味着一次使用一个训练示例。在每个训练示例之后，网络都会学到一些东西。

相比之下，批量学习意味着向网络呈现所有训练示例的完整批次（或通常 128 个示例的很大一部分；然后您将其称为小批量）。仅在将所有示例呈现给网络后才更新参数。

与 MLP 相比，您不应用梯度下降（据我所知；我从未使用过它们，只是阅读了有关 SOM 的信息）。我什至不知道您会将梯度下降算法应用于哪个函数，因为 SOM 中没有误差函数。（至少没有标准误差函数）。

对于 MLP，我知道批量训练与随机训练相比的优势在于权重不会跳跃太多。所以你宁愿朝着正确的方向前进。但是，随机训练的优势在于您可以更频繁地进行更新。你想得到最好的妥协，所以你进行小批量训练。

在线学习

“在线”有很多不同的含义：

1. “在线”与“在互联网上”一样。
2. “在线”，如“在线算法”中的“在线算法”，它逐个获取输入并且必须在知道所有输入之前做出决定（例如，当您有严格的时间限制或当您无法像 CERN 那样存储所有数据时您必须在获得数据后立即丢弃大部分数据）
3. 与离线 OCR 方法相比，手写识别中的“在线”（如果您有兴趣，请参阅手写数学符号的在线识别）。在线方法使用符号的书写方式，离线方法仅使用图像。

根据维基百科：

当数据按顺序可用时，使用在线机器学习来确定数据集对应标签的映射。在线学习和批处理学习（或“离线”学习）技术之间的区别在于，在线学习中，映射会在每个新数据点到达后按比例更新，而批处理技术则用于访问整个训练数据集。

来源

[1] Andries P. Engelbrecht：计算智能：简介。第 62 页。