如何明确神经网络的结构应该是它的样子?

人工智能 神经网络 机器学习 基础知识
2021-11-08 13:18:51

我是初学者:我只读过一本关于神经网络的书,几乎没有用 C 语言实现过。

简而言之:

  • 神经网络由节点构成,
  • 每个节点都有一个输出:activation.(sum.(x * w)),
  • 然后我们计算网络输出的总误差。

从初学者的角度来看,超参数,例如所需的层数,似乎在大多数教程、书籍中都是任意定义的。事实上,整个结构似乎是相当武断的。在实践中,超参数通常是基于一些标准来定义的。

我的问题是,如果你要和一个完全的初学者交谈,你会如何向他解释神经网络的结构,以使整个事情看起来很明显?这甚至可能吗?

在这里,结构一词是指神经网络,它是层内节点的配置。

感谢任何指出歧义或拼写错误的人。

编辑:请注意,我实际上了解整个反向传播算法。可视化 nn 没有问题。

1个回答

虽然,当您开始接触时,在构建神经网络时需要遵循一般准则,但它们远未标准化。这是因为尽管人工智能是一个相当古老的领域(1950 年代),但神经网络在不到十年的时间里才成为首选工具。之前,由于缺乏数据和计算以及一些效率较低的架构,NN 做得很糟糕。

话虽如此,Hinton 的一般规则是添加节点/层,直到模型开始过度拟合,然后添加 dropout(在实践中非常合理)。

因此,整个领域本质上是一门艺术,就像一门科学一样,目前只有基于您的问题和数据需要遵循的基本准则。这是美丽的一部分,虽然海事组织,还有很多东西要发现。

希望这有助于回答您的问题!