将神经网络表示为矩阵是否有益?

人工智能 神经网络
2021-10-20 23:13:28

神经网络是有向加权图。这些可以由(稀疏)矩阵表示。这样做可以暴露网络的一些优雅属性。

这种技术对检查神经网络有用吗?

3个回答

对于大型人工神经网络,在实践中使用相当于“稀疏矩阵格式”的东西。

与给出的另一个答案中所说的相反,将 ANN 视为图表实际上并没有买太多,原因有两个:

  1. 反向传播算法可以有用地根据矩阵运算来定义。此页面提供了可读且全面的描述。

  2. 所有实值矩阵都可以表示为图形,但显然情况并非如此。因此,虽然可以将 ANN 视为图数据结构的特例,但以矩阵形式明确表示该特化更为有效。

这取决于您正在处理的神经网络的类型。

对于中等规模的神经网络,矩阵方法是一种非常好的快速计算甚至错误反向传播的方法。人们甚至可以利用稀疏矩阵来理解一些神经网络的稀疏架构。

但是,对于非常大的神经网络,使用矩阵计算将是计算量非常大的。因此,根据目的和架构,使用基于图形的存储等相关方法。

矩阵表示有利于在硅中实现神经网络。

但为了凭经验检查神经网络,有时将突触权重值可视化为图像或视频是很好的:Jason Yosinski对卷积神经网络的探索。网络似乎有一个只检测肩膀的“过滤器”。有点像一把锁,只有当它识别出肩膀的图案时才会打开。在此处输入图像描述