在这种情况下,“统计效率”是什么意思?

人工智能 卷积神经网络 术语 图书
2021-10-21 03:09:54

考虑Ian Goodfellow 等人的《深度学习》一书(第 333 页,第 9 章:卷积网络)的以下陈述

因此,就内存需求和统计效率而言,卷积比密集矩阵乘法要高效得多。

书说统计效率是由于与完全连接的前馈神经网络相比,卷积(使用内核)导致的参数数量减少。

在这种情况下,统计效率是什么意思?参数数量的减少如何提高统计效率?

1个回答

在这种情况下,统计效率本质上意味着 CNN 需要的训练示例比完全连接的网络要少。直觉上这似乎是合理的:学习更多的参数应该意味着需要更多的样本。当然,总是希望尽量减少所需的训练样本数量,因此这是 CNN 的一个明显优势。

一篇关于 CNN 效率的论文试图使该陈述更加准确。他们使用线性激活函数检查卷积网络的情况。