如何定量评估原始神经网络激活?
数据挖掘
神经网络
深度学习
喀拉斯
火炬
激活函数
2022-01-21 19:58:58
1个回答
1)对于给定实例,很难解释给定节点上的给定权重,尤其是在隐藏层中。
2)您只能处理特定情况:
对于第一层上的所有实例,给定变量的权重非常低意味着您可以删除变量(如果变量相对统一,则标准化)。
对于某些激活函数,您可以移除激活到很少(或没有)实例的“死”神经元。更一般地说,关于您的问题,答案很大程度上取决于激活的类型。我建议您阅读: Lecun 的http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf以避免常见的陷阱。它还将让您了解要寻找的问题(消失/爆炸梯度,死神经元......等)
3)关于架构:作为网络规模的经验法则,我建议从大开始,获得性能基准并删除层/单元,直到性能下降。我不确定你是否只绘制了隐藏层,但在大多数情况下,层数应该减少。
4) 您可能想查看一些解释性工具,例如 DEEPLIFT 或 SHAP,它们会为您提供变量重要性,总结实例的所有变量影响。这些方法有一些限制,但它们会更容易阅读。
其它你可能感兴趣的问题

