可解释性和自动编码器

数据挖掘 lstm 自动编码器 可解释的ai
2022-03-14 00:44:04

假设我有一个作为两栈 LSTM 的自动编码器,它接收以下序列n一定长度的特征m.

假设我的编码向量的维度是k,所以架构的形式是:n×m1×kn×m.

我正在研究如何在自动编码器的编码部分构建一些可解释性指标。更具体地说,我想知道哪些功能会影响每个k我拥有的编码条目。

天真地,可以一次改变一个特征,检查对编码的影响,看看它在哪里最大。这在计算上既昂贵又忽略了特征的组合。

您知道任何可以提供帮助的研究或方法吗?

1个回答

特征可视化/反演在这里可能是一个很好的工具。基本上,不是对权重执行优化,而是对输入执行优化,以最大化编码向量的每个相应条目。如果你想变得花哨,你可以尝试构建一个完整的激活图集

interpretml库也有很多很好的模型可解释性工具,但它们更适合监督模型。可能仍然值得一试。