看清楚图:用于句子分类的卷积神经网络(CNN)架构的图示

数据挖掘 Python 深度学习 nlp 情绪分析 美国有线电视新闻网
2021-10-08 05:12:39

我正在研究博客:Understanding Convolutional Neural Networks for NLP这是一个非常好的博客。

关于这个博客,我不能清楚地理解一件事。如图用于句子分类的卷积神经网络 (CNN) 架构的图示如下:

在此处输入图像描述

我想问一下:

  1. 我知道区域大小(2,3,4)就像 2-gram、3-gram、4-gram 单词,但是数字过滤器的含义是什么?这是每个区域的 2 个过滤器。为什么作者的句子分类代码中过滤器的数量定义为128?能否举例说明过滤器数量的含义?例如,使用“我非常喜欢这部电影”这句话会很棒。

2)我知道区域大小(4)的高度是4,但是图中区域(2、3)的高度分别是5和6,不知道为什么?我认为区域的高度是2和3。

1个回答
  1. 用 NLP 示例来回答这个问题非常困难,请记住“所有模型都是错误的,有些模型是有用的”。首先在图像分类问题上下文中想到这一点,您想使用大量过滤器来收集图像中的大量特征,一个可以检测边缘,另一个可以检测颜色密集的区域,一个可能会转动一个区域黑白。通过使用大量过滤器将类似的逻辑扩展到文本,在本例中为 128,您正在尝试捕获大量特征。例如,“我非常喜欢电影”,某个过滤器可能会检测到 like 是一个肯定词而不是相似度比较,某个大小为 2 的过滤器可能会检测到很多,并检测到它是度数的表达。你可以这样继续 很难想出 128 个特征,但我们的想法是获得足够的特征。如果你认为这个数字不合理并且可能导致过拟合,你可以减少这个数字并比较你的结果。

  2. 不,1- maxpool 表示在对输入应用过滤器后取输出向量的最大值。所以它与最长的词无关,而是从输出中选择一个元素,将提取的特征表达到最高量。