图(顶点)嵌入的最佳维度

数据挖掘 词嵌入 图表
2022-03-15 06:35:32

让我们定义一个图结构 G = (V,E) 的嵌入,其中V∣=v,E∣=e

现在定义一个嵌入f:VRd在哪里dN,嵌入的最佳维度,包含G.

(G 是有向图,不存在权重,因此它不是网络。)

我想找到一个下确界公式d表示为ve.


【这个问题的背景】

我正在尝试构建一个神经网络,它可以辨别单词的给定解释是关于单词"be"还是单词"exist"

例如“有一个真实的存在”就是“存在”。

在此处输入图像描述

为此,首先我需要找到每个单词对应的顶点嵌入的最小维度,以训练我的网络。

1个回答

我认为找到表现力的绝对维度是一个难题。当您使用词嵌入大小时,需要考虑以下一些重要事实。

  1. 确保为表现力留出足够的尺寸。您要确保至少有足够的维度来表达您要编码的结构的复杂性
  2. 维度的数量不会太大,以至于您在计算中遇到一些困难。

总而言之,找到下确界可以事后完成,从某种意义上说,您可以评估函数的性能并查看d不会显着降低性能并选择这种方式。然而,在事后水平上,我能看到的唯一方法是预先评估嵌入空间,我没有阅读太多关于这方面的文献。

  1. https://arxiv.org/pdf/1711.00331.pdf - 词嵌入的语义结构和可解释性

还有很多工作来评估我们选择的嵌入方案。在最近的 NAACL 会议上,特别是在这个领域已经完成了一些工作。