什么是上下文窗口大小?

数据挖掘 rnn 机器翻译
2022-02-17 09:59:03

我正在尝试实现一个循环神经网络机器翻译系统,而我只是在学习这些东西。

我正在创建一个词嵌入矩阵。为了做到这一点,我应该知道我的词汇量大小、嵌入空间的维度和上下文窗口大小?

什么是上下文窗口?

1个回答

上下文窗口适用于您将用于确定每个单词上下文的单词数。就像你的陈述是“快速的棕色狐狸”,两个上下文窗口意味着你的样本就像(the,quick)和(the, brown)。然后你滑动一个单词,你的样本变成(quick, the )、(quick, brown)和(quick fox)等等。我建议阅读这个单词 2vec 教程以了解训练方法和术语。