分布式语义模型基于用表示其含义的单词来表示一个实例。通常，如果一个人对表示一个词的含义感兴趣$w_i$那么代表它的意思的词是那些出现在它附近的词，例如在它之前/之后有一个 N 个词的窗口。

示例$w_i$是窗口 +/- 2 的目标词：

$w_1,w_2,...,w_{i-3},\mathbf{w_{i-2},w_{i-1}},w_{i},\mathbf{w_{i+1},w_{i+2}},w_{i+3},...,w_N$

所以“意义”$w_i$在这种情况下，将由上下文窗口中的四个单词表示：$w_{i-2},w_{i-1},w_{i+1},w_{i+2}$. 通过收集出现的$w_i$在文档中的任何地方，都可以获得一组可以以不同方式使用的上下文。例如，可以构建一个上下文向量$a_1,...a_{|V|}$超过词汇量$V$每个单元格在哪里$a_k$包含频率$w_k \in V$在目标词的上下文中。通过对不同的词应用相同的过程，每个词都可以用它的上下文向量来表示，然后可以对这些向量进行各种操作：相似度度量、聚类等。

通常基于单词语义的聚类是使用特定方法完成的，例如潜在语义分析。

理论上，该方法可以应用于任何单元（例如 n-gram），但更复杂的单元需要更多的数据、更多的内存和更多的计算能力。