人工智能 - 什么是ü小号五吨USVT在词嵌入的上下文中？ - 吾爱随笔录 - 问答

什么是ü小号五吨USVT在词嵌入的上下文中？

人工智能自然语言处理术语词嵌入奇异值分解

2021-11-14 21:12:09

这是CS224n课程第一讲的笔记摘录：自然语言处理与深度学习。

3 基于 SVD 的方法

对于这类查找词嵌入（也称为词向量）的方法，我们首先遍历海量数据集并以某种形式的矩阵累积词共现计数 $X$ 然后执行奇异值分解 $X$ 得到一个 $USV^T$ 分解。然后我们使用 $U$ 作为我们字典中所有单词的词嵌入。让我们讨论一些选择 $X$ .

做什么 $USV^T$ 在这种情况下指的是？

1个回答

$USV^T$ 指奇异值分解（SVD）的结果。

一个 $m \times n$ 矩阵 $X$ 可以在三个矩阵的帮助下编写

X = U S V^{T},

$X = USV^T,$

在哪里 $U$ 是一个 $m \times m$ 酉矩阵， $S$ 是对角线 $m \times n$ 具有称为奇异值的实数的矩阵，以及 $V$ 是一个单一的 $n \times n$ 矩阵。这 $^T$ 是 Hermitian 转置。SVD 有应用，例如优化问题、主成分分析等。维基百科有相当长的文章。

其它你可能感兴趣的问题

上一篇图像识别和方向检测下一篇我可以在普通智能手机上进行哪些类型的强化学习，限制在 ~200MB？