数据挖掘 - FR-ENG 和 ENG-FR 的统计机器翻译词对齐：什么是 p(e) 和 p(f)？ - 吾爱随笔录

FR-ENG 和 ENG-FR 的统计机器翻译词对齐：什么是 p(e) 和 p(f)？

数据挖掘机器学习可能性机器翻译马尔可夫隐藏模型期望最大化

2022-03-09 01:03:51

我目前正在尝试实施这篇论文，但我正在努力理解这里的一些数学。我很确定我了解如何实现 E-step，但是对于 M-step，我对如何计算 M-step 感到困惑。它在第 3.1 节之前说 $p_1(x, z; \theta_1) = p(e)p(a, f|e; \theta_1)$ , 然后同样 $p_2$ 但与 $e$ 和 $f$ 交换了。第二部分对我来说很有意义，但什么是 $p(e)$ 或者 $p(f)$ ? 据我了解， $e, f$ 是双文本中的句子。那么我们如何计算一个句子的概率呢？

前面说 $p(e)$ 和 $p(f)$ 是不影响优化问题的任意分布，但是我们如何计算 $p_1(x, z; \theta_1)$ ?

谢谢！

1个回答

你是对的 $p(e)$ 是英文句子的概率。估计一个句子的概率是通过语言模型来实现的。

这种机器翻译模型被称为噪声通道模型。嘈杂的通道模型说，给定一个法语句子 $f$ ，它最好的英文翻译是

e^{*} = \arg max_{e \in E} p (e) p (f | e)

$e^* = \arg\max_{e\in E} p(e)p(f|e)$

在这个等式中 $p(e)$ 是语言模型。回到 IBM 模型（基于噪声通道方法）的时代，它通常是基于 n-gram 的语言模型，计算为（假设 bigram）

p (e_{1} e_{2} . . . e_{n}) = p (e_{1} | < s >) p (e_{2} | e_{1}) p (e_{3} | e_{2}) . . . p (< / s > | e_{n})

$p(e_1e_2...e_n)=p(e_1|<s>)p(e_2|e_1)p(e_3|e_2)...p(</s>|e_n)$

和 $p(f|e)$ 是需要使用EM算法求解的翻译模型。在 EM 算法内部，您不会更新语言模型参数，所以是的， $p(e)$ 和 $p(f)$ 不影响优化问题。

其它你可能感兴趣的问题

上一篇转换 csv 文件，以便所有属性都将成为具有相应元素的列下一篇是否有类似 fast.ai 或 deeplearning.ai 的网站，但用于机器学习而不是深度学习？