Seq to Seq 建模 - 使用的 ML 算法

数据挖掘 机器学习 深度学习 分类 预测建模 顺序
2022-03-06 00:46:34

我是 ML 新手。虽然我学习了经典的 ML 概念，如 Linera 回归、Logistic 回归、Boosting 和基于树的技术，但现在我正在慢慢尝试学习深度学习技术，如 CNN、RNN、LSTM、GRU 技术

我的问题是

a) 我们可以使用哪些技术来执行 Seq to Seq 建模？例如：我给出一个输入序列并得到一个输出序列。

例如：如果我要问我可以用于分类任务的技术是什么，你们会建议像 a) 逻辑，b) 树（随机森林，决策树），c) SVM，d) NN

同样，我想知道我应该学习哪些算法和技术来执行 Seq to Seq 建模？

只有下面吗？

a) RNN (LSTM, GRU)

我是菜鸟，但我在网上看到人们谈论变形金刚等。变形金刚是一种算法吗？

可以为我提供有关如何进行 seq to seq 建模的算法和技术列表吗？

基本上，我希望在algos that can be attempted列表（如下所示）下填充涉及序列输入和序列输出的问题

可以帮忙吗？

数据类型 n 操作变量类型 客观的 可以尝试的算法
顺序 10K 顺序 预测序列 长短期记忆体
顺序 10K 顺序 预测序列 格鲁乌
顺序 10K 顺序 预测序列 ??
顺序 10K 顺序 预测序列 ??
顺序 10K 顺序 预测序列 ??
顺序 10K 顺序 预测序列 ??
1个回答

首先，您需要了解什么是顺序建模？顺序建模分为两类

  1. 假设数据本身是流的序列，如音频、时间序列数据、文本数据。
  2. 另一个是如果你有按顺序工作的模型，这意味着什么？假设您正在给模型训练数据，但模型无法立即获取输入，就像在RNN中，您首先将输入按顺序提供给模型x1然后在 1 号牢房x2在 2 号牢房，然后继续。所以，你的模型本身不具备一次接受输入的能力，就像在神经网络、CNN 中，我们一次性提供输入训练示例。

你问的问题是有多少模型有能力处理顺序数据？

你已经学习了 LSTM 和 GRU。这两个是推进架构之前的核心模型。除了这些模型，我们还有处理序列数据的统计模型，比如 n-gram 模型（处理语言建模） Hidden Markov 模型（用于词性标注）等。那么，现在基本上了解什么是 Transformer 了吗？如果您已经很好地研究了 LSTM 和 GRU，那么它们有两个大问题，即模型以顺序方式工作，这意味着我们无法利用 GPU，另一个问题是使用 GRU 和 LSTM 无法进行迁移学习因为他们的复发。

为了解决这些问题“Attention all you need”，他们在本文中提出了一个模型名称“Transformer”，而用于解决上述问题的技术是“Attention Mechanism”。

该架构本身不是顺序的，但它可以在顺序数据上训练并提供比 LSTM 和 GRU 更好的结果。

除此之外，许多最先进的模型都建立在 Transformer 模型之上，如“BERT”、“T-5”、“Roberta”等。这些都适用于顺序数据训练。

其它你可能感兴趣的问题
上一篇生产数据标准化 下一篇根据特定列返回具有 nlargest 值的 DataFrama