将可变长度输入提供给 LSTM

数据挖掘 深度学习 lstm rnn 顺序 序列到序列
2022-03-02 00:30:08

我的输入数据由列表列表组成。对于每个示例,两个列表都具有动态长度,如下所示。

X[0] = [[0, 1, 3, 5, 8, 26], [3, 4, 5, 7, 9, 15, 26, 30, 38, 39, 40]]
X[1] = [[1, 2, 4, 16, 19, 29, 48]]
..

我的目标数据由如下动态长度列表组成:

y[0] = [5, 7, 8, 12, 15, 17, 29]
y[1] = [2, 4, 6, 8, 10, 11, 16, 18, 19, 29, 30, 33, 35]
..

X我尝试用给定的输入预测LSTM 模型Y

如果我将每个X列表连接到一个列表并进行填充操作 LSTM 接受该数据类型。我的示例代码如下:

X_train = sequence.pad_sequences(X_train, maxlen=padding_size)
X_test = sequence.pad_sequences(X_test, maxlen=padding_size)

model = Sequential()
model.add(Embedding(50, 10, input_length=X_train.shape[1], mask_zero=True))

if isBidirectional:
    model.add(Bidirectional(LSTM(lstm_layer_number)))
else:
    model.add(LSTM(lstm_layer_number))

if isDropout:
    model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # binary crossentropy yields the best results

问题是我不想将输入作为固定大小的向量。我想将输入作为动态大小并逐个列出,而不是给定固定大小的向量。

如何将这些输入作为序列(逐个列表)提供给 LSTM?

任何帮助表示赞赏。

1个回答

您可以尝试用长度较短的零填充输入。