具有时间维度的数据的深度学习分类模型

数据挖掘 深度学习 lstm 图像分类 inceptionresnetv2
2022-02-26 22:15:19

我知道这可能是一个通用问题,但我仍然希望得到一些反馈。所以我有一个具有 4 个维度(时间、x、y、颜色)的数据集。我总共有 24000 条记录,每条记录都有 (5, 188, 188, 3) 这个维度,其中我有一个 5 时间维度,就像 5 个不同的时间间隔,每个时间间隔相差 15 分钟。现在我必须从图像中建立一个二元分类模型。因此,最初我使用来自数据的 3 个维度(x、y、颜色)的 Resnet,得到了相当不错的结果。现在我还想在我的数据中包含时间维度,但我不确定如果包含时间维度,RESNET 是否有意义。有人可以告诉我是否有另一个网络可以尝试模型可以利用时间维度的地方,或者在模型中添加像 LSTM 这样的层会有所帮助?我附上了一个带有 5 次维度和 1 种颜色的示例 gif。任何建议将不胜感激。

样本数据:

[[[0.1798448 , 0.1735874 , 0.1735874 , ..., 0.04843931,
         0.05156801, 0.05469671],
        [0.17671609, 0.1798448 , 0.1829735 , ..., 0.05156801,
         0.05313236, 0.05156801],
        [0.18140915, 0.1861022 , 0.18140915, ..., 0.05156801,
         0.05313236, 0.05156801],
        ...,
       [[0.17515175, 0.17045869, 0.1735874 , ..., 0.05626106,
         0.05000366, 0.05626106],
        [0.17515175, 0.1735874 , 0.17202304, ..., 0.06564717,
         0.06408282, 0.06721152],
        [0.1735874 , 0.1735874 , 0.16889434, ..., 0.06721152,
         0.06251846, 0.06095411],
        ...,
        [0.06877588, 0.07034022, 0.06877588, ..., 0.01715229,
         0.01558794, 0.01715229],
        [0.07346892, 0.07190457, 0.06721152, ..., 0.01871664,
         0.01715229, 0.02028099],
        [0.07503328, 0.06721152, 0.06564717, ..., 0.01558794,
         0.02184534, 0.02184534]],

       [[0.1735874 , 0.17045869, 0.16889434, ..., 0.04843931,
         0.05313236, 0.05938977],
        [0.17515175, 0.17202304, 0.16732998, ..., 0.05938977,
         0.05938977, 0.06408282],
        [0.17045869, 0.16889434, 0.16576564, ..., 0.06564717,
         0.06251846, 0.06564717]]], dtype=float32)

在此处输入图像描述

1个回答

在您的情况下,时间似乎具有明确的含义,因为您在图像之间具有运动逻辑。因此,我会推荐适用于 MetNet、ConvLSTM 或 PredRNN 等视频的模型... https://ai.googleblog.com/2020/03/a-neural-weather-model-for-eight-hour.html

https://proceedings.neurips.cc/paper/2015/hash/07563a3fe3bbe7e3ba84431ad9d055af-Abstract.html

https://proceedings.neurips.cc/paper/2017/file/e5f6ad6ce374177eef023bf5d0c018b6-Paper.pdf

希望这可以帮助,

尼古拉斯