我想知道是否有一篇很好的论文介绍了 AI/ML 方法中的模型和数据假设。
例如，如果您查看使用线性模型或 (G)ARCH/ARMA 过程的时间序列建模（估计或预测），则必须满足许多数据假设才能满足基础模型假设：
线性回归
自回归模型
在处理 ML/AI 方法时，感觉就像你可以将任何你喜欢的东西作为输入（我的主观感知）。只要某些预测/估计误差测量足够好（类似于高，但通常会误导 R²），您就会对结果感到满意。
用于时间序列预测的 RNN、CNN 或 LSTM 模型必须满足哪些假设？
有什么想法吗？
添加
好问题@Maeaex1！
首先，为什么我们甚至需要模型中的假设（一般来说）？
好吧，我们可以将任务表达为优化任务。并且为了收敛到最优解，在一定的约束条件下，我们需要满足一定的假设。
关于 DNN（深度神经网络）及其背后的数学理论，著名的通用逼近定理给出了收敛保证，该定理指出，在给定足够参数的情况下，可以估计每个平滑函数。
警告只是因为我们在理论上可以做到这一点并不意味着它是可能的。例如，逼近一个生成随机数的函数将需要无限的资源
但是非平滑函数（例如时间序列）呢？
DNNS FOR NON-SMOOTH FUNCTIONS的TL;DR是，对于一组特殊的分段平滑函数，“DNN 泛化的收敛率几乎是估计非平滑函数的最佳值”
什么是分段平滑函数？函数，其域可以局部划分为有限多个相对的“片段”，在这些片段上保持平滑，并且在片段的连接处保持连续性。
好的，但是为什么DNN 可以近似这些类型的函数呢？
” 最值得注意的事实是，由于激活函数和多层结构，DNN 可以用少量参数逼近非平滑函数。两个 ReLU 函数的组合可以逼近阶跃函数，而阶跃函数的组合在网络其他部分的组合可以很容易地表达受限于片段的平滑函数。相比之下，其他方法即使具有通用逼近特性，但它们需要更多的参数来逼近非平滑结构"
因此得出结论：有一种数学理论可以确保使用 DNN 对一组特定的非光滑函数进行逼近。因此，如果我们有满足这些约束的非光滑函数，我们可以找到最优架构并获得最优收敛率。
我想发表评论，但我不能以我的声誉发表评论。所以这是一篇带有一些假设的 [article] ( https://arxiv.org/pdf/1802.04474.pdf )。您可以按照本文（非参数估计）的方式处理神经网络，并进行与该领域相同的假设（除了关于分布的规律性之外，几乎没有假设）。
希望能帮助到你。