我在研究生院的物理学教授以及诺贝尔奖获得者费曼总是会展示他们所谓的玩具模型来说明物理学中的基本概念和方法，例如谐振子、钟摆、陀螺和黑匣子。
使用哪些玩具模型来说明神经网络应用的基本概念和方法？（请提供参考资料。）
我所说的玩具模型是指一个特别简单、最小尺寸的网络，应用于一个高度约束的问题，通过它可以呈现基本方法，并通过实际实现来测试和增强一个人的理解，即构建基本代码，最好在一定程度上做/手动检查基本数学或借助符号数学应用程序。
神经网络的标志性（玩具）模型
机器算法验证
机器学习
神经网络
2022-02-10 11:10:13
2个回答
最经典的一种是二维感知器，它可以追溯到 1950 年代。这是一个很好的例子，因为它是更现代技术的跳板：
1) 并非所有事物都是线性可分的（因此需要非线性激活或核方法、多层等）。
2）如果数据不是线性可分的（连续的分离措施，如softmax、学习率衰减等），感知器将不会收敛。
3) 虽然拆分数据的解决方案有无数种，但显然有些解决方案比其他解决方案更受欢迎（最大边界分离、SVM 等）
对于多层神经网络，您可能会喜欢此可视化附带的玩具分类示例。
对于卷积神经网络，MNIST 是经典的黄金标准，在这里和这里都有一个可爱的可视化。
对于 RNN，他们可以解决的一个非常简单的问题是二进制加法，这需要记住 4 个模式。
XOR 问题可能是典型的 ANN 玩具问题。
Richard Bland 1998 年 6 月斯特灵大学计算科学与数学系计算科学技术报告《学习异或：探索一个经典问题的空间》
TensorFlow Playground是几个玩具神经网络的交互式界面，包括 XOR 和 Jellyroll。
计算固定大小（2x2 或 3x3）对称矩阵的最大特征值是我在课堂演示中使用的方法。
A. Cichocki 和 R. Unbehauen。“用于计算特征值和特征向量的神经网络”生物控制论 1992 年 12 月，第 68 卷，第 2 期，第 155-164 页
像 MNIST 这样的问题绝对是规范的，但不容易手动验证——除非你碰巧有大量的空闲时间。代码也不是特别基本。
就 NLP 任务而言，Penn Tree Bank 是一个非常标准的基准数据集，例如在 Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals “递归神经网络正则化”以及可能数百篇其他论文中使用。