从 69 年的数据中进行一般学习的最先进技术

机器算法验证 分类 神经网络 历史
2022-02-16 22:33:58

我试图了解 1969 年著名的 Minsky 和 ​​Papert 著作《感知器》的背景,这对神经网络至关重要。

据我所知,除了感知器之外,还没有其他通用的监督学习算法:决策树直到 70 年代后期才开始真正有用,随机森林和 SVM 是 90 年代。似乎折刀法是已知的,但不是 k-cross 验证(70 年代)或引导程序(1979 年?)。

维基百科说,Neyman-Pearson 和 Fisher 的经典统计框架在 50 年代仍然存在分歧,尽管描述混合理论的第一次尝试已经在 40 年代。

因此我的问题是:解决数据预测的一般问题的最先进方法是什么?

2个回答

我对此很好奇,所以我做了一些挖掘。我惊讶地发现,许多常见分类算法的可识别版本在 1969 年左右就已经可用。链接和引用如下。

值得注意的是,人工智能研究并不总是那么专注于分类。人们对计划和符号推理很感兴趣,它们已不再流行,而且标记数据更难找到。并非所有这些文章都可能在当时被广泛使用:例如,proto-SVM 的工作主要以俄语出版。因此,这可能高估了 1969 年普通科学家对分类的了解程度。


判别分析

1936 年《优生学年鉴》的一篇文章中,Fisher 描述了一种寻找线性函数的过程,该函数根据花瓣和萼片的尺寸来区分三种鸢尾花。那篇论文提到,费舍尔已经与 E. S Martin 和 Karl Pearson ( jstor ) 合作,以及在一个单独的颅骨测量项目中应用了类似的技术来预测在埃及挖掘的人类下颌骨(颌骨)的性别和米尔德里德·巴纳德小姐(我找不到)。

逻辑回归

自 19 世纪以来,逻辑函数本身就为人所知,但主要作为饱和过程的模型,例如人口增长或生化反应。Tim 链接到上面的 JS Cramer 的文章,这是一段很好的早期历史。然而,到 1969 年,考克斯出版了第一版《二进制数据分析》我找不到原版,但后来的版本包含了一整章关于使用逻辑回归进行分类的内容。例如:

在判别分析中,主要概念是有两个不同的群体,定义为y=0,1,通常是两个本质上不同的群体,如两种细菌或植物,两种不同的产品,两种不同但相当相似的药物,等等......判别分析的重点基本上是一个问题:两者如何分布差异最大?通常,这会变成如下更具体的形式。有一个新的向量x来自一个不知名的人y. 我们能说什么y……

k-最近的邻居

Cover 和 Hart 经常被认为是发明/发现k-最近邻规则。他们1967 年的论文包含一个证明k-NN 的错误率最多是贝叶斯错误率的两倍。然而,他们实际上归功于 Fix 和 Hodge 在 1951 年发明了它,并引用了他们为美国空军航空医学学院准备的一份技术报告(通过 jstor 转载)。

神经网络

Rosenblatt在 1957 年发表了一份描述感知器的技术报告,并在 1962 年出版了一本书神经动力学原理》。自 1960 年代初以来,反向传播的连续版本就已经出现,包括Kelley、Bryson 和Bryson & Ho 的工作(修订于1975 年,但原件是 1969 年的。但是,它直到后来才应用于神经网络,训练非常深的网络的方法要晚得多。这篇关于深度学习的学术文章有更多的信息。

统计方法

我怀疑使用贝叶斯规则进行分类已经被多次发现和重新发现——这是规则本身的一个非常自然的结果。信号检测理论开发了一个定量框架,用于确定给定输入是“信号”还是噪声。其中一些来自二战后的雷达研究,但很快被改编用于感知实验(例如,格林和斯威茨)。我不知道谁发现假设预测变量之间的独立性很有效,但 1970 年代初期的工作似乎利用了这一想法,如本文所述顺便说一句,那篇文章还指出,朴素贝叶斯曾被称为“白痴贝叶斯”!

支持向量机

1962 年,Vapnik 和 Chervonenkis 描述了“广义肖像算法”(糟糕的扫描,抱歉),它看起来像是支持向量机(或者实际上是一类 SVM)的一个特例。Chervonenkis 写了一篇题为“支持向量机的早期历史”的文章,更详细地描述了这一点及其后续工作。Aizerman、Braverman 和 Rozonoer 在 1964 年描述了内核技巧(内核作为内积)。 svms.org 在这里有更多关于支持向量机的历史

免责声明:这个答案不完整,但我现在没有时间让它成为最新的。我希望这周晚些时候能解决这个问题。


问题:
解决从 1969 年左右的数据进行预测的一般问题的最先进方法是什么?

注意:这不会重复“Matt Krause”的出色回答。

“最先进”的意思是“最好和最现代的”,但不一定要简化为行业规范。相比之下,美国专利法寻找由“本领域普通技术人员”定义的“非显而易见”。1969 年的“最先进技术”很可能在接下来的十年中获得专利。

1969 年的“最好和最聪明”的方法极有可能被用于或评估用于 ECHELON (1) (2)它还将在评估另一个时代的数学能力很强的超级大国苏联时表现出来。(3) 我需要几年时间来制造一颗卫星,因此人们也期望未来 5 年的通信、遥测或侦察卫星的技术或内容能够展示 1969 年的最新技术。一个例子是Meteor-2 气象卫星始于 1967 年,初步设计于 1971 年完成。 (4) 光谱学和光度学有效载荷工程受到当时的数据处理能力以及当时设想的“近期”数据处理的影响。此类数据的处理是寻找该时期最佳实践的地方。

对“优化理论与应用杂志”的细读已经运行了几年,并且其内容可以访问。 (5) 考虑这个(6)对最优估计器的评估,以及这个用于递归估计器的评估。(7)

始于 1970 年代的 SETI 项目可能使用了较低预算的技术和较旧的技术以适应当时的技术。对早期SETI 技术的探索也可以说明 1969 年左右被认为是领先的技术。一个可能的候选者是“手提箱 SETI ”的先驱。“手提箱 SETI”使用 DSP 在约 130k 窄带通道中构建自相关接收器。SETI 的人特别希望进行频谱分析。该方法首先用于离线处理 Aricebo 数据。它后来在 1978 年将它连接到 Aricebo 射电望远镜以获取实时数据,并于同年公布了结果。实际的 Suitecase-SETI 于 1982 年完成。这里(链接)

该方法是使用离线长傅里叶变换(约 64k 样本)来搜索带宽段,包括处理啁啾和多普勒频移的实时补偿。该方法“不是新的”,提供的参考资料包括:例如,参见

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

在当时流行的给定先前状态的情况下,用于预测下一个状态的工具包括:

  • 卡尔曼(和导数)滤波器(Weiner、Bucy、非线性...)
  • 时间序列(和衍生)方法
  • 频域方法(傅立叶),包括滤波和放大

常见的“关键词”(或流行语)包括“伴随、变分、梯度、最优、二阶和共轭”。

卡尔曼滤波器的前提是真实世界数据与分析和预测模型的最佳混合。它们被用来制造诸如导弹击中移动目标之类的东西。