机器算法验证 - 将神经网络约束为单调的？ - 吾爱随笔录

将神经网络约束为单调的？

机器算法验证回归机器学习神经网络

2022-03-31 15:29:09

有没有一种方法或定理可以让我约束一个函数，其中是一个前馈 mlp，因此它总是一个单调函数。最简单的方法当然是使用惩罚方法，但这并不能 100% 保证，我希望看看是否有一个函数或转换可以应用于，将其形式限制为单调。我目前能想到的唯一方法是使所有权重并且激活函数是单调且非负的（使用 ) 且偏差为零。 $N(x)$ $N(x)$ $N(x)$ $w_{i,j,k} >0$ $f(a)$ $f(a) = \frac{tanh(a)+1}{2}$

2个回答

这是一个早期出版物的例子。

约瑟夫·希尔。“单调网络”。加州理工学院。1998 年。

单调性是在许多应用领域中出现的约束。我们提出了一个机器学习模型，单调网络，单调性可以被精确地执行，即通过函数形式。描述了一种用于实现和训练单调网络的简单方法。单调网络被证明是连续可微单调函数的通用逼近器。我们将单调网络应用于公司债券评级预测的实际任务，并将它们与其他方法进行比较。

您可能想看看“无约束单调神经网络”。

基本思想是构建一个强制输出为正的神经网络。该神经网络输出的积分是形成单调函数的最终输出。

该论文描述了如何训练这样的神经网络。也就是如何得到加了积分的参数的导数。

这是论文的链接：https ://arxiv.org/pdf/1908.05164.pdf

其它你可能感兴趣的问题

上一篇套索的一致性下一篇为什么概率收敛被定义为收敛到 RV？