自然指数函数的哪些数学特性导致其在人工智能中的有用性?

人工智能 自然指数函数
2021-11-17 23:51:23

在数学中,有证据表明以下无限级数收敛到一个常数无理数,记为e,称为欧拉数或欧拉常数或纳皮尔常数。e的值介于 2 和 3 之间。

1+11!+12!+13!+

自然指数函数,定义如下,有一些有趣的性质

f:RR
f(x)=ex

它用于多种算法和SoftMax等函数的定义。我有兴趣了解导致该函数在人工智能中有用的可能数学特征。

以下是我知道的属性。但是,我不确定其中一些将如何有用

  1. 非线性:激活函数旨在提供非线性。因此,由于此属性,它是激活函数的候选者。你可以在这里查看它的图表

  2. 可微性:用于反向传播算法的损失函数需要是可微的因此,它也可以作为损失函数的候选者。

ddxex=ex for all xR

  1. 连续性:我不确定这个属性在算法中有何用处。直观地,您可以从上面提供的图表中检查它是连续的。

  2. 平滑度:我不确定此属性在算法中有何用处。不过好像很有用自然指数函数具有平滑性

dndnxex=ex for all xR and nN

自然指数函数是否有任何其他属性,如非线性、可微性、平滑度等,使其优于人工智能算法?

2个回答

在机器学习中有用的 softmax 函数的关键属性是:

  1. 它将实数向量作为输入。
  2. 应用 softmax 后,每个分量都将在区间 [0 , 1] 中,并且分量加起来为 1。因此,一个概率分布。

简而言之,它将实数的随机数据集(通常归一化为 [0,1] 并将它们转换为对 1)分类/回归问题和 2)有用的概率,以最小化神经网络中使用的成本/损失函数

虽然您列出的所有属性都是正确的,但基本部分是可性以及您从中构建了一个很好的概率分布的事实

在我们对它们应用 softmax之前,神经网络给出的非归一化分数很可能包含负值。应用指数函数是从给定向量构建概率分布的好方法,而忽略值的符号。