负对数似然应该使用什么基数?

数据挖掘 机器学习 损失函数
2022-02-21 05:00:12

在计算负对数似然损失时,我们应该使用什么对数基数?

3个回答

基数的变化相当于函数乘以一个常数。它不影响计算。

logb(x)=1loge(b).loge(x)

通常它被实现为自然对数,以 e 为底。不过,其他碱基也可用于相同的效果。

通常,在计算对数似然度时,它是作为损失函数完成的,即正在优化的数量。更改基数会将对数乘以常数。只要两个基数都大于一或都小于一,这个常数就是正数(注意“对数似然”可以解释为对数基数小于一),并将函数乘以大于 1 的常数不会影响优化该函数值的输入。换句话说,没关系。更改基数基本上是单位的更改:对数基数2是位单位,对数基数256是字节单位,日志基数e是尼特单位。所以这就像问“好吧,我们正在努力减少我们使用的电线数量......但是我们是在减少以英尺为单位的电线数量,还是以米为单位的电线数量?”

天然基地e经常使用,因为它使一些数学变得更容易,但基础2在某些情况下也使用它,因为它允许以位为单位报告日志。在对数似然的绝对值,而不是相对值很重要的情况下,应通过明确命名基数或给出单位(例如位、尼特等)来指示基数。