在计算负对数似然损失时,我们应该使用什么对数基数?
负对数似然应该使用什么基数?
数据挖掘
机器学习
损失函数
2022-02-21 05:00:12
3个回答
基数的变化相当于函数乘以一个常数。它不影响计算。
通常它被实现为自然对数,以 e 为底。不过,其他碱基也可用于相同的效果。
通常,在计算对数似然度时,它是作为损失函数完成的,即正在优化的数量。更改基数会将对数乘以常数。只要两个基数都大于一或都小于一,这个常数就是正数(注意“负对数似然”可以解释为对数基数小于一),并将函数乘以大于 1 的常数不会影响优化该函数值的输入。换句话说,没关系。更改基数基本上是单位的更改:对数基数是位单位,对数基数是字节单位,日志基数是尼特单位。所以这就像问“好吧,我们正在努力减少我们使用的电线数量......但是我们是在减少以英尺为单位的电线数量,还是以米为单位的电线数量?”
天然基地经常使用,因为它使一些数学变得更容易,但基础在某些情况下也使用它,因为它允许以位为单位报告日志。在对数似然的绝对值,而不是相对值很重要的情况下,应通过明确命名基数或给出单位(例如位、尼特等)来指示基数。
其它你可能感兴趣的问题