该站点上的许多书籍和许多帖子都将可能性定义为模型参数的函数。

如果您为每个参数*指定一个值，您将最多有一个似然值。

• （当然还有您需要指定的所有其他内容）

但是，与每个可能的模型参数相关的输出是否必须是唯一的？例如，对于模型参数的某些两种配置，观察到的数据似乎具有同样的可能性。

你很困惑 - 采取一些功能$f$——这很好$f(x_1)$和$f(x_2)$平等。$f(x)=(x-3)^2$是一个函数，即使$f(2)=f(4)$.

那是两个不同的参数具有相同的函数值，而不是给定参数具有两个不同值的函数。

所以，我的问题是，在谈论可能性时，我们是否在玩弄“功能”这个词

没有

或者实际上定义的可能性必须是一个函数，并且模型参数的每个输入都必须产生一个唯一的 P(x|θ)？

是的。但是您似乎对这意味着什么感到有些困惑。

实值函数$f$将向量或实数项关联到一个实数，即 一旦观察到数据并因此固定，可能性与参数的给定值相关联，实数其中是随机变量的密度。（我在这个答案中假设 iid-ness 以将符号保持在最低复杂度。）因此，它在数学意义上是一个定义明确的函数。$θ\in\Theta$$f(θ)$

$$\begin{align*}f:\ \Theta &\longrightarrow \mathbb{R}\\ \theta &\longrightarrow f(\theta)\end{align*}$$ $(x_1,\ldots,x_n)$$θ$ $$\prod_{i=1}^n p(x_i|\theta)$$ $p(x|\theta)$$X_i$

这与数理统计中的可识别性概念密切相关，我认为这与您的问题有关。可识别性处理了指定不当的模型可能在参数集和数据上的概率分布之间缺乏一对一关系的可能性，这会导致推理方面的问题。

例如，采用“过度参数化”的方差分析模型，

$$Y_{ij} = \mu + \alpha_i + \epsilon_{ij} ,$$

其中 , , normal没有限制。现在假设预言机告诉我们在每个组中的确切分布，以便我们知道每个的均值和方差。（这实际上是我们希望从数据中学习到的最大值。）我们可以恢复模型参数吗？我们不能，因为有无数种方法可以指定使得对于每个$1 \leq i \leq k$$1 \leq j \leq n$$\epsilon_{ij} \sim$$(0, \sigma^2)$$\{ \alpha_i \}_{i=1}^{k}$$Y_{ij}$$i$$\mu, \alpha_1, \ldots , \alpha_k$$\text{E}(Y_{ij}) = \mu + \alpha_i$$i$. 这也将出现在似然函数中，其中不同的参数集将为所有可能的数据配置提供完全相同的似然性。该模型无法识别，我们甚至无法获得任何平均参数的一致估计。出于这个原因，通常会施加可识别性约束。$\sum_{i=1}^{k} \alpha_i = 0$

因此，虽然模型的参数指定所涉及的分布很重要，但我们能够朝另一个方向前进并从分布中推断参数也很重要，否则我们永远无法发现“真实”模型。