如果你拟合两个模型，一个是 logit，一个是 cloglog，你应该报告这两个模型的结果，并执行某种模型比较技术并报告结果。

至于模型，这是使用贝叶斯多级模型的绝佳情况（请参阅Gelman 的这篇论文 [PDF]）。我们可以在组之间汇集信息，以告知样本量较小的组和看似极端结果的组（如在 phth 和 pltl 中）的估计。

用brms包拟合多级模型相当简单。这里的两个模型，一个带有 logit 链接，一个带有 cloglog 链接，将适合如下：

fit1 <- brm(
    response ~ (1 | treat.group),
    family = bernoulli,  # logit link is the default
    data = df,
    iter = 2e4,
    warmup = 2e3,
    control = list(adapt_delta = 0.999)
)

fit2 <- brm(
    response ~ (1 | treat.group),
    family = bernoulli(link = "cloglog"),
    data = df,
    iter = 2e4,
    warmup = 2e3,
    control = list(adapt_delta = 0.999)
)

这些将分别从模型中生成 72000 个样本，可以使用as.data.frame(fit). 对样本应用逆 logit 和逆 cloglog 后，我们得到以下对所需概率的估计：

group    prob using logit    sd       89% probability interval
--------------------------------------------------------------
pctc     0.405               0.169    0.12 to 0.66    
pcth     0.562               0.135    0.34 to 0.78    
pctl     0.438               0.170    0.15 to 0.7    
phtc     0.604               0.141    0.39 to 0.84    
phth     0.729               0.162    0.52 to 1    
phtl     0.529               0.142    0.3 to 0.76    
pltc     0.532               0.157    0.28 to 0.79    
plth     0.539               0.180    0.24 to 0.84    
pltl     0.623               0.193    0.39 to 1


group    prob using cloglog    sd       89% probability interval
----------------------------------------------------------------
pctc     0.395                 0.162    0.12 to 0.64    
pcth     0.545                 0.136    0.32 to 0.76    
pctl     0.422                 0.164    0.14 to 0.67    
phtc     0.589                 0.144    0.36 to 0.83    
phth     0.760                 0.182    0.52 to 1    
phtl     0.511                 0.142    0.28 to 0.74    
pltc     0.512                 0.158    0.25 to 0.77    
plth     0.517                 0.181    0.21 to 0.81    
pltl     0.627                 0.213    0.37 to 1

总体而言，使用 cloglog 链接的模型引起的概率收缩较小。值得注意的是，两个模型中 phth 的 89% 概率区间是相同的。

brms包支持使用PSIS -LOO进行模型比较。使用命令

loo(fit1, fit2, reloo = TRUE)

需要一段时间，但最终返回以下结果：

            LOOIC   SE
fit1        59.19 2.95
fit2        58.59 2.91
fit1 - fit2  0.60 0.46

这里估计 LOOIC 较低的模型具有更好的样本外预测精度。具有 cloglog 链接的模型的 LOOIC 略低，并且差异的标准误差 0.46 很小，因此我们可以得出结论，使用 cloglog 链接的模型略好于使用 logit 链接的模型。