我建议您使用 Frank Harrell 出色的rms 软件包。它包含许多有用的功能来验证和校准您的模型。据我所知，您不能仅根据系数来评估预测性能。此外，我建议您使用引导程序来验证模型。AUC 或一致性指数 (c-index) 是预测性能的有用度量。一个 c 指数$0.8$相当高，但与许多预测模型一样，您的模型的拟合可能过于乐观（过度拟合）。这种过度乐观可以使用 bootstrap 进行评估。但让我举个例子：

#-----------------------------------------------------------------------------
# Load packages
#-----------------------------------------------------------------------------

library(rms)

#-----------------------------------------------------------------------------
# Load data
#-----------------------------------------------------------------------------

mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

mydata$rank <- factor(mydata$rank)

#-----------------------------------------------------------------------------
# Fit logistic regression model
#-----------------------------------------------------------------------------

mylogit <- lrm(admit ~ gre + gpa + rank, x=TRUE, y=TRUE, data = mydata)
mylogit

                      Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs           400    LR chi2      41.46    R2       0.138    C       0.693    
 0            273    d.f.             5    g        0.838    Dxy     0.386    
 1            127    Pr(> chi2) <0.0001    gr       2.311    gamma   0.387    
max |deriv| 2e-06                          gp       0.167    tau-a   0.168    
                                           Brier    0.195                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -3.9900 1.1400 -3.50  0.0005  
gre        0.0023 0.0011  2.07  0.0385  
gpa        0.8040 0.3318  2.42  0.0154  
rank=2    -0.6754 0.3165 -2.13  0.0328  
rank=3    -1.3402 0.3453 -3.88  0.0001  
rank=4    -1.5515 0.4178 -3.71  0.0002 

在底部，您会看到通常的回归系数与相应的$p$-价值观。在右上角，您会看到几个辨别指数。表示 c-index (AUC) ，Cc-index 为$0.5$表示随机分裂，而 c-index 为$1$表示完美的预测。Dxy是萨默斯的$D_{xy}$预测概率和观察到的响应之间的等级相关性。$D_{xy}$与 c-index 有简单的关系：$D_{xy}=2(c-0.5)$. 一种$D_{xy}$的$0$当模型的预测是随机的并且当$D_{xy}=1$，该模型是完美区分的。在这种情况下，c-index 是$0.693$这比机会略好，但 c-index 为$>0.8$足以预测个人的结果。

如上所述，该模型可能过于乐观。我们现在使用 bootstrap 来量化乐观度：

#-----------------------------------------------------------------------------
# Validate model using bootstrap
#-----------------------------------------------------------------------------

my.valid <- validate(mylogit, method="boot", B=1000)
my.valid

          index.orig training    test optimism index.corrected    n
Dxy           0.3857   0.4033  0.3674   0.0358          0.3498 1000
R2            0.1380   0.1554  0.1264   0.0290          0.1090 1000
Intercept     0.0000   0.0000 -0.0629   0.0629         -0.0629 1000
Slope         1.0000   1.0000  0.9034   0.0966          0.9034 1000
Emax          0.0000   0.0000  0.0334   0.0334          0.0334 1000
D             0.1011   0.1154  0.0920   0.0234          0.0778 1000
U            -0.0050  -0.0050  0.0015  -0.0065          0.0015 1000
Q             0.1061   0.1204  0.0905   0.0299          0.0762 1000
B             0.1947   0.1915  0.1977  -0.0062          0.2009 1000
g             0.8378   0.9011  0.7963   0.1048          0.7331 1000
gp            0.1673   0.1757  0.1596   0.0161          0.1511 1000

让我们专注于$D_{xy}$这是在顶部。第一列表示原始索引，即$0.3857$. 称为的列optimism表示模型估计的高估量。该列index.corrected是原始估计值减去乐观值。在这种情况下，偏差校正$D_{xy}$比原来的要小一些。偏差校正的 c 指数 (AUC) 为$c=\frac{1+ D_{xy}}{2}=0.6749$.

我们还可以使用重采样计算校准曲线：

#-----------------------------------------------------------------------------
# Calibration curve using bootstrap
#-----------------------------------------------------------------------------

my.calib <- calibrate(mylogit, method="boot", B=1000)

par(bg="white", las=1)
plot(my.calib, las=1)

n=400   Mean absolute error=0.016   Mean squared error=0.00034
0.9 Quantile of absolute error=0.025

该图提供了一些证据表明我们的模型过度拟合：模型低估了低概率并高估了高概率。周围也存在系统性的高估$0.3$.

预测模型构建是一个很大的话题，我建议阅读 Frank Harrell 的课程笔记。

关于系数解释的说明：记得它们取决于预测变量是如何写成数字的。因此，对于连续变量，它们取决于测量它们的单位；对于分类预测变量，编码方案。不要因为 A9 的系数 0.003453 很小就认为 A9 是“不重要的”——在某些感兴趣的人群中，A9 的范围可能超过几个数量级，而其他预测变量仅略有不同，或者可能是易于设置为非常高或低的值，而其他值很难改变。