研究人员经常使用具有非常相似项目的两种测量方法并认为它们测量不同的事物（例如，“当我在汽车周围时，我总是担心”；“我害怕汽车”）。让我们将假设的措施称为汽车恐惧量表和汽车量表的焦虑。我有兴趣凭经验测试他们是否确实评估了不同的潜在结构，或者他们是否测量了相同的东西。
我能想到的两种最佳方法是通过探索性工厂分析 (EFA) 或验证性因素分析 (CFA)。我认为 EFA 会很好，因为它允许所有项目不受限制地自由加载。如果两个量表中的项目加载相同的因素，那么我可以得出结论，这些措施可能不能很好地评估不同的事情。但是，我也可以看到 CFA 的好处，因为我将测试预定义的模型。例如，我可以比较一个模型的拟合度，在该模型中，所有项目都加载到一个因素上（即它们不评估不同的结构），或者项目被分成预期的度量。我想，CFA 的一个问题是它不会真正考虑替代模型（例如，三因素模型）。
出于讨论的目的，让我们也许考虑一下我希望加入的其他两个非常相似的测量方法（例如，汽车焦虑问卷和评估汽车恐惧的量表）！
我怎样才能最好地从统计上确定两个度量是否评估不同的结构？
这些方法是应用探索性和验证性数据分析的示例。探索性数据分析寻找模式，而验证性数据分析对提出的模型进行统计假设检验。真的不应该根据使用哪种方法来看待它，而更多地取决于您处于数据分析的哪个阶段。如果您不确定要在模型中包含哪些因素，您可以应用 EFA。一旦您消除了一些因素并确定了模型中要包含的内容，您就可以进行 CFA 以正式测试模型，以查看所选因素是否显着。
如果我正确理解您的问题，那是关于testing的问题。那么简单的测试需要一种验证性因子分析，与以下问题相同：“亚组中的均值真的不同吗？” 需要t检验。
不幸的是（？）通过选择适当的因子分析方法的一般方法，通常还暗示不同的数学（和统计）模型，例如，如果您在 SPSS 中选择“CFA”，则暗示您假设不相关的错误并且估计了不相关的误差并且该估计被排除在模型之外-因此，在我看来，由于进一步的影响，正确的因子分析方法的初始选择通常会受到这种数学/统计含义的影响。
简而言之：您的问题是“测试空值”的问题之一，因此您需要 CFA 或更好：在 SEM（结构方程建模）框架中开发的方法。请注意，有一个友好且有用的邮件列表，其中包含 SEM 专家，名为“SEMNET”，由于我不是真正的专家，您可以通过询问来完善您的反馈......