考虑一种拍卖,例如,向您展示 1000 名潜在客户。根据有关这些潜在客户的信息——年龄、性别、种族、收入、教育成就等——你可以“投标”将你的产品推销给他们中的一小部分,比如 250。(忽略投标成本。)最大化您选择正确子集的机会,我可能会使用使用逻辑回归构建的我们产品的“喜爱度”模型。我可以很好地摸索这部分。
然而,为了建立产品喜爱度模型,我必须做一些市场调查,测试我们可能从广大人群中招募的主题的产品宣传。这实际上是相当昂贵的。此外,它可能应该根据从中抽取潜在客户的人口统计数据进行调整。例如,一个因子设计可能会要求我们在种族因素的水平上以相等的比例招募测试对象,而实际上我们可能会遇到很少的美洲原住民,比如在 1000 个潜在客户中,并且可以简单地作为一项规则,选择根本不向他们推销。(悲伤,但真实。)
这样的实验应该如何设计?具体来说,设计变量都是分类和顺序因素,投标分数是输入参数(在上面引用的示例中为 1/4),可以招募的最大受试者数量也是如此。似乎实验设计和随机抽样的某种组合可能是合适的,但我愿意接受所有合理的建议和指示。
我还应该指出,鉴于我们可以负担得起的可能较小的效应量和小样本招聘池,市场研究不太可能产生统计上显着的回归系数。所以过度优化实验设计可能是愚蠢的,任何合理的非疯狂程序就足够了。