有趣的问题。这不是一个真正的答案，但它太长了，无法发表评论。

我认为您的实验设计因以下原因而受到挑战：

1）这并不反映“现实世界”中实际评估选股的方式。作为一个极端的例子，假设选股者 A 选择了 1 只上涨 1000% 的股票和 9 只下跌 1% 的股票，而选股者 B 选择了 10 只上涨 1% 的股票。如果这些股票实际上是用来构建指数的，那么显然 A 会表现更好，但 B 在你的实验中会做得更好。一个更有趣的财务挑战是构建一个投资组合并将其表现与标准普尔 500 指数的表现进行比较。反过来，有一种常用的机制来评估这种表现：只需对日常回报进行线性回归投资组合与标准普尔的投资组合。截距项（通常称为“阿尔法”）衡量“超出市场”的平均表现。由于它是线性回归的系数，因此如果您愿意，构建 95% 置信区间是一件小事。然后将其与她的银行为此服务收取的费用进行比较。

2）忽略1，因为听起来你们俩已经就实验的形式达成了一致，请考虑如何进行游戏。假设我有一个神奇的神谕，告诉我一个月后每只股票高于当前价格的概率（比如说）。然后我可以只选择概率最高的 n 只股票，而且很可能超过 50% 的股票确实会上涨。现在，这些概率被（不完美地）编码在各种期权价格中。例如，我可以购买所谓的“二元期权”，这基本上只是对“股票 X 在日期 Z 将高于价格 Y”事件进行的赌博。此类定价意味着该事件的概率（尽管日期 Z 离现在越近，这将越不可靠）。既然盲目地追随“群众的智慧”不需要特别的专业知识，我认为像这样的策略的表现应该被认为是你特定实验的“机会水平”。或者，你给她一份你选择的股票清单，让她说明她认为每只股票会上涨还是下跌，以及她对每个预测的信心。然后按置信水平对所有答案进行分组，看看它们有多接近（即，在她有 90% 的信心的那些股票中，她是否正确预测了其中的 90%？）。有一种量化的标准方法；我不记得它叫什么了，但你可以在 Phil Tetlock 的 Superforecasters 中读到它。并让她指出她认为每个人会上涨还是下跌，以及她对每个预测的信心。然后按置信水平对所有答案进行分组，看看它们有多接近（即，在她有 90% 的信心的那些股票中，她是否正确预测了其中的 90%？）。有一种量化的标准方法；我不记得它叫什么了，但你可以在 Phil Tetlock 的 Superforecasters 中读到它。并让她指出她认为每个人会上涨还是下跌，以及她对每个预测的信心。然后按置信水平对所有答案进行分组，看看它们有多接近（即，在她有 90% 的信心的那些股票中，她是否正确预测了其中的 90%？）。有一种量化的标准方法；我不记得它叫什么了，但你可以在 Phil Tetlock 的 Superforecasters 中读到它。

一个非常简单的测试如下：每当她选一只股票时，你也选一只股票。我认为你不认为自己是股市专家。因此，您的选择将是大约。随机的。

使用这种方法，您可以通过施加一些规则来提高统计能力：

1. 你们都分配相同的预测（减少或增加）。她可以选择哪一个。
2. 您应该定义评估股票的时间。
3. 您应该定义您必须购买多少股票（>20 会很好）并且您必须以相同的金额购买它们。因此，当她说她购买股票 A 时，这意味着她将以 10 000 美元的价格购买它们。
4. 如果你们俩都将选择限制在特殊指数的股票上，事情就会变得更加精确。比你不必选择任何股票，但你可以运行一个模拟。然后你甚至可以评估预期的方差。但是，您需要将库存数据存储在某处。另一种选择是，当她购买一只股票时，你随机挑选 10 只股票——你只是模拟随机挑选 10 只“专家”。:)

你希望你的统计测试有多大的功效？也就是说，如果她确实有这个能力，你想要检测到这个能力的概率是多少？定义功效对于确定样本量至关重要。

为了提供答案，让我们做一些假设

1. 假设我们想要 80% 的功效和 95% 的置信水平以及单边测试。
2. 为了防止做出单一的预测（即所有股票都会上涨），强迫她预测 n 个会上涨的市场和 n 个会下跌的市场。这将确保她能够预测那些会上涨以及会下跌的人。
3. 我们将针对随机猜测者（50:50）进行测试，即$H_0: p>0.5$.

在这个框架下，她必须选择 15 只会上涨的股票和15 只会下跌的股票。

链接到计算器