实际上，与统计相关的所有事情（包括机器学习）都与研究机会有关，即试图确定观察在多大程度上是由于机会造成的。

例如，人们可能想知道一种药物是否真的有助于治疗某种疾病。如果我们观察到一名患者在服用药物后有所改善，则没有足够的证据可以得出结论，因为许多其他因素可能导致了这种改善。这就是为什么需要一个非常严格的协议来获得具有统计学意义的观察结果（两组患者、安慰剂等）。需要进行相当多的观察，否则无法区分“机会”（任何其他因素）的影响和药物的实际影响。

a) 是否有任何系统/数学/理论方法可以告诉我任何小于 N% 的东西都太少而无法影响/影响输出？

了解观察是否是偶然的标准方法是使用适当的统计显着性检验。其中有很多，它们取决于测试的具体内容。

b) 你如何决定哪些项目太少而不会影响产出。你的判断是一种主观的方法吗？

在 ML 中，通常采用更具实验性的方法，例如尝试有/没有观察或特征，然后评估哪些版本效果更好。当然，对更可能起作用的方法有直觉是有帮助的。一般来说，包括极其罕见的观察是一个坏主意，因为它可能会导致过度拟合，即当模型“学习”实际上是偶然的东西时。

[在 OP 更新后添加]

在这种情况下，这是一个资源分配问题，我认为这里没有统计意义。假设您想根据药物的使用频率优化体力劳动的使用，即唯一要最大化的是被标记药物的频率总和，那么很简单：按频率对所有药物进行排名降序，然后按照此顺序进行手动注释。通过这种方式，您可以确保首先完成占更多患者的药物，因此每当手动注释停止时，就会标记出尽可能多的药物。

除了 Erwan 的回答（提供了很好的一般性建议）之外，当您决定保留数据时，请考虑以下问题。

你想回答什么问题？你想从数据中学到什么？

如果您正在尝试建立一个模型，该模型将根据所施用的药物和患者的各种其他生物医学数据来预测患者的康复，那么如果药物 G 确实是一种非常罕见的治疗方法，则最好将其排除在外。包括它们可能会导致过度拟合，特别是如果一个影响很大。或者，您的模型可能会因为药物 G 的低流行度而将其作为特征的重要性非常低。

正如 Erwan 所说，最好的方法是实验性的。查看您的模型在有数据和没有数据的情况下的表现。然而，忽略药物 G 有其自身的危险。如果药物 G 是一种较新的治疗方法，那么您向模型提供的下一轮数据中可能会包含更多药物 G，而您的模型在这些数据上的表现会很差。在这种情况下，您始终可以修改您的模型。

考虑一个修改后的场景。你在生产药物 G 的公司工作。药物 G 相对较新，已被批准用于治疗 X 病。许多 X 病患者也有 Y 病，服用药物 G 似乎也有助于 Y 病患者的改善。您的雇主想知道用药物 G 治疗疾病 Y 的研究是否值得投资以尝试与市场上的其他药物竞争。

在第二种情况下，您不能省略药物 G 的数据。但是，由于药物 G 在整个数据集中的代表性不足，您仍然会遇到过度拟合模型的危险（回归问题中的挑战），一个低估药物的模型G，因为它的代表性不足（分类问题的挑战），或者统计上不显着的结果（一般的挑战）。