AI 设计中真正的随机性有多重要?

人工智能 人工智能设计
2021-10-22 03:41:57

人工智能设计中真实(非)随机性有多重要?伪随机性是否有可能成为更成功设计的障碍?

1个回答

随机性通常是无知所能做的最好的事情,而不是其本身的力量来源。

例如,统计中随机性的主要用途是随机分配(A/B 测试、随机对照试验等)。这样做的原因是为了使混杂因素的影响独立于被调查因素的影响。

但是随机性只在预期中起作用。如果我们真的知道混杂因素是什么,我们可以进行配对分配(或类似的方案),以确保各个组尽可能匹配,而不是我们只是提前不知道偏差的走向。


在某些情况下,伪随机性而不是完全随机性会损害训练 AI 设计。一个简单的例子是你想在网络中随机初始化权重,其中参数的数量超过了 RNG 的周期性;这意味着虽然您拥有尽可能多的可能网络,但您实际上无法访问您想要采样的整个权重空间。

但是,我认为这些情况都不是限制因素。拥有真正随机的随机梯度下降而不是伪随机的随机梯度下降似乎不会对 AI 设计的轨迹产生重大影响。