许多专家对邪恶的超级智能表示担忧。虽然他们的担忧是有道理的,但是否有必要,人工超级智能有什么机会或如何进化成生物系统固有的自私和自我保护欲望?是否有任何工作对这条调查线发表评论?
人工超级智能会进化成生物系统固有的自私性吗?
人工智能
无监督学习
2021-11-10 05:39:00
2个回答
AI只有在竞争环境中“进化”,具备一定的类人能力,才会“进化”出自私。
另一方面,自我保护的欲望是有任何目标的逻辑后果。毕竟,如果你被摧毁了,你就无法达到你的目标。
“邪恶”的超级智能关心的并不是他们真的变得邪恶、自私和残忍。这些都是人的品质。
相反,具有特定目标的超级智能会在逻辑上追求有助于其达到最终目标的子目标。这样的子目标将是资源、电力、安全。
所以它会积聚力量和资源来达到它的目标,只要它的目标还没有达到,它就会消灭任何对其存在的威胁,一点也不自私。
我在这里对这个主题有一些评论:https ://ai.stackexchange.com/a/2878/1671
这是一些深入的博弈论,部分取决于你如何定义“自私”。
例如,有一种“贪心算法”。有时贪心算法是获得可接受结果的最方便的方法,但最优性只是局部的。
在数学层面上,系统中“自身利益”的建设性或破坏性可能是纳什均衡是否被感知的函数。在这种情况下,自利被定义为维持当前的战略,因为除非竞争对手改变他们的战略,否则改变自己的战略是没有好处的。
正如 BlindKungFuMaster 重要指出的那样,如果人工智能在党派背景下运行,竞争力将演变为一种特征。
在那里,问题来自“游戏”是零和(Pareto Optimal)还是非零和(Pareto Improvable),或两者兼而有之。在这里,“破坏性”可以定义代理人因另一代理人获得的收益而变得更糟。
利他主义似乎有一个理性的基础,并出现在进化中,因为它可能是有用的。[见生物利他主义。]
虽然这往往仅限于单一物种,但狗和人类的共同进化是基于自身利益的物种间利他主义的案例。
人类和机器也已经并将继续共同进化。
其它你可能感兴趣的问题