为什么特斯拉汽车会误以为卡车是天亮的?

人工智能 自动驾驶汽车 人工智能安全 人工智能安全
2021-11-10 02:52:50

我们知道为什么特斯拉的自动驾驶仪将空旷的天空误认为是一辆高边卡车,从而导致一辆处于自动驾驶模式的汽车发生致命事故吗?是 AI 故障还是其他原因?这背后是否有任何技术解释为什么会发生这种情况?

文章Tesla Driver In First Self-Drive Fatal CrashTesla Driver 在 Autopilot 启动时在车祸中丧生,NHTSA 正在调查中讨论了这个话题,但没有详细说明。

3个回答

正如 Alexey 所指出的,特斯拉的技术是辅助性的,所以这不是一个自治系统(例如 AGI)做一些致命的特技的案例(产品名称 AutoPilot 具有误导性)。现在关于汽车辅助为什么会导致这场悲惨的事故,有一些与人工智能技术相关的信息。


警告:我无法再次找到对下一段至关重要的来源,并且一遍又一遍地阅读,我在其他报告中找不到类似的论点。我仍然清楚地记得下面的一点,但请记住它可能是不正确的。答案的其余部分是弱相关的,所以我把它全部留下,并带有这个警告。

一份独立报告(需要链接,我找不到...)解释说,由于对比度异常低(明亮的天空被视为白色——卡车的颜色),辅助系统无法检测到卡车。该报告还说,人类司机也无法做出改变。换句话说,汽车传感器(可能是摄像头)和人眼可能无法检测到障碍物,也可能无法触发任何安全措施。这个简短的图形解释总结了汽车传感器:摄像头、雷达、GPS 等。

辅助子系统基于专有的人工智能技术。我们只能在一些假设下进行推测。_这不是很有用,老实说,除了说明目的假设辅助系统依靠 ML 技术从视频流中了解障碍物(这样的系统确实存在):

  • 可能是学习数据“不够好”,无法涵盖卡车场景。
  • 可能是技术还不够强大(缺乏泛化能力,或者太慢了)。
  • 这可能是硬件问题,尤其是传感器问题:如果“汽车的眼睛”有缺陷,“汽车的大脑”(辅助系统)就无法做出正确的反应。

为什么这些技术在这种情况下不起作用将仍然是一个秘密。然而,我们可以说任何系统——无论是否使用人工智能技术构建——都有局限性。超出这些限制,系统反应是不可预测的:它可能会停止、重置、关闭。这里的困难是定义什么是“默认行为”。一台机器基本上会做它设计做的任何事情,所以一个基于人工智能的系统也是如此。

如果辅助系统真的是自主的、难以捉摸的 AGI,我们甚至可以推测会发生什么,但这里的情况实际上并非如此。

据我所知,特斯拉汽车的自动驾驶仪不是 100% 的人工智能飞行员,它是一个助手:当它检测到手离开方向盘时它会减速,所以谈论人工智能错误是不正确的:它没有经过训练/设计来驾驶汽车全部靠自己。一名人类驾驶员应对该事件负责。

特斯拉 Model S 具有自动驾驶仪,可以在车道内转向,只需轻按转向信号灯就可以改变车道,并且可以通过使用交通感知巡航控制来管理速度。多个数字控制有助于避免碰撞。基于此,这不是完全自动驾驶的汽车。

然而,它使用的是计算机视觉检测系统,但并不打算免提使用。

所以基本上已知的是,事故涉及卡车拖车(一辆大型白色 18 轮卡车)的侧面,并且很可能由于过度曝光造成的眩光或光晕,相机的照片被洗掉了拖车又白又瘦,无法与同样明亮的天空区分开来。

这可能部分发生,因为只有在雷达和视觉系统都检测到不可能发生的障碍物时,防撞系统才会启动。

此外,美联社还表示,司机很可能在事故发生时正在看一部哈利波特,并假设系统会提醒布朗,我们不知道他是否能够足够快地重新控制以避免撞击。再次提到,该系统不适用于免提驾驶,系统的某些部分尚未完成。更不用说汽车在拖车下全速行驶。

特斯拉在其网站上的一份声明中正式谈到了这次撞车事故:

拖车的高行驶高度加上其在马路上的位置以及极为罕见的撞击情况导致 Model S 从拖车下方通过,拖车底部撞击 Model S 的挡风玻璃。

自动驾驶仪和驾驶员都没有注意到拖拉机拖车的白色侧面对着明亮的天空,因此没有应用刹车。

根据技术乐观主义者的说法,他们还表示,他们将调整代码,因此这种特殊情况不会再次发生。

总而言之,这是制动系统的“技术故障”,很可能 Autopilot 并没有像特斯拉告诉参议院的那样。

《纽约时报》|资料来源:佛罗里达州交通事故报告

《纽约时报》|资料来源:佛罗里达州交通事故报告

资料来源: