救更多人之前要先杀死一些人，自动驾驶必经之路？
3月的一个早晨，天刚蒙蒙亮，杰里米·班纳（Jeremy Banner）就从床上爬了起来，与其他通勤日一样，他坐进自己的那辆红色特斯拉Model 3里，朝着目的地驶去。
从车里往外看，路旁的沼泽和农田就像一大片绿地一样，这时，班纳点击了屏幕上的一项操作，随着一声轻快的提示音响起，市面上能看到的最复杂、也最富争议的Autopilot模式被启用了。
这就是说，在电脑的控制下，汽车可以自行加速、变道、选择出口，如果前方有障碍物，还可以进行制动。
但这是班纳最后一次使用这个功能，这也是他生命的最后一天。
特斯拉的目标是通过造出世界上首款完全自动驾驶汽车来主导全球汽车市场，它认为这一步至关重要。客户也信了。
该公司从Autopilot上收集到的行驶里程已经超过15亿英里（约24亿公里），其中不乏有一些车主是在特意挑战软件能做的极限。
尽管《车主手册》提醒司机应当密切注意路况，但这并没有阻止一些人读书、打盹、弹琴或车震。不过，大多数时候，汽车确实把他们带到了要去的地方。
回到班纳的故事里，他的车在那一天遇到的却是“少数时候”。该车没能发现前面有一辆卡车正穿过四车道的高速公路，班纳本人显然也处于游离状态。
接下来，他的车以超过100公里/时的速度与卡车相撞，车顶被掀翻。这位时年50岁，已是三个孩子父亲的车主当场丧生。
后来，班纳的家人根据佛罗里达州的《非正常死亡法案》起诉了特斯拉，给出的理由直截了当：特斯拉承诺提供一辆安全的汽车，却交付了一辆存在危险、有缺陷的汽车。
人类有出现判断失误的时候，但不一定都会导致严重的后果，这是因为人犯错的程度不同，选择补救的方式也多种多样。
这就引发了一个思考，要是系统出了问题怎么办？纵使车上配备了多种探测设备，但当软件认为前方道路没有危险时，那它就认定一切安全，因此不会采取任何防护措施。
自2015年特斯拉引入自动驾驶系统以来，在已知的5起死亡事故中，有4起都是这种疏忽造成的。
但Autopilot与历史上几乎所有其他消费产品都不一样，它在某些方面为我们提供的是一个对未解决问题的预演，让我们提早看到自动驾驶时代会面临哪些令人不安的问题。
特斯拉CEO埃隆·马斯克（Elon Musk）就表示，这项技术挽救了生命，很多特斯拉车主都提供了自己的证词，证明车辆能发现危险并避免了碰撞。（不信的话，还有油管视频为证）
在发生班纳致命事故后不到两个月，马斯克邀请了大约100名投资者和分析师来到特斯拉位于帕洛阿尔托的总部，在一个宽敞的会议厅里与他们畅谈，好似什么都没发生一样。
可能双方都是对的。依靠电脑系统，一些本来可以活下来的司机失去了生命，但同时，技术的不断更新也将在未来让致命事故大幅下降成为可能。
黄：所有特斯拉汽车行驶里程，黑：Autopilot行驶里程，单位：英里马斯克决定让尽可能多的人拥有Autopilot，这相当于把世界各地的高速公路集合在一起，成为一个前所未有的实验场。
由此可见，这个问题已经不仅仅是学术上的讨论了。而在未来几年里，社会——尤其是监管机构和法院——将不得不决定这是否是一种可以接受的商品。
让我们再来看看另一位特斯拉车主的情况。
只有26岁的年轻软件工程师奥马尔·卡齐（Omar Qazi）“开”着特斯拉行驶在洛杉矶的一条州际公路上，之所以要打引号，是因为他其实并没有把手放在方向盘上，这辆黑色Model 3同样是开启了自动驾驶模式，正以约80公里/时的速度前进着，还是在交通最繁忙的时段。
“完美。”看到方向盘自动向左打了一点，车辆又回到平缓弯曲的车道中央后，卡齐评价道。
留着胡茬、穿着一双蓝色耐克Air鞋，就像卡齐一样，特斯拉的大批铁杆粉丝中，很多都是富裕、痴迷科技的男性，有些人还经常在推特上与马斯克互动。
在一个充电站停车后，卡齐展示了还属于试验性质的“智能召唤”功能。
他按下了手机上的一个按钮，随后，他的特斯拉从车位开了过来。“这功能现在还没什么用。”卡齐笑着说，但因为这能招来不少观众，以致于喜欢炫耀的他经常忍不住就要试一试。
智能召唤让人们得以一窥马斯克所承诺的自动驾驶的未来，但对于道路行驶来说，Autopilot自始至终都是避不开的关键。
特斯拉表示，这项技术还不够可靠，所以需要司机把手放在方向盘上，哪怕是一秒钟，也不能将注意力放到别的地方。
当然，这也有法律上的目的。因为美国大多数州仍在研究如何管理自动驾驶汽车，而对州监管机构来说，Autopilot只是一个高级的驾驶员辅助程序，或者说是巡航控制的加强版。
Autopilot还不能完美应对非高速公路上的交通信号灯和停车标志等问题。但在高速公路上，积累了4年的数据信息，这确实让它逐渐承担了更复杂的任务，比如平稳地并道、防止其他车辆插队，或者是从一条高速路导航行驶到另一条高速路。
“它不可能完美地自动驾驶，但每隔几周你就会得到一次更新，汽车的驾驶也越来越像人类。”卡齐感叹道，但也表达了一种担心，“这反而让人有点害怕。”
为什么会这样？因为机器本来就应该有超过人类的准度，如今却让机器变得像人类一样，一定程度上是在降低标准。拿前面的防止插队来说，自动驾驶变得更像人类司机的话，就意味着系统有可能选择让步，让其他车辆先走。
事实上，驾驶是大多数成年人做的最危险的事情之一。去年全美有40000人死于车祸，全球范围则有140万人因交通事故丧生。
1974年，为了节省燃料，美国将高速公路限速限制在每小时55英里。一项研究发现，这种变化在第一年至少减少了3000人车祸死亡。但人们喜欢开快车，因此国会后来取消了这一限制。
几年前，交通事故造成的死亡人数开始小幅上升，有专家将其归因于智能手机的使用。但这也没用，现在依旧有人边开车边发信息。
但不管有什么缺陷，电脑都不会醉酒、疲劳、生气，也不会有开车时刷手机的冲动。这是它不会变得像人类的一大优势。
自动驾驶技术承诺消除94%的人为失误车祸。从这个角度来看，自动驾驶汽车可能成为与青霉素和天花疫苗同一级别的救星。
卡齐做了个计算，说有朝一日，自动驾驶汽车每天能拯救3000条生命。按照他的逻辑，届时沾满鲜血的将是任何阻碍这一进程的人，“想象一下，有人把软件延迟了一天，因此不少人失去了生命”。
商业火箭、高速隧道、大脑植入、电动汽车，在南非出生和长大的马斯克，不到30岁就赚了很多钱，然后我们就看到了他的这一系列大胆的项目。
特斯拉的股价已经下跌了几个月。尽管推出了世界上最畅销的电动车Model 3，但该公司距离实现盈利仍任重道远。
于是，马斯克有了新的关注点。“今天上路的汽车将能在几个月内在当地道路上使用Autopilot。”他说，“到2020年的某个时候，车辆将不再需要人工监督，并可以在闲置期间通过自动驾驶出租服务来赚钱。”
崇拜者认为马斯克是一个改变世界的梦想家，他的敌人则觉得这又是一个会吹牛的骗子。
“从财务角度上来说，购买特斯拉以外的任何东西都是不靠谱的。”马斯克接着说道。
包括通用汽车、戴姆勒和Uber在内的几十家公司都在竞相开发这项技术。对于任何关注自动驾驶汽车行业的人来说，马斯克给出的时间线看起来过于大胆。
许多观察人士认为，实力最强的竞争者依旧是Waymo。可十多年来一直致力于解决这个问题的Waymo还没有向公众出售自动驾驶汽车。
马斯克却很自信地告诉投资者，称特斯拉将超越他们所有人，这要归功于已经上路的50多万辆配备自动驾驶系统的特斯拉汽车。简单来说，Autopilot就像是草稿，用的人多了、数据多了，就能逐渐被“描绘”得更加灵活和可靠，最终实现真正的完全自动驾驶。
智能手机APP和视频游戏采用的正是这种方式，先向客户发布尚不完整的软件，并希望在这个过程中解决问题，增加功能。
但有一点要注意，这些产品完不完美不会致人死亡，自动驾驶却有这个可能。
Waymo、通用汽车和其他公司也有大致的设计方案，但它们只安装在几百个测试车型中，部署在全国少数几个精心挑选的社区，而且几乎总是坐有专业的安全驾驶员。
马斯克显然不这么想，他正以最快的速度把“草稿”送到消费者手中。不得不说，这使得特斯拉的工程师能够从客户那里收集到TB数量级的数据，并根据真实世界的情况，利用这些信息来完善自动驾驶软件。
即使特斯拉不在自动驾驶模式下，它们也会自动地将人类驾驶员的选择与计算机所做的选择进行比较。每隔几周，特斯拉就能推送新的Autopilot版本，将其上传到汽车里。
对此，卡齐和其他车迷很高兴。
“每个人每时每刻都在训练这个网络。”马斯克解释说，并把这种良性循环称为“车队学习”，将其与谷歌的搜索引擎每年处理1.2万亿次查询的方式进行比较。他坚信，软件会有一天变得足够好，让司机不会再想要方向盘。
另一方面，当摩根士丹利分析师就Autopilot的安全记录向马斯克施压时，他很快把话题转向了人类驾驶的危险，以及技术修复它的潜力上。
汽车好比是由人工操作的老式电梯，“每隔一段时间，工作人员就会感到疲劳、喝醉了，或者别的什么，然后他们就会在错误的时间转动杠杆，因此酿成灾难。”马斯克接着说，“现在可没有电梯操作员了。”
除非司机走上电梯服务员的老路，否则自动驾驶是下一个最好的选择。
他曾表示，让Autopilot退出市场“在道德上应该受到谴责”。有意思的是，不光是马斯克或他的支持者这么想，受害者也有站在他这一边的。
第一位死于自动驾驶的美国驾驶员是来自俄亥俄州的海军老兵约书亚·布朗（Joshua Brown），他和班纳一样，也是撞上了一辆十字路口的半挂卡车。在2016年的车祸之后，他的家人发表了一份声明，基本上表达了对特斯拉道德考量的支持。
“改变总是伴随着风险，我们的儿子对未来的公路安全产生了如此积极的影响，这让我们全家感到欣慰和自豪。”声明中写道。
实际上，他是马斯克事业的殉道者。
不可否认，当我们把大部分（还不是全部）责任交给电脑时，我们就会走神。更严重的是，作为司机，驾驶技术也有可能因此变得生疏。
航空史上充斥着人类对自动驾驶模式过度依赖所导致的错误。西北航空公司的两名飞行员一度完全走神，这让他们的飞机足足飞离了原定目的地160公里。
“注意力会分散，这是人之常情。”前海军战斗机飞行员、杜克大学普拉特学院工程教授米西·卡明斯（Missy Cummings）给出了这样的回答，并希望Autopilot退出市场。
与此同时，系统所认为的最具挑战性的一些任务往往对人类来说是小菜一碟。因此，电脑出问题的时候，也很可能是司机觉得最安全的时候。
上述两起事故就是很好的证明。任何一个有感知能力的成年人都能分辨出良性道路特征（公路立交桥、头顶标志、停在路边的车）和潜在风险（一辆挡在路中间的卡车）之间的区别。
但对于世界上最复杂的机器视觉软件来说，这非常难办到。
特斯拉一直拒绝对其Autopilot设限，因为这样做让系统更安全的同时，用起来也更不方便。该公司允许驾车者将自动驾驶仪的巡航速度设置在当地限速以上，并允许车辆在任何能检测到车道标记的地方启动自动模式。（手册上说它的使用应该限制在高速路上）
对于那些想要测试特斯拉汽车自动驾驶极限的人，马斯克或多或少都给予了鼓励。
他亲自在电视节目中扮演反面教材，完全按照手册上的警告反着来，启动Autopilot，把手从方向盘上移开，然后展示了一款Model 3。
后来，一段涉及Autopilot的色情视频在网上疯传后，马斯克发了一条推文，开玩笑地说：“事实证明，使用这个功能的方式比我们想象的要多。”
就连卡齐也承认，说他和前女友曾经在Autopilot模式下的车里亲热过。他尽力把一只眼睛盯在路上。
鉴于Autopilot现在已经积累了超过24亿公里的行驶记录，确定它的安全水平应该很容易才对。但到目前为止，特斯拉既没有官方公布的数据，也没有向第三方研究人员提供相关信息。
我们能知道的，只有马斯克声称的使用Autopilot驾驶的安全性大约是不使用情况下的2倍这个说法。
特斯拉倒是公布了每季度Autopilot的事故率数据，但安全专家表示，如果没有这些事故发生的具体情况，数字本身毫无用处。
在2016年的布朗撞车事故后，美国国家公路交通安全管理局（NHTSA）对Autopilot进行了调查，但发现没有理由召回。该部门得出的一个结论是，安装了Autopilot的特斯拉汽车的事故率比没有安装此功能的同品牌车辆低40%。
得出这种结果所依靠的数据并非完全可信。要知道，尽管特斯拉当时已提交4.4万辆汽车的里程和碰撞数据，但除了5700辆以外，其他所有车辆的关键数据都有缺失或相互矛盾。
马里兰州的独立统计顾问兰迪·惠特菲尔德（Randy Whitfield）指出了报告中的这些缺陷，但NHTSA表示他们将坚持原有的发现记录。
在评估Autopilot或完全自动驾驶技术这一点上，一大问题在于不清楚社会将接受何种程度的安全性。
自动驾驶汽车在上路之前应该是完美无瑕的，还是仅仅比一般的人类司机更好就行？
“人类对机器缺陷造成的伤害或死亡几乎是零容忍的。”负责丰田自动驾驶技术研发的吉尔·普拉特（Gill Pratt）在2017年的一次演讲上表示，“机器学习需要很多年的时间，再加上远超他人的模拟测试和真实测试的里程数，才能达到所需的完美效果。”
但如此高的标准反而可能导致更多的死亡。兰德公司2017年的一项研究中，研究人员尼迪·卡尔拉（Nidhi Kalra）与大卫·格罗夫斯（David Groves）评估了该技术发展的500种不同假设情景。
在大多数情况下，等待近乎完美的自动驾驶汽车的代价，与接受只比人类安全一点点的汽车相比，差别就要用数万条人命来衡量。
“那些还在等着近乎完美的人应该意识到，这不是没有代价的。”机器人专家卡尔拉给出了这样的回答。
我们习惯于认为代码是由人类程序员编写的一系列指令。卡尔拉的论点的关键却是在汽车如何学习的洞察力上。
识别一辆自行车，然后预测它会朝哪个方向走，这太复杂了，不能归结为一系列的指令。大多数电脑都是这样工作的，但特斯拉和其他自动驾驶汽车开发商使用的电脑不是这样。
相反，程序员使用机器学习来训练他们的软件。他们可能会给它展示数千张不同自行车的照片，从不同的角度，在不同的背景下。他们可能还会给它看一些摩托车或单轮脚踏车，这样它就知道其中的区别。随着时间的推移，系统就能制定出自己的规则来解释它看到的东西。
机器积累的经验越多，它就越聪明。但这只解决了问题的一部分。即使我们造出了一辆完美的自动驾驶汽车，我们又怎么知道呢?
卡尔拉接着说：“如果我们真的想最大限度地挽救生命，我们甚至可以在自动驾驶汽车比人类更危险的时候让它们上路，以加速它们的学习能力。”
另外，致命事故在统计上其实相当罕见。在美国，每行驶1亿3千万多公里才会有一起类似事件，如果换成模拟数据，那么想要达到必要的测试数量太浪费时间。
在兰德公司的另一篇文章中，卡尔拉估计，一辆自动驾驶汽车要无故障行驶约4.42亿公里才能证明它比人类司机更好，而这一距离需要100辆测试车连续行驶12年以上才能完成。
考虑到这一切，再回顾马斯克计划同时完善和测试他的自动驾驶，利用真实道路上的老客户作为志愿测试者的方法，好像听起来也没那么疯狂了。
说起来也许有些恐怖，但如果不让大量驾车者面临被机器杀死的风险，也许就不可能实现自动驾驶安全性上的本质提高。
马斯克决定加速Autopilot的发展，并让它在未经批准的道路上工作，这背后有一定的逻辑。
每次司机为了避免事故从而夺回控制权时，对电脑来说都是一个潜在的教育时刻，一个让软件学会不应该做什么的好机会。
再来看一个例子。美国已经有了一个对可能拯救生命但也可能有致命副作用产品进行测试的机制，那就是分阶段临床药物试验。
卡内基梅隆大学哲学教授亚历克斯·伦敦（Alex London）呼吁汽车监管机构采取类似措施，允许新技术分阶段上路，同时密切监控其安全记录。
“这也许不是最好的提案，但我可以告诉你最糟糕的是什么。”他说，“最糟糕的情况，是选择相信设计系统的人的话，尤其是当他们试图向你推销这个系统的时候。”
软件工程师奥马尔·卡齐当卡齐开着他那辆特斯拉快要到帕洛斯维德斯牧场的时候，虽然沿途并不是高速路，但他再次启动了Autopilot。
车辆自动行驶过陡峭悬崖时，系统正确地识别出前方的骑行者并决定超越他。可就在要超车的时候，卡齐踩了刹车，让那人在这之前骑到了更宽的路上。
他说要是有机会，他想看看车辆最后超过去会是怎样的结果，但他不能这么做，并希望机器最终也能做和他相同的操作。
随着特斯拉在全球道路上的普及，卡齐似乎已经接受了统计学上的确定性——Autopilot造成的死亡人数将会增加。
“最大的公关噩梦还没来呢。”他指出，“实现目标的路只有一条，想走过去就必须经过雷区。”（文章&图片来源：Bloomberg，作者：Zachary Mider）