【深度剖析无人车运作原理】AI如何学习开车,,台湾虽然起步较晚，但

原标题：【深度剖析无人车运作原理】AI如何学习开车

图片来源: Tesla 现在，无人车在国外已经蔚为风潮，不论是车厂、网络及科技公司或新创，都全力押宝自驾车，想要尽快让它商用。台湾虽然起步较晚，但也开始跨出第一步。但如何做出一台练就开车本领的全自驾无人车，这...

图片来源:

Tesla

现在，无人车在国外已经蔚为风潮，不论是车厂、网络及科技公司或新创，都全力押宝自驾车，想要尽快让它商用。台湾虽然起步较晚，但也开始跨出第一步。但如何做出一台练就开车本领的全自驾无人车，这次我们也通过台湾国产首辆无人小巴，深度剖析AI开车的基本原理，以及背后运作流程大公开。

虽然，在设计自驾车时，有很多不同有效作法，各家巧妙各有不同，但基本上，AI开车背后的基本运作流程大同小异。无人车要会自己开车，首先是要有辆能控制的汽车，然后，这部车上还要有个能负责发号施令的汽车大脑中枢（或称作自驾AI大脑），并且还要有一层感测器融合组成的感知层，同时还要搭配一个高精度环境地图。基本上，只要有了自驾车体、AI大脑、感知与高清地图，汽车就会自己开车。

而要剖析无人车，可以从硬件和软件来谈。首先，在硬件方面，要让AI学习开车前，先得找到一辆AI能驾驭的汽车。因为传统汽车的设计，是以人为控制为前提，利用手脚来控制汽车方向盘转向和煞停，当前方遇弯道要过弯时，人会经过大脑发号施令，转换为身体动作操控方向盘，双手会根据大脑传达的指令转动方向盘，再由电子转向控制系统，依据方向盘上操作力矩与转角计算并转换成轮胎转向舵角，进而控制汽车转弯，或依踩放油门及刹车力道来控制车速。

不过，这次负责打造农博无人小巴的台湾智慧驾驶执行长沈大维表示，无人车的前提，是要将一切的动作改为汽车讯号控制（或称为线控驱动），也就是要能够通过汽车电子讯号来控制车辆的操作，包括加速、刹车和转向，而非人为或机械控制。以汽车方向盘转向系统为例，一般燃油或电动汽车多采用机械式控制，搭配油压辅助推动，主要还是人为操控。必须要先改成非油压驱动的线控马达，才可以直接经由汽车内部网络（CAN）接收上层车辆控制端下达的操作指令，再将收到控制讯号转成机械运动，进而控制汽车轮胎的转向。

AI学开车的第一道关卡，得将车控系统全面改成线控操作

单就这点看，要想取得一辆能回控的汽车并不困难，目前市面不少配备主动安全ADAS系统的高阶车款的转向、刹车和油门，多数都已采用线控驱动，不过，沈大维更进一步说明，无人车要能受控的真正关键，在于能不能取得这些线控系统的控制权。因为汽车底层线控系统一般都是封闭架构，基于安全考量，车厂或上游的一线（Tier△1）厂商不会轻易对外开放通讯标准（Protocol）。就算自驾AI大脑再聪明，要是没有办法与转向、刹车及油门等线控系统沟通，还是无法开车。这是AI学开车得先克服的第一道关卡。

假使车厂或汽车零件商不愿开放或授权金额太高，自驾车业者就只能自行研究摸索，或改用其他汽车供应商开放的线控马达零件买回来自己改。对于不具车辆工程或线控方面专业的业者来说，要自己改就会很困难。因此，现行常见会采取的作法，会是直接向改装车厂订制已经合法改过，能用于自驾车开发的汽车，如Lincoln△MKZ、Ford△Fusion及Lexus△RX△450h等，皆是目前很常用于自驾车研发的车款，不只新创团队，就连Nvidia、百度、苹果等大厂都有用。

以农博无人小巴为例，沈大维则说，因为专案开发团队成员，刚好都是车辆工程或线控系统专业出身，对于这部电动小巴的线控刹车、油门操控早已驾轻就熟，所以只有转向是向国外购入方向机马达，再由他们自行改为巴士专用的线控转向系统，但即便如此，他也坦言，无人车改装过程是一大挑战。

摄影／洪政伟

台湾智慧驾驶执行长沈大维表示，制作无人车的前提，是要将一切动作改为汽车讯号控制，也就是要能够通过汽车电子讯号来控制车辆的操作，包括加速、刹车和转向，而非人为或机械控制。

感测器就像自驾车眼睛，周围环境感知全靠它

不过，就算好不容易改装成线控汽车，这也只达到AI开车的最低要求，这台无人车上，还需要配有不同感测器来分辨周遭环境，若以自驾车比喻操作驾驶，感测器就像眼睛，能感知周围的道路环境，眼睛看到后会通过车上如大脑的决策机制，在内建的运算主机计算后选择合适的行驶路线，再经过如手脚的控制系统，操控油门、刹车等功能。

就像一般人开车变换车道、或左右转时，会因为视线盲点产生“死角”，因此需要后视镜来帮忙察看左右或后方车辆位置和动态。每辆无人车上，通常也会配备好几种不同类型的感测器，例如摄影镜头、光达（LiDAR）和雷达等。这些感测器的作用也不尽相同，以摄影镜头来说，因为它有极高解析度和颜色等资讯，适合用于侦测行人、路标或交通号志，不过也容易因为光线、下雨等天候因素被遮蔽而影响分辨度。

相较之下，雷达就比较没有这个问题。因为是利用无线电波接收空间里被感测物体所反射的讯号，因此较能完整掌握与物体相对距离及方位，只是它的影像解析度不如摄影机；而一次由上百万个扫描点组成来测距的光达，不论侦测精度和解析度都远高于雷达，能在车辆周围建立更精细的3D立体影像，可以清楚描绘物体形状，甚至连交通警察的指挥手势都看得一清二楚。

不过，光达的画质和精度虽然高，但价格与雷达相差数十到百倍以上，从而会提高自驾车成本。再者，因为是以雷射光束来测距，也容易受到逆光或恶劣天候的影响，仍需雷达从旁辅助。

工研院机械所数位长王杰智也强调，自驾车从来不是单一技术，即使用再昂贵的感测器，都还是有它的使用局限，比如他曾试用号称公分级精度的GPS来定位无人车座标，但实际用过后发现，并不是在所有地方测得的误差都在数公分内，有些情况下使用，误差就会很大。因此，他说，在设计自驾车时，应该想办法善用各种方式，将不同感测器巧妙地整合，来相互确保安全。他反复强调，安全才是最重要的。

目前业界在使用感测器时，有像是以电动车特斯拉为首，只以雷达和摄影机为主，也有如Waymo、苹果等科技厂商以结合光达3D影像分辨环境为主，甚至在Waymo的Lexus自驾休旅车上，还同时使用3种不同远距的光达感测器，最远有效侦测距离达到300米，非常于3个美式足球场的距离。意味着，对于无人车行车安全有更高的保障。

沈大维表示，农博无人巴士上，主要有用到12颗声波雷达、8颗摄影镜头，以及车顶一颗光达，能分别从不同角度来搜集车辆周围的路面资讯，一方面这些影像资料搜集后，能当作无人车学开车的训练素材，另一方面，当遇到主要或某颗感测器故障，而无法侦测环境时，也能确保有其它备用感测器，能接手提供路况资讯，来做为自驾车行驶判断的依据。

结合高精度环境地图，提高无人车感知能力

除了感测器外，自驾车上还要有一个高精度环境地图，虽然在天气良好的情况下，车上感测器能够检测出车道线、路面边缘、可通行空间等，但对于道路坡度、曲率等检测却是无能为力，这些数据有助于对无人车的控制，刚好高精度地图可以提供。再者，当遇到暴雨、大雪等恶劣气候时，车上感测器难以感知远处障碍物、车道线等资讯，而通过高精度地图搭配GPS定位，也能提供这方面的路况资讯，做为自驾车行驶路线规画与行车策略的依据。

因为是完全为提供无人驾驶专用绘制的地图，不像传统GPS地图，在这个地图上，只会出现和驾驶有关的讯息，如道路、感兴趣点（POI），而且误差要在数公分以内。有了更精准定位的地图，自驾车也能够根据车上感测器侦测到车道线、道路边缘的距离，来与地图提供的资讯做比对，当感测器失灵导致汽车偏离原本车道时，就能通过地图来进行修正，将汽车导回原车道，进而能提高行车安全。

自驾车使用高精度地图时，还有另一个好处，就是有助于帮助它提前拟定行驶策略，举例来说，在高精地图上通常会预先标注驾驶应注意的交通及路况等特征，以便于车辆行进时，就能根据事前已得知的前方路口交通型态，如交叉路口或限缩车道等，提前决定采取行动的时机，是要先变换车道或开始减速，而不用等到进入感测器有效侦测范围内，才开始动作反应，让自驾车决策可以再早一步。

上面这些事前工作都就绪，AI才可以开始学开车。不过，讲到学开车，还是得先从自驾车控制决策过程谈起。不像人开车，很多时候，脑袋不用多想，看到前方绿灯就通过，但对于无人车来说，即便是一个简单的过马路决定，都是经过一连串高度复杂模型演算和逻辑推演过程，再来决定是否要穿过马路，以及用何种方式来开。

一般而言，无人车自驾系统的组成，分为感知、决策以及控制。也是自驾AI大脑组成最重要的三大元件。其中感知系统是在处理来自各种感测器的资料，用来侦测车辆周遭环境的物体分辨、定位及追踪等讯息；决策系统则是依据预先设定的决策逻辑与规则，结合感知系统提供的环境动态资讯，来决定车辆路线规画和行驶策略，最后再由控制系统在符合车辆操控反应前提下，来具体下达控制指令，操作汽车完成动作。

AI要如何学会转弯？

那AI要怎么学习转弯？负责协助技术支援无人小巴自驾能力开发的Nvidia台湾业务协理萧怡祺的回答很简单：“就是通过训练。”虽然讲起来很容易，但要真正做到，却不是件简单的事。而且同样是学习，AI学开车也有许多的有效学习方法，各家车厂巧妙各有不同。

就像开直线、或弯道是所有开车新手上路前必练的基本功。AI学开车也不例外，若是连开直线或弯道都控制不好，更别说要开上路。

萧怡祺也以新手开车来举例，新手驾驶一开始也不会知道怎么开车，而是一旁教练手把手指导开车技巧，久而久之就懂得车要怎么开。AI学开车也是如此。起初，AI一定不知道如何开，车开得歪歪斜斜，所以得教AI学习，因此，第一步得先找到一位驾驶行为良好的操作员，让AI可以学习对方如何开车。

沈大维也以无人小巴为例，在训练AI系统时，Input就是场景，Output就是操作模式，通过不断训练，让AI学会应对不同场景。举例来说，弯道就是一个场景，也就是输入值，如何转弯，要以什么速度过弯就是操作模式，也就是输出值，通过车辆参数记录和影像资料标记，来训练类神经网络模型，目标是让AI输出的操作模式，接近人当时的操作模式。

实际执行上，当车辆行驶时，车上感测器就会开始搜集所有行驶资料，这台车上会记录如相机等感测器资料，同时也会录到车辆运动状态下，经由CAN△BUS搜集驾驶操控行为所回传的资料，包括转向舵角、刹车及油门等，再将两者资料同时比对，例如在某一时间点，汽车前轮舵角突然变大，然后几秒内就变小，而且这段时间车速有明显减慢迹象，对比前方镜头正好拍到拐弯处有条车道线，AI就会学习这些数据之间的关联性。

当下次看到同个弯路时，AI就会知道对应先前驾驶开车方向盘打了几度的舵角，经多久才回正，以及当时车速变化情形，来持续修正调整到接近和驾驶一样的操作。经过无数次反复自我学习，以后看这类型弯道时，AI就会知道控制汽车做出相对应的舵角，与维持相应车速过弯。

当学习弯道种类越多样，以后遇到不同弯路时，就能依据不同弯道曲线控制汽车行驶在车道内，而不会开出车道。直线路段也是类似作法，让车辆反复学习保持开在车道中间，比如偏哪边就向相反方向转些角度，让它不会超出中间标线。

摄影／洪政伟

在AI训练学习阶段，Nvidia台湾业务协理萧怡祺指出，深度学习扮演重要关键，可以用来协助AI加速完成学习推论感知周遭环境，再由控制决策系统依据感知推论结果，搭配其他必要资讯，完成控制汽车前进、过弯等动作。

深度学习就像是一本无人车考照基础题库，用来传授AI开车技巧

在AI训练学习阶段，萧怡祺表示，深度学习（Deep△Learning）扮演重要关键，可以用来协助AI加速完成学习推论感知周遭环境，再由控制决策系统依据感知结果，搭配其他必要资讯，来完成控制汽车前进、过弯及减速等动作。

深度学习是机器学习类神经网络的其中一个分支，不像传统基于规则方法设计的演算模型（如决策树等），深度学习是由很多小的数学元件组合成一个复杂模型，就像脑神经网络一样，能建构出多层次的神经网络模型，适合用在解很复杂的问题，比如照片分类、人脸分辨、语音转文字等。过去几年，深度学习演算法历经几次飞跃性重大突破，特别是在物件侦测、分类和定位上，可以发挥出更好的学习效果，近来也开始被广泛应用在自驾车上，用来传授AI学习如何开车的技巧。

甚至于，对于AI来说，深度学习就好比是一套无人车考照基础题库，在这个题库中会记载各式各样行人、号志、标线的基础题型与不同的交通情境，来帮助AI从大量可供学习的资料训练和学习过程中，找出一个最有效的学习开车的方法。

现阶段，在自驾车学习设计上，有许多现成可参考的自驾车学习方法，而Nvidia则是采取一套分工设计的学习方法论，来教导AI学开车。

以自驾车感知系统为例，萧怡祺表示，这个感知系统是由多个深度类神经网络 （Deep△Neural△Network，DNN）模型所组成，但是每个DNN模型在这里面，只会专做一件事，没办法一次同时做两件不同的事，例如有的DNN是负责侦测车体，但是它无法一次侦测车体和车道线，仍需要有其他能侦测车道线的DNN模型来协助完成。

这也意味着，AI想要学会开车这项技能，就得同时要拥有很多不同功能类型的DNN模型，来协助分辨所有驾驶情境。就连训练时，每个DNN模型也都要分开各自训练。每张图上都要先标记出里面哪些是这个DNN需要学的对象，并且框出它在照片中的哪个位置。并将训练完后的DNN模型放进车上做推论测试，检验它学习成效，再根据结果反复修正到能认得要它认的东西为止。

以Nvidia自驾车BB8来说，这台车上对外至少就用到了10种不同DNN模型，用于处理车道线、行人、障碍物，以及可通行空间等讯息。萧怡祺表示，他曾看过有人最多使用20个DNN模型，分别用于车外环境分辨与车内监控上，“这还只是相机侦测，其他还会有雷达和光达侦侧来相互对照，最后，再由决策系统依这些环境感知讯息，搭配地图定位、交通法规等，综合协调出一个合乎逻辑的行车策略。”他说。

像在无人小巴上，沈大维表示，这次一共使用了两种DNN模型，一个负责弯道工作，另一个则是用在行人侦测。其中，弯道DNN模型只会负责处理车子过弯，并不会侦测现在有无行人冲进车道，而是会由另一个识别行人的DNN模型处理，假设遇到过弯同时有人冲出，这时就会由更上层控制决策系统，依据事先设定的规则综合判断后再做出决定，比如看到有人就停，没人就开。通过这种基于规则的判断方式，来帮助巴士开在人来人往的园区路上，而不会动不动就撞到人。

在农博例子里，因为交通环境单纯，设计的决策机制不用太过复杂，不过，一旦进入一般市区道路，面对到更复杂路况和交通时，光只是感知能力强还不够，无人车还要具备有高度决策逻辑的判断能力，能在复杂车流、行人穿梭的不确定路况中，依据这些综合环境情报下达正确决定，决策系统也得要变得更有智慧才行。

不过，对于无人车来说，就算只是一个简单转弯操作，还是有AI学习困难的地方，萧怡祺也举直角转弯来说明，因为车辆进弯接近垂直角度，摄影镜头拍到的路面影像，只会看到一点点车道线，使得AI在学习训练时，就容易因为特征资料不足，只有一方舵角资料，使得学习效果大打折扣。而要克服这个难题，就得要加强这方面的资料学习。

另外，在学习训练样本上，也不能只搜集同类型的资料，需要不同取样做开车学习，沈大维表示，因为车上感测器容易受到天气的影响，使得AI所见影像，会和原先学习影像不一致，就容易产生误判，如在农博自驾场地，每到正午大太阳时，白色车道线经过光照看起来就像黄颜色，AI因为以前没看过，就可能不会把它当成车道线，经过时就容易开出跑道。所以，负责开车的人，就得要取得这类型的稀有资料，让AI可以去学习这之间变化，使得学习过程能自我优化并处理数据之间更复杂的关系。

另一方面，虽然在物件侦测上，深度学习的确有其厉害之处，很会解高难度的问题，但也并非任何情况都能用到它，举例来说，当用它来解一些简单问题时，就容易会出问题，或是具有高度不稳定性，例如N-bit奇偶同位元校验、乘法运算，或是一些简单视觉侦测题，比如找出图片中有无相似的形状等。

王杰智就表示，深度学习技术并不是万能，即便它很管用，但也应该要用在对的地方，比如它适合用在自驾车环境感知上，但是在决策和控制就不太适合。他表示，在设计自驾车时，通常会采用各种不同的有效方法，来确保整个自驾系统的安全性。就连做物体追踪，都会同时有好几种作法，用在不同感测器上，来反复检验确认，以确保自驾行驶的安全。

就像新手学会开车后，接下来就是持续累积经验，不断精进自己的开车技术，AI能开车以后，真正挑战才开始。不只要会开车、认路，还要能从路面上停放车辆、行人徒步区找出车辆可以通行空间来开车，更要能依据车况变化，随时动态调整行车策略与规画路线，这是决定无人车能不能上路的最大关键。尤其是在台湾这种摩托车穿梭的场景，对于自驾车要能从封闭实验场域，开进一般道路，更是一大考验。

自驾车如何学会转弯

以农博自驾小巴为例，在训练阶段（蓝线），持续搜集人工驾驶行驶间的前方路面视频和轮胎转向舵角资料，集中到Drive△PX2上的外接SSD硬盘，再转存到笔电进行前置处理，来产生训练用资料，再通过云端，上传到深度学习运算主机训练转弯DNN模型，完成DNN模型后回传到PX2平台。

推论阶段（红线），自动驾驶时，能需即时拍摄前方路面视频，传入PX2利用DNN模型来推论出控制轮胎的转向舵角资讯，同样通过VCU车控及EPS转向系统转换成控制讯号，来操控汽车轮胎的转向。

图片来源：Nvidia、Ecotrons、CMU；资料来源：iThome整理，2018年9月。

?相关报道??国产自驾车的诞生

橙山网（Csnd.net）简评：台湾虽然起步较晚，但也开始跨出第一步。但如何做出一台练就开车本领的全自驾无人车，这...图片来源: Tesla 现在，无人车在国外已经蔚为风潮，不论是车厂、网络及科技公司或新创，都全力押宝自驾车，想要