2024年7月11-13日,2024中国汽车论坛在上海嘉定举办。本届论坛以“引领新变革,共赢新未来”为主题,由“闭门峰会、大会论坛、10多场主题论坛、9场重磅发布、主题参观活动”等多场会议和若干配套活动构成,各场会议围绕汽车行业热点重点话题,探索方向,引领未来。其中,在7月12日下午举办的“主题论坛五:高级别自动驾驶加速,驱动未来出行革新”上,东软睿驰副总裁刘威发表精彩演讲。以下内容为现场演讲实录:
大家好,我是来自东软睿驰的刘威,很高兴有机会跟大家交流。
今天演讲的题目是《车路云一体化助力高等级自动驾驶量产》。正式分享之前,明确一下我今天讲的主要内容。国内最近都在讨论一些热点的事件:
第一件事,有20个示范区,全国要做车路云的一体化,这是一个。
第二件事,大家都在谈萝卜快跑,因为本身在武汉经开区,也是说全无人的出租车来替代人类做自动驾驶,做运营。因为这件事就在我们武汉公司的同一个园区,萝卜快跑从有人到无人,整个的过程应该说是我亲眼所经历,所以整个过程,这也代表中国自动驾驶的一个技术的快速进步,这是一个事。
第三件事,中国都在谈L3的准入,有一些车企已经拿到L3的证书,进了准入。大家都在谈端到端,都在向更高等级的自动驾驶去进展。实际上今天我想谈的,在这个过程当中,因为我们本身是做一级供应商的,在这个过程当中实际上要解决很多工厂上的问题,所以我今天重点谈未来走到车路云一体化的时候,我们要解决哪些工程问题。
除了刚刚很多行业的专家讲的端到端的大模型,讲的高等级的自动驾驶的图商的技术,这些技术都是核心的,也是最基础的,除此之外,真正想要工程落地的话,还有一些技术是必须要解决掉的。因为一旦走到端到端,肯定是与今天的量产传统的感知BEV+transformer,或者把路径规划做成了CNN的方式,那么这个里面所要面临的一些工程化的问题有很多,如何解决这些工程化的问题?是我今天想要重点讨论的。也就是说 一个是车路云变化所引起,一个是真正走到端到端的时候会有一些新的需求,这些新的需求如何去面对?我今天重点想讨论这些问题。
看一下这个背景,刚刚几位演讲嘉宾提到,高等级的自动驾驶在加速落地,国家过去两年时间里,国家从政策层面上出台了很多法律法规,在鼓励自动驾驶走向高等级,鼓励高等级的自动驾驶快速地落地,虽然这个过程当中我们遇到各种各样的问题,实际上跟当年的汽车取代马车遇到的问题是很相像的,我们对这些高等级的技术抱有更多的宽容,这是过去看到的一些法律法规的落地的情况。
高等级自动驾驶的落地,除了从技术方向和法规的方向上大家都在快速地去做探索。整个从市场的角度来看,我们看到今年北京车展上看到很多车企,包括参展的厂商都在快速落地我们的高速NOA,很多的车型已经下探到15万以上,高算力的平台,包括地平线的平台,包括英伟达的平台,还有一些其他的芯片的平台,其实都已经下探到20万的车型,这些技术都在加速高等级自动驾驶快速落地。
除此之外看到过去的一些技术方案,以特斯拉为代表的,包括英伟达为代表的,大家都在提一些新的技术,包括端到端。实际上包括特斯拉最新的版本,原来计划是8月份发布,现在推迟了,实际上所有的新技术快速地推动高等级的自动驾驶快速落地。
实际上我们看到这仅仅从车端看到的一些技术,我们可以看到车端的车载的算力和大模型算法,大家都在提大模型。其实矛盾是凸显的,我们可以看到在通用的人工智能角度上,实际上已经上到千亿的参数,大的模型,我们所说的通义千问或者是GPT这一类,消费类的模型。实际上在车载模型里面,从几亿到几十亿也是在快速地发展。但是实际上从我们芯片上,现在能够提供的算力角度来说,实际上它是赶不上消费类大模型发展的速度。在这两者之间是有一个gap,如何去弥补这些gap,就是在车载端必须要解决的。解决这些技术问题就是工程化的问题,芯片厂商在做,我们落地的供应商也在做这些东西。
车端的算力总是有限的,这是为什么大家在提要用云端的方式在解决。实际上我们可以看到今天座舱里面,我们的芯片虽然算力逐步地提高,但是座舱很多的大模型的技术已经在落地,在我们的量产车上都能体现。它是怎么做到的,实际上借用云端的算力,实际上是通过云端算力的补充,来解决车端算力的不足。但是座舱和自动驾驶显然是截然不同的两种应用的场景,一个是对系统的延迟没有明确的特别严格的要求,但是自动驾驶不是,自动驾驶是有严格的系统延迟的要求。这两者之间并不是能够划等号的,但是实际上我们可以看到过去在车云一体这个角度上,过去的一些系统,包括落地的功能是怎么实现的?
可以看到最早期的已经量产了很多车型的产品,实际上它也做了一个闭环的方式。但是过去是没有升级的,虽然在路测阶段,我们也采一些数据,但是车辆采了以后从来不做OTA。但是在今天所有的车如果没有OTA,这个车不能量产。我们过去所说的数据的闭环,离线和在线混合的方式自动驾驶的功能,实际上在很多的车上已经在大规模地落地,这是我们过去所看到的。很多的车企,还是供应商也好,都在做自动化的东西,这是过去已经发生过的事情。
现在大家正在做的事是什么?就是跟今天的主题有关,就是车云。除了座舱在接入云端的算力,自动驾驶也会接入云端的一些算力。像刚刚演讲嘉宾苗总在介绍超视距的东西其实就是借助云端的东西。王总问怎么做能实现,其实就是人人为我,我为人人,接入云端的算力来补充车端,因为它能提供额外的一些信息。我们可以看到过去在座舱上做得很好的一些应用,今天在自动驾驶领域,国家层面还在鼓励,车企也在考虑,如何在低延迟型或者简单的场景,或者具有超视距的场景上落地这样的一些云端的计算的算力来弥补车端算力的不足,实际上对高等级自动驾驶落地非常关键的一环,这是今天看到的。左边的环大,右边的环是小的,这是今天。
但是很快会看到,萝卜快跑或者其他做无人出租车的企业,实际上他们正在用更多的云端的算力来弥补车端算力的不足。左脑和右脑其实是均衡的,包括现在量产的车型或者即将量产的车型都在提,快模型、慢模型,一个左脑,一个右脑,因为车端算力有限,在嵌入大语言模型的时候,想做一些高等级自动驾驶可解释性的时候,今天车载的算力不足,不足以支撑你能够做快速的本能反应的自动驾驶的一些动作,所以没有办法,大家把它分为左脑右脑,一个以每秒多少FPS来做毫秒级的响应,一个是一秒可能运行一次两次,但是它可以做一些思考的,做一些超视距计算的东西,这是今天我们在车载上能够看到的。实际上借助云端的一些算力,可以做一些全场景,这是接下来很多的车企会快速地去发展的路径,能够解决的自动驾驶落地的不足。
结合自己做的一些工作,自己在过去一些时间里面,我们做了off line和on line混合的模式,这些车型已经量产了,实际上这是大家所熟知的,我遇到一些corner case,我会数据回传,我会把一些corner case通过触发器的方式,通过专用的云端的中间件,包括车载的中间件把数据进行回传。在云端做标注,做训练和升级,最终OTA升级。这是一个off line和on line混合的模式,因为从功能安全的角度和信息安全的角度,必须是这样一个做法。
实际上我们可以看到我们正在做的,包括量产的已经是有,还有一些方式,我们借助云端的一些算力或者云端的一些基础设施。刚刚讲的左边的,就是一个高速的NOA,只用车端的算力就可以了。今天量产的一些功能,上市量产的同样接入云端的算力和云端的基础设施,什么样的功能?比如说远程挪车,我们叫RVM。它是一个典型的场景,当你的车停在路边,因为你有一个自己的电话号码放在那,你是临时停车,如果有人打电话要求你挪车,这个时候还不方便下楼,你可以通过手机远程把这个车挪了。它不是简单的遥控,过去有一些遥控泊车,但是实际上我们量产的不是。它是一个你下了指令之后,它可以按照你的指令进行前进,同时它能够避障,找到合适的泊车位能够完成自动泊车这样一个功能,它除了用了车端的算力,用了云端的算力,用了云端基础设施的东西。
在车端的时候,你要解决上传时候数据脱敏的问题,感知的问题。在云端要做到把视频,车端采集的一些视频,远程的推送到你的手机端,这个延迟要低于500毫秒,不能有更多的延时,你要在车端做更多的功能安全备份,一旦手机断联,车端要自主的能做一些动作,这是我们量产的很典型的车云一体的功能。跟过去的完全靠车端的一些功能,车端的算力实现的一些功能是不太一样的。
这是我们量产的远程遥控挪车,在一些车型里面已经都实现了量产,这样它实际上相当于用了本身车端的算力和云端一部分算力,通过智驾云实现一个数据闭环的方式,这是我们过去做的一些工作。
实际上我们可以看到,一开始开篇提了三个问题,可以看到中短期车云做一体或者是加上路端的一些信息的时候,你落地的时候会遇到很多的挑战。这些挑战来自几个方向。
我们知道整车已经走到域控的阶段,过去说三个域控或者两个域控,甚至走到中央计算,就是一个域控。大家提端到端的大模型会面临这么几个挑战。整车跨域,因为这里面涉及到很多大数据的交换,大家都在提数据驱动,数据闭环,这里面涉及到很多大数据联动的问题,这是第一个挑战。
第二,在车载,因为我们做自动驾驶,无论你是车端还是云端都是在做高速的数据通信。数据通信,低延迟、可靠性都会对整车的功能,可靠性带来一些新的挑战,所以必须解决这样一个问题。
第三,很多嘉宾提到大家都在做大模型,都在做APP灵活部署,因为大家未来的功能应该是快速地灵活地能够升级和扩展。这几个方向上都带来一些新的挑战。
反过来,在车端知道车端有控制器,能够支持我们车端的算力,过去一些典型的功能都是靠车端的算力来实现的。但是实际上我们今天走到车云或者是未来走到车路云的时候,我们更多会借助云端服务器和边缘计算的基础设施,路端的基础设施,这样的方式共同地完成高等级自动驾驶功能。
对于车端来说,我们实际上需要一个完整的整车的架构,包括域控的架构。这里面提的就是域控制器软件的架构,你要有一个稳定的底座,你要有一个高速通信,和可靠的中间件,还要有一套工具链,因为你要做大模型,你在台架上或者飞车端做离线调试的时候,有各种的方法和手段,但是一旦到上车的时候,大模型、端到端的不可解释性,那些数据是不是都能记录下来,都会遇到非常多的挑战。如何在工程量产过程当中去解决这些问题?这就是我们必须在落地的时候你要解决的。
一个稳定的基础底座,一个可靠的中间件,一套完整的可视化的,可解释的工具链,是我们真正落地大模型和高等级自动驾驶必要的一个需求。
意味着整车的软件架构必须做升级,支持你的跨域、大数据、大模型,实际上大家都在提整车的SOA的架构,你新的端到端的大模型也是要在SOA架构下运行。而且还要是安全可靠的,还要能进化,大家都在提自进化,而且是未来不断地扩展。所以对软件架构提出新的需求,所以把蓝色的这几层会稍微展开讲一讲,一旦到车路云了,一旦到端到端,会对软件产生哪些新的需求?
第一,基础软件平台肯定会升级的。过去只考虑单车,不考虑云,或者只考虑单车不考虑路,那么你的整个基础软件是不行的。所以现在除了要解决过去跨芯片、跨域控制器的问题之外,我们还要解决跨应用的高效的整车通信的解决方案的问题,因为未来要跟云端做通信,跟路端做通信,不只是解决车端本身的问题。
这里面有几个技术要重点提一下。
1、车辆的消息总线。我们知道过去只解决核间通信的问题,单芯片、核间芯片,多芯片、跨芯片的问题,除了解决这些问题,还要解决大模型上车之后,你的性能分析数据,你的调试工具,包括多种通信协议。原来只是在车端自己内部做通信,现在跟云端做通信,还要跟路端做通信,未来的通信协议肯定比现在要多得多。所以整个的车辆消息总线要比原来更复杂,低延迟、可靠性要求更高。
2、整车的状态,不同车型的配置,同一车型,不同的差异性的配置,低配、中配和高配,这些车辆整个的状态表,未来你的端到端一定是要满足千人千面的,今天我们都解决的是可用,未来解决是好用,好用是什么?好用是根据用户的驾驶风格,驾驶习惯相关,绝对不是一套车辆参数。所以怎么解决千人千面的驾驶需求,你的配置参数,这些所有的东西一定都要在车端和云端能够互动去完成的,所以这是车辆状态表要解决的问题。
3、你的后期的任务的编排,大家谈得最多的是座舱,大家都在谈任务的自动编排,自动驾驶存在同样的需求,只是说今天没有挖掘更多的应用场景。一旦它跟人的喜好和行为习惯相关之后,其实会产生很多任务编排的需求。整车整个软件架构能不能支持这些东西,是非常关键的。这是一个需要考虑的东西,包括在高负载的情况下,端到端大模型一旦上车之后,负载肯定是非常高的,你在这些情况下,还能不能保证你的调度,可靠、实时,这些问题都是要解决的。这里面提出来消息总线的概念和车辆状态表的概念,解决未来车路云,车云和端到端大模型上车之后所遇到的,一定会遇到的工程化的问题,这是我们现在在做的一些实际的工作。
除此之外,一旦端到端大模型上车之后,随之而来的很多的工程化的问题显而易见,包括大数据的共享,大模型带来的不可解释性,因为在实车的时候,动作和预想不同的时候,就要分析问题,解决问题。过去有很多工具来分析过去量产中遇到的一些问题,一旦大模型上车,就必然会要求新的工具来解释这些新的问题。这里面尤其对历史数据的记忆,过去只记忆很短一段时间,你的数据结构没有那么复杂,你也没有记那么多视频的数据,一旦大模型上车,你的预测的轨迹可能都要5-8秒,你怎么能够记录这些数据,同时还要解决实车调试的问题,包括实车调试问题完了之后,你再台架回放,解决你的发放性的问题,所有这些问题都要求这套软件架构和工具支持真正高等级自动驾驶上车的问题。这里会有一些开发者工具应用的问题。时间的关系不再展开。
从智能数据总线,时空任务引擎,智能数据桥,会有很多的新的技术产生,新的需求产生,这些新的需求都要求我们用新的技术来做对应。比如说拿智能数据总线来说,我们通信策略的配置,过去也配置,但是没有这么复杂。包括高效数据共享的方式,你的参数,你的大模型参数上车至少几十亿,这些参数,包括模型之间还要交换数据,即使是two模型,两个模型,你有一些不可可视化的高维的特征,这些特征怎么存储?将来怎么查问题,怎么能够在台架上进行回放,这些东西都是高效数据共享必须解决的问题。你在开发过程当中,你还有手段,但是一旦上车量产,真正到售后,你有没有调查手段,这些都是工程化必须解决的问题。
除此之外还有专用的中间件,过去做了车端和云端互动的中间件,现在更多考虑的还有路端,包括其他的一些大模型的专用的中间件。
除此之外,我们知道任何一家供应商,或者车场完全独立地完成所有的任务挺困难的。在高等级自动驾驶落地的时候,一定是一个生态,无论跟图商合作,还是跟算法供应商合作,还是跟定位供应商合作,这里面一定有很多的合作的生态在里面。除此之外,那么你的高等级的自动驾驶,你是要功能不断扩展的,那么未来是任务是做编排,意味着未来的终端的用户也可以参与到你的整个功能的定义当中,你整个的架构怎么能够支持一个开放生态的合作,所有的这些东西都会对软件,对你的软件架构,对你的底座,对你的中间件,包括对你的商场应用都提出新的要求。我们在做的一些东西,尽可能去做服务化,同时开放我们的接口,能够满足我们刚刚所讲的大模型上车,端到端部署,这样一些工程化的实际的课题。
时间的关系,今天我只能把这些课题给大家做一个初步的阐述,实际上工作量非常多,大家都在谈大模型,实际上支撑大模型真正上车还有很多底座的技术,这里面我们是正在做的一些工作。
以上是我今天分享的主题,谢谢大家!
(注:本文根据现场速记整理,未经演讲嘉宾审阅)