首页 > 资讯 > > 正文

大模型在自动驾驶业务场景应用与发展

来源:盖世汽车快讯 2023-08-05 11:40:01

谢谢各位。我今天的主题是大模型在自动驾驶业务上的应用与发展。因为我在英伟达的话主要是负责互联网行业,支持一些客户,所以说我对大模型其实有非常深的一个认识。


(资料图片)

其实在三年前,我们就一直在跟客户讲,就是说大模型是未来的一个趋势。我们会需要用到更大的算力,去训练这模型的业务场景。当然,站在客户的角度上来想这个事情,大家都认为就是说我这边是为了卖更多的GPU卡,更高的营收。这方面的因素当然会有,但是其实更重要的一个场景,我们能看到在一些垂直领域, AI的整个能力其实是有一些比较好的效果,但是更多的,在一些行业的应用中其实并没有达到像人这样去思考的能力,所以说我们认为想要未来大模型做到更复杂的事情,就需要对它进行什么打磨。

这张图里,我们可以看到大模式的发展趋势,从2017年到2022年,在自然语言理解的应用领域内,从最早的BERT到Transformer Face的语言模型,可以看到在这5年里,模型的规模在不断地增加,然后AI在相应的一些应用场景里,它的理解能力或者它的效果有一个非常显著的变化。你可能会有一些印象,大概在三五年前,网上视频里能看到有个人坐在车里边,然后跟车去做一些交互,说导航到一个地方,他说了非常多遍,但根本就识别不到。而在今天,这种场景我相信都不会再存在了,因为我们有更强的AI模型,有更高的精度,能给人们带来更好的体验,这个只是在NLP就是自然语言理解的这个领域。在其他领域的话,它其实是一样的模式,一样的发展方向。比如说在CV领域,在某些特定的细分领域内,用限额算法是可以取得非常好的效果。但是随着领域的变化或者是数据的变化,其实整个效果的话可能就不会像原来在这个细分领域内的效果那么好,所以说我们需要用到大模型的一些方式,或者用更多的数据,来去做这样的事情。

想要做好大模型,我认为的话主要有个点。第一点是类似于Transformer的一些模型结构,能让模型变得更加复杂,从而它的有效智能可以带来更好的收益。然后这个是第一个。第二个的话是数据,数据是非常关键的,我们在跟客户的交流过程中,大家都提到过相同的问题,就是数据对于模型训练是至关重要的。我们需要用到更多的数据,或者是用一些多模态的数据,来去训练大模型的业务,才能实现更多的一些业务场景。第三点就是平台层面的规划,因为目前的业务最终要落在真实的业务场景里边。在训练端的话用集群的方式去构建一个分布式的系统,去做大模型的训练,才能有一个比较好的训练速度,更好地去迭代,让大模型的应用能有一个更好的效果。

这么大的一个模型在应用端去做应用,肯定成本会非常高。以NVIDIA的角度来考虑这个事情的话,其实我们也希望把大模型Inference的应用成本的话给它加上来。主要通过的手段可能第一,我们会针对大模型的业务产品持续去做Inference的优化,让相关的一些模型可以跑在更低的平台上去应用。然后第二点的话,因为GPU的类型很多,基于NVLink的GPU用于分布式训练,也可以基于一些PCIE类型的GPU承担大模型推理的一些业务场景,在大模型业务场景中达到一个非常好的性价比。

从总体上来看的话,我们认为大模型可能是未来的一个趋势。下面是我针对于自动驾驶这个行业说说跟AI相关的一些业务场景,然后从这些场景里边,我们可以看到哪些业务场景会应用到大模型,并取得一个比较好的一个效果。AI在自动驾驶这个场景里,或者跟汽车相关的场景主要分为这三类。第一个的话就是在工厂端,我们可以通过一些AI算法,进行质量检测,通过这种自动化的方式,来提升检测的效率,取得比较好的效果。第二个的话就是在一些车载娱乐系统里,像智能座舱。我们可以通过智能座舱,把人跟乘客以及外部互联起来,做更多的沟通,然后产生更多的价值。第三个的话就是今天所看到的自动驾驶这个业务场景,它也是我们最早在汽车领域去做的一个方向。整个自动驾驶其实是一个闭环,同时的话它是一个不断迭代,不断循环的过程。从前期的数据采集到数据打标,包括地图的信息,包括把所有收集到的数据,放进GPU的集群里面去做训练,到后端一些自动驾驶相关的业务场景里,比如成像、自动泊车、智能交互。这就意味着我们需要根据用户包括我们自己的反馈,不断去迭代,不断去进化。以这整个过程来说是需要非常强大的算力的,而且非常需要持续投入、持续开发。

刚才提到智能驾驶是一个非常复杂的场景,所以各部分因素都要被考虑进我们的自动驾驶业务中,每一个业务产品就代表了一个 AI算法。那么未来的话我们是不是可以把一些业务通过一个通用的模型,把它们融合在一块,给车提供更多的智能服务。这个当然的话也是在探索中,但现在来看的话,每一个业务层面或者是说每几类的业务,都需要一个不同的AI模型来去做这样的事情。

这个是智能座舱,刚才提到就是说智能座舱是自动驾驶以外,另一个对AI需求比较高的业务方向,且目前来看是与大模型结合的最多的,因为智能座舱工作的时候,我们可以通过云端的资源,来提供相关的一些服务。因为现在车端大模型业务的模型非常大,很难在车上去运用,而智能座舱的业务层面对实时性要求不是那么高,可以通过这种云端提供服务,然后去更好地利用大模型项目的一些技术,更好地给乘客提供相关的 AI服务,有更好的体验。

另外,除了刚才所提到的两个业务场景的话,其实在汽车领域的话还有非常多的业务场景跟AI是相关的,或者是说我们可以通过AI的方式去做的一些事情。包括前面说的,客户的体验就是跟智能座舱相关的,另外的话就是车跟人以及传感器的这种互联也可以通过AI的方式来进行。第三个是关于工厂的。大概两年前,我们发布了Omniverse模式,通过Omniverse模式做工厂数字化,然后通过数字化的工厂的来提升工厂的生产效率,包括一些规范。第四个的话涉及一些汽车设计,这个更多的是跟SPC相关。现在的SPC的一些应用也跟AI做了非常多的融合,这样的话我们可以通过 AI的方式,更快速地去设计汽车。最后两个的是辅助应用,比如说在一些金融、源头市场,可以通过AI的方式提供更多、更好的服务。

这张大概总结了一下,目前在自动驾驶里应用到大模型相关的一些业务场景。这些业务场景的话主要还是LLM即自然语言理解的一些业务场景,包括客户的一些体验。数据显示,订阅价值为1,0000美元的AD的客户数量达上百万,路上有多达5亿辆车链接了车内交互服务。然后是一些服务类的场景,像刚才提到就是说通过大模型的方式取代人来提供客服的服务,这个其实现在来看的话是一个非常成熟的业务场景,有比较好的效果。然后还有Chat Bot,就是通过一些智能语音的方式控制车辆。以及Knowledge Base等,就是在工作中的话我们可以通过大模型提升工作效率。

汽车大模型的话刚才提到就是说除了应用端,很多客户关心怎么真正地去应用,或者是说我原来没有一个基础的话,怎么才能快速地在我的业务产品里应用大模型。NVIDIA对于GPU市场提供了丰富的开发环境,包括一些工具可以帮助客户拥有快速的构建大模型的能力,包括从数据的准备起整个的AI开发过程。我们有一整套完善的工具链,可以非常方便高效地帮助客户快速构建数据集。我们在NGC上也提供一些预训练模型,客户可以基于相关的模型使用自有数据集信息进行训练,支持特定垂直领域的业务场景。

针对券商我们有相关的一些模型框架,可以更好地去提供服务给客户。因为其实在大模型出来之前,或者说在去年,其实只有非常少的客户有分布式集群的经验,来去做大模型训练。绝大部分的客户并不具备分布式训练的能力。NVIDIA在两三年前其实就已经开始做相关的研究,包括优化,所以可以提供很多与分布式集群相关的技术,客户可以直接拿过来用,不用关心底层,包括框架层面的一些优化,就能取得非常好的效果。

然后第三个的话就是当你从头开始训练一个模型,可能需要刚才提到的非常多的一些数据集,需要构建一个非常大的集群,还需要各种各样的投入来去管理集群。我们可以提供给客户一些优化好的模型,而客户可以基于这个模型做一些翻退。在Inference端,我们也提供各种各样的工具,让客户在端上去运行Inference的应用。最后是部署,总的来说NVIDIA能提供从最初的数据收集到最后端到端的部署这种整合方案给客户,帮助客户快速具备大模型的能力。除了这个刚才提到的软件层面的服务,NVIDIA从最底层的硬件到最上层的业务系统,每一个层面的都能提供相关的一些技术支持,或者是免费的软件套件,能帮助客户快速地构建自己的AI能力。

最后的话我就是想借用Jensen的一句话做一个总结——“未来的生成式AI、大模型以及推荐系统式是现代经济的一个引擎”。现在各个行业都在探索大模型,因为大家都认识到大模型的能力,觉得它会像人一样,或者是说人类研发AI的一个主要目的,就是我们希望设计一个算法,并使它能像人一样去思考。ChatGPT出来以后,人们看到这个方向是可以走得通的,所以现在各个行业都在做一些这种探索,希望把AI的方式部署到行业的应用上,提升整个行业或者是应用的效率,取得比较好的效果。

谢谢各位。

x
推荐阅读

大模型在自动驾驶业务场景应用与发展

2023-08-05 11:40:01

宜城制梁场首榀箱梁下线 襄荆铁路建设再提速

2023-08-05 11:14:31

世界奶业大会在呼和浩特开幕

2023-08-05 10:23:35

坚决打好防范应对台风这场硬仗丨河南87支退役军人救援队驰援河北

2023-08-05 09:46:09

中国公民接连在枪击案中受伤,我总领事约见新西兰大奥克兰地区警督

2023-08-05 08:47:25

核磁共振意外险报销吗?怎么报销?

2023-08-05 07:44:19

成长之路书香相伴

2023-08-05 06:56:13

重庆通报事业单位招考作弊案

2023-08-05 05:22:24

迪马:热那亚接近签下尤文中卫德温特,租借+强制买断1000万欧

2023-08-05 02:43:44

智力迟缓的“数学天才”,刷新很多人的认知,孩子父母决定这样做

2023-08-04 23:39:02
相关新闻

大模型在自动驾驶业务场景应用与发展

2023-08-05 11:40:01

宜城制梁场首榀箱梁下线 襄荆铁路建设再提速

2023-08-05 11:14:31

世界奶业大会在呼和浩特开幕

2023-08-05 10:23:35

坚决打好防范应对台风这场硬仗丨河南87支退役军人救援队驰援河北

2023-08-05 09:46:09

中国公民接连在枪击案中受伤,我总领事约见新西兰大奥克兰地区警督

2023-08-05 08:47:25

核磁共振意外险报销吗?怎么报销?

2023-08-05 07:44:19

成长之路书香相伴

2023-08-05 06:56:13

重庆通报事业单位招考作弊案

2023-08-05 05:22:24

迪马:热那亚接近签下尤文中卫德温特,租借+强制买断1000万欧

2023-08-05 02:43:44

智力迟缓的“数学天才”,刷新很多人的认知,孩子父母决定这样做

2023-08-04 23:39:02

良心记者冒死拍摄的视频,被删了

2023-08-04 22:17:13

深圳提出:到2025年新能源汽车年产量超200万辆

2023-08-04 21:19:45

玲珑轮胎(601966.SH):未来规划从长春基地通过铁路直接出口俄罗斯

2023-08-04 20:37:09

北京长寿保健品有限公司是正规公司吗(北京长寿保健品有限公司)

2023-08-04 19:55:01

参考视频 | 海外运动员迷上大熊猫:“希望它能给我带来好运”

2023-08-04 18:59:36

幸福来敲门 青岛绿地国科小镇完成第四次交付,喜迎兰亭郡业主归家

2023-08-04 18:24:58

海南抽检发现13批次食品不合格 涉及11市县

2023-08-04 17:44:24

成都大运会 | 大运会参赛代表团在成都圆“大熊猫梦”

2023-08-04 17:04:48

迦南智能股东户数增加6.94%,户均持股7.6万元

2023-08-04 16:43:10

反渗透纯水设备适用行业有哪些?中水环保这里给你整理好啦!

2023-08-04 15:50:58

新款哈弗大狗“降价”上市,进一步强调性价比?

2023-08-04 15:24:23

72v32a是什么意思(32A是什么意思)

2023-08-04 14:54:56

二十七军(关于二十七军的基本详情介绍)

2023-08-04 13:52:13

砸下75亿,还未投产就破产,这家央企的薄膜电池梦碎了一地

2023-08-04 13:23:07

市规划自然资源局大力推进“中心城区轨道站步行便捷性提升” 76.9万市民将步履轻松到达轨道站

2023-08-04 12:43:10

存量房贷款利率如何调整?央行表态:指导银行依法有序调整

2023-08-04 11:45:51

蔡守秋(关于蔡守秋简述)

2023-08-04 10:58:43

万里扬: 截至2023年7月31日,公司股东人数为32,628人

2023-08-04 10:57:53

出国必备物品礼品清单(出国必备物品)

2023-08-04 10:18:23

2023年西藏养老金调整细则公布~2023西藏退休养老金上调方案具体内容(全文)

2023-08-04 09:51:09

张振丰督查杭温高铁建设:提速攻坚确保项目如期建成投用

2023-08-04 09:11:57

万豪国际Q2总收入60.75亿美元;万达文化集团更名为万达文旅集团;杭州拟投资367亿元引入恐龙园、国际度假酒店等项目|迈点早报

2023-08-04 08:56:39

经常口腔溃疡怎么办 经常口腔溃疡

2023-08-04 08:20:37

到2025年底,上海将创建停车资源优化项目100个,开工建设公共停车位15000个

2023-08-04 07:18:10

上半年我国机器人产业总体保持稳定增长态势

2023-08-04 06:05:35

瑜伽瘦腰计攻克水桶腰(水桶腰太丑了练习瑜伽之后)

2023-08-04 04:19:12

2020年情人节是几月几号(2020年情人节在几月几日)

2023-08-03 22:48:25

6 年亏超 40 亿,AI 芯片第一股寒武纪裁员过冬

2023-08-03 22:06:41

安卓星(关于安卓星简述)

2023-08-03 20:55:38

国际友人走进中医药博物馆 体验中医药文化与魅力

2023-08-03 20:59:37

1600字带你看惠阳区委六届五次全会报告重点

2023-08-03 20:12:34

3天1板慧博云通:近期公司经营情况及内外部经营环境未发生重大变化 将于8月30日披露2023半年报

2023-08-03 19:09:34

普华科技拟投资1200万设立控股子公司北京普华思维数字科技有限公司 持股60%

2023-08-03 18:37:35

联赢激光:公司环形光班光纤激光器主要优势在于通过利用中心光斑的高光束质量的穿透能力和环光的预热缓冷作用,能够提升焊接后的表面成型质量,减少内部气孔缺陷,降低飞溅等

2023-08-03 17:52:31

塔河生态输水由“急行军”变“阵地战”

2023-08-03 17:32:07

走!去看场大运比赛

2023-08-03 17:14:44

海口市社保参保办理指南

2023-08-03 16:38:46

森赫股份08月03日主力大幅流出

2023-08-03 16:05:21

国产高性能接口IP全方位赋能是如何迎接Chiplet与AI大市场

2023-08-03 15:09:01

金观平:改革薪酬制度激发创新活力

2023-08-03 14:42:06

腐植酸钠商品报价动态(2023-08-03)

2023-08-03 14:00:42

华福证券:到2025年虚拟电厂运营市场规模或将在百亿元级别

2023-08-03 12:53:18

西藏民航7月旅客吞吐量创历史新高

2023-08-03 12:06:31

(成都大运纪事)12秒98完美首秀 吴艳妮预赛第一晋级半决赛

2023-08-03 11:43:55

南方号7月排行榜发布!

2023-08-03 11:15:11

上半年能源工程建设提速加力

2023-08-03 10:48:04

浙商银行信用卡有透支次数限制么?

2023-08-03 09:40:00

一则45亿的“谣言”背后

2023-08-03 09:03:45

181家A股公司发布上半年业绩 电网设备赛道表现亮眼

2023-08-03 09:04:16

科乐美注册《搏击玫瑰》商标 美女摔角手们或将回归

2023-08-03 07:59:57

发挥新型城镇化内需潜力

2023-08-03 07:25:51

水利水电工程标准施工招标文件:技术标准和要求 关于水利水电工程标准施工招标文件:技术标准和要求介绍

2023-08-03 06:12:14

“室温超导”席卷A股,多家公司涨停,上市公司紧急回应无相关业务和技术

2023-08-03 05:10:18

181家A股公司发布上半年业绩 电网设备赛道表现亮眼

2023-08-03 01:31:47

BBC记者确认曼城9000万欧敲定格瓦迪奥尔,曾反驳罗马诺报道

2023-08-02 22:49:05

湖南中欧班列再添新线路

2023-08-02 21:57:45

突发!新加坡航空将暂时停航成都航线,美交通部批准增加中美航班

2023-08-02 21:03:22

PUBG MOBOLE 绝地求生 新手入门攻略 新手玩法技巧分享!

2023-08-02 20:20:54

8月2日17时宁波防台风应急响应提升至Ⅲ级

2023-08-02 19:49:33

国际移民组织:苏丹武装冲突致超过37万人逃往乍得避难

2023-08-02 18:49:36

赛为智能:公司在“MR“(混合现实技术)领域没有布局

2023-08-02 17:55:09

7月份蔚来es6销量破万 系首次单一车型月交付量破万

2023-08-02 17:43:34

中国国家男子足球队原主教练李铁被提起公诉

2023-08-02 16:52:18

宝钢包装:获得政府补助525.7万元

2023-08-02 16:30:11

Windhorst:阿泰斯特是极少数身体素质能跟詹姆斯对上的球员

2023-08-02 15:52:33

「扬子零度角」在世界进步的洪流中迈着小碎步

2023-08-02 15:28:36

刀刃向内补短板,提质增效拒“躺平”

2023-08-02 15:00:32

台风转向日本:21万户居民停电,车库被吹塌压死居民

2023-08-02 14:27:26

63岁房东多次擅闯男租客房间,上一个租客已因房东不退租金而在法院立案

2023-08-02 13:48:48

从天才童星到被封杀,她可惜吗?

2023-08-02 13:06:56

黑龙江省气象台发布暴雨红色预警信号

2023-08-02 12:13:17

测绘股份:南京高投累计质押股数为2660万股

2023-08-02 11:44:00

4名学生下河游泳溺亡 知情人:为庆生,其中还有一对双胞胎兄弟

2023-08-02 11:10:23

“格斗孤儿”,冲出八角笼

2023-08-02 10:54:44

智洋创新:8月1日融资买入191.06万元,融资融券余额4052.43万元

2023-08-02 10:15:56

朔州市领导分赴各地开展“八一”走访慰问活动

2023-08-02 10:06:19

超导概念股继续活跃 法尔胜、中孚实业开盘一字涨停

2023-08-02 09:39:35

iris2韩剧解说 iris2

2023-08-02 09:00:38

致远互联:云平台入选信通院《高质量数字化转型产品及服务全景图(2023)》

2023-08-02 08:55:22

绳锯木断水滴石穿的意思是什么(绳锯木断水滴石穿的意思)

2023-08-02 07:55:15

南宁世纪君悦大酒店_广州富力君悦大酒店电话

2023-08-02 07:06:21

发挥赛事经济的乘数效应

2023-08-02 05:55:48

王莎莎的男朋友张耀 王莎莎的男朋友

2023-08-02 03:02:58

三棱柱体积计算公式(什么叫直三棱柱什么叫正三棱柱)

2023-08-02 00:51:25

网红女足,输在乏味

2023-08-01 22:47:59

BLG败给LNG后,牙膏采访认错:我打得太差!Tabe承认:BP没做好

2023-08-01 22:03:44

传神语联定向发行2910万股股份 募资总额1.6亿

2023-08-01 20:57:53

晚间公告丨8月1日这些公告有看头

2023-08-01 20:37:34

恒大汽车专割大佬韭菜

2023-08-01 19:54:54

csgo虚拟开箱体验网站有哪些 最火的五款csgo虚拟开箱平台

2023-08-01 19:14:53