轩辕智驾邓行在2023汽车半导体生态峰会上分享红外热成像技术在智能驾驶领域的应用和前景展望
摘要:什么是红外热成像技术呢?自然界中一切温度高于绝对零度的物体都能辐射红外能量,比如现在在场的所有人和物体,都有热辐射在对外辐射,它也是一种被捕捉的方式。
以“链启芯程 · 智造未来”为主题的“2023汽车半导体生态峰会暨全球汽车电子博览会”,由广东省工业和信息化厅、深圳市工业和信息化局、中国能源汽车传播集团指导,《中国汽车报》社主办,爱集微承办,于2023年9月26日至27日在深圳福田会议中心隆重召开。
本届峰会坚持行业领袖峰会的高端定位,全面助力产业间深度融合与创新,推动上下游产业链伙伴携手合作,共同构建具有全球竞争力的汽车科技创新新生态。
峰会现场,多领域、多视角开展的20场特色活动,囊括主峰会、技术研讨、项目路演、专业展览、交流盛宴等,汇聚政、产、学、研、用、投等多个产业圈层,围绕全球及中国汽车半导体产业热点展开交流,峰会重点聚焦新技术、新趋势,深入剖析汽车半导体各细分领域的发展机遇和挑战,近百个精彩纷呈的演讲,共同呈现出一幅专业而全面的思维图景。
其中,在9月26日举办的“感知专场”, 武汉轩辕智驾科技有限公司产品总监邓行做了题为《红外热成像技术在智能驾驶领域的应用和展望》的精彩演讲。以下内容为现场演讲实录:
邓行:非常感谢主办方的邀请,我给大家分享一下红外热成像技术在智能驾驶领域的应用和展望。
武汉轩辕智驾科技有限公司产品总监 邓行
什么是红外热成像技术呢?自然界中一切温度高于绝对零度的物体都能辐射红外能量,比如现在在场的所有人和物体,都有热辐射在对外辐射,它也是一种被捕捉的方式。我们的产品原理就是将红外热成像转化成电信号,经过图象处理形成2D的可见热像图,并且反映出物体表面的温度和分布的状态。
这是红外热成像产品的功能和应用。红外热成像的主要特点是全时感知,它在夜间无光、对向眩光、光线突变的环境下依然是可以正常成像,它是属于对外界物体温度的检测,不受光线的影响,尤其是再也见环境和对向眩光的环境,这是它最大的特点。
这是在全天候场景的应用,因为它是8到14微米的波长,属于长波的红外。它的波长是大于可见光,大气穿透能力更强,在雾霾的天气条件下依然可以清晰成像,解决了普通可见光传感器在这种环境下的痛点。
根据专业的机构统计,全国每年因为夜间的交通事故和雾天的交通事故伤亡的人数是非常高的。我们的产品的主要特点就是可以解决在夜间驾驶、恶劣天气、光线突变的情况下,解决驾驶员视野受影响,通过我们的设备提升驾驶员的视野,可以有效预防事故的发生。
这是我们的解决方案的系统构成,它通过10万像素和30万像素的摄像头,加上一个控制核,进行预警。右下角是我们的产品工作状态,它可以通过对人和车辆的检测,通过预警的方式给到驾驶员提醒。
这是我们跟其它传感器的对比,我们的红外热成像传感器不是要替代可见光、雷达、毫米波雷达的产品,而是作为这几个传感器的冗余和补充。在空间分辨率和穿透能力方面它都不是最强的,属于中间阶层,但是它可以有效弥补夜间的眩光、低照度、雨雾雪天气下的功能失效问题。
这是我们跟可见光传感器在不同场景下的对比,包括阴天、白天、早高峰、晚高峰、隧道、环岛的对比。包括在雨天、夜晚,可见光对雨珠的折射,对前面的成像有很大的影响,而我们的红外依然是可以成像的。
这是我们在智能驾驶领域的应用,在多传感器里面主要是做红外的行人检测、车辆检测。
红外热成像应用的发展历史。从2000年开始,国外已经有厂商推出红外热成像,当时在BBA这种高端的车型上才会匹配。到了2022年,红外热成像国产化以后,国内的很多自主品牌发现了这种产品的价值,也就有了更多的应用。
这是行业的调研,预测到2024年搭载红外热成像产品的车辆将超过50万台。
说到红外热成像,就介绍一下我们的母公司。我们的母公司高德红外集团,是规模化从事红外核心器件、红外热像仪、大型光电系统研发、生产、销售的高新技术上市公司,目前在全球的红外热成像市场排名第二位,第一名是美国的菲力尔(FLIR)。我们的年销售额超过32亿,公司是1999年成立的,有24年的发展历史,并且集团有4000名员工,研发占比超过60%,集团市值400亿,在A股主板上市,拥有核心的MEMS洁净厂房2万平方米,占地200余亩。
轩辕智驾是高德红外的子公司,我们从2016年开始专注于汽车高级辅助驾驶系统和智能座舱两大品类。我们最早是做军工产品的,包括夜视枪瞄、导弹跟踪的技术,后来我们发现这个产品应用在车载领域也是很有前景和推广价值的,它可以提升夜间、低照度的视野,解决黑夜、雾霾、强光、眩光的复杂情况,所以我们就成立这样一个公司来推广这个产品。
这是红外热成像的发展历程,第一代在2015年推出,用的还是国外的进口探测器,到现在第四代产品,我们自研晶圆PLCC封装,体积做到和可见光摄像头大小差不多。它的尺寸越来越小,越来越轻量化,更便利于主机厂的安装和使用。随着探测器的集成度提高,它的成本也越来越低,性价比有很大的提升。
这是我们的红外算法的介绍,我们通过传感器输入一个图像,神经网络特征提取,对数据霍去病处理,然后输出一个碰撞预警功能。我们的产品可以对超过120米的车辆、超过90米的行人检测,误差小于5%。
这是我们目前产品的指标,包括智能算法的两个核心指标:目标检测、目标跟踪,对人可以达到97%,对车可以达到95%,包括检测率、召回率、跟踪精度,都是跟可见光基本接近的。红外热成像和可见光属于两种不同场景的传感器,可见光在白天的指标更好,红外热成像这边是属于全天候场景下的指标。
这是我们的算法数据库的样本规模,做算法离不开数据量,数据累积得越多,精度、能力肯定是更强的。目前我们总共有158万帧的数据,人有120万、车有150万,此外我们也做了动物的检测,我们做了50万的样本,包括骑行人有50万、动物30万,包括其它异形的车辆有20万的标注。
红外是对温差的感知,它对天气的要求是很高的,我们的数据在晴天占50%,多云、雨天、雾霾天等不同的环境下都有采集数据,它的泛化能力还是很强的。
这是我们公司的核心能力,我们是具有完全可控自主知识产权的红外探测器批产线。我们目前的洁净厂房有2万平米,核心设备400余套,有4台8英寸的光刻机、2台ASML的光刻机。我们全面掌握了读出集成电路设计与仿真、MEMS设计与加工、MEMS封装测试及应用的全套技术,年产能可达千万只,低成本可广泛普及应用,同时我们的产品通过了德国的专业认证,在质量方面也是有保证的。
这是我们的红外标准的建立。因为我们在红外领域做得比较早,时间比较长,现在包括《乘用车夜视系统性能要求及试验方法》《汽车用被动红外探测系统》的标准都是我们建立的,《乘用车夜视系统性能要求及试验方法》这个标准已经通过了评审,在年底就会发布。右边这个是我们为了配套车厂的制造能力做的自动化车载产品线,这也是国内首个红外自动化生产线。
这是我们的合作成功案例,第一个是东风猛士,该车型全系标配了红外夜视摄像头,今年7月底已经做了成功的SOP。
第二个是广汽埃安,昊铂车型搭载了我们的红外摄像头,这个产品是今年8月底SOP的。
这是商用车的应用案例,我们跟百度旗下干线物流品牌DeepWay合作,它用我们的红外探测器去做L3甚至L4的自动驾驶。
这是红外热成像的应用展望,其实红外热成像在国外很早就有应用,国外的出货量目前有上百万,包括今年NCAP在美国也强制提出对夜间场景行人、车辆的识别要求,红外的能力可以更好地匹配它们的要求。
红外还可以做目标检测跟踪、报警决策、语义分割、车道线检测、双光融合,以及跟SDK的适配,加一个控制核做应用,可以做ARM+GPU的部署,ARM+NPU部署,以及单ARM方案,我们和华为、英伟达的平台都做了适配,可以满足不同应用场景的需求。
这是红外的应用场景,通过红外和可见光的融合,实现全天候场景对道路的识别,双目融合有一个高程信息,对路面的坑道或者减速带都会有检测,通过检测反馈之后对悬架进行自适应调节,对行车进行更舒适的保障。
这是我们的智能座舱的应用,因为红外的测温原理,它对车内热源的感知,可以做空调的智能调节,包括上车前提前调整车内的环境,根据驾乘人员的表面温度变化进行空调自适应的调节,以及通过对车内各个温度点的实时监控,对车内的空调开关,对整车进行节能增效。现在新能源车要省一度电,它可以跑很长的公里数。此外可以实现人体检测、儿童移动保护等功能。
这是红外在SLAM(即时定位与地图构建)中的应用,尤其是在地库环境下,有些地库没有网络,可以通过红外建图进行定位导航。
这是多模态传感器的数据融合,通过一个深度纹理的特征融合,增强重建网络,相当于对产品进行一个更加精确的定位。
这是BEV空间特征建构。BEV现在都是可见光的方案,我们希望通过红外增加一维的感知信息,形成更加精确的判断。
这是双光融合,主要是弥补可见光在进出隧道或者是比较恶劣环境下,以及低照度环境下的功能失效问题,提高感知精度,增强检测的能力。
这是双目的立体融合,通过两个红外、两个可见光形成稠密的点云深度图,形成高精度的探测,它就会有一个距离信息,这时候对AEB的功能判定就会更有帮助。
这是我们最终的方案,做一个多传感器融合,通过红外和可见光、激光雷达、毫米波、超声波做一个融合,有效地弥补其它传感器在非常规天气下的功能失效缺陷,有效提高行车的安全等级,这是我们和广汽埃安正在合作的一个项目。
目前自动驾驶已经推广到L3的应用,做到L3之后,对传感器的要求会更高。红外热成像技术也是希望作为自动驾驶传感器里面的一个不可或缺的部分,推进智能驾驶的技术革命。
责任编辑:苏城
-
顺络电子赵基界在2023汽车半导体生态峰会上揭示智能座舱和自动驾驶解决方案
-
航盛电子杨洪在2023汽车半导体生态峰会上指出,汽车软件将引领重大产品结构变革
-
豪威李鹏飞在2023汽车半导体生态峰会上呼吁拓展高性能模拟IC设计领域
-
科锐国际成为安徽省新能源汽车产业全球高层次人才服务合作伙伴
-
双节出游首选揽境开启,一家人畅享满意的旅程
-
全球可持续交通高峰论坛取得丰硕成果,推动绿色出行新未来
-
云南交投实践推动综合交通可持续发展,倡导绿美通道经济
-
东软集团李东阳在2023汽车半导体生态峰会上呼吁探索软件融合汽车产业,实现增量发展
-
美国零部件供应商紧急呼吁拜登政府援助,共同抵御罢工的影响
-
宝骏云朵灵犀版登场,超值起售价12.58万元
网友评论