深度学习技术在自动驾驶中的应用与挑战

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 深度学习技术经过近几年井喷式的发展,在很多领域都得到了广泛的应用。在自动驾驶系统中,深度学习技术也起到了至关重要的作用,同时也面临着非常多的挑战。我们一直在探索,在一个安全、稳定的自动驾驶产品中,深度学习技术应该有着怎样的作用边界,又如何能最好地发挥其优势。本次分享的主题为深度学习技术在自动驾驶中的应用与挑战,

导读:深度学习技术经过近几年井喷式的发展,在很多领域都得到了广泛的应用。在自动驾驶系统中,深度学习技术也起到了至关重要的作用,同时也面临着非常多的挑战。我们一直在探索,在一个安全、稳定的自动驾驶产品中,深度学习技术应该有着怎样的作用边界,又如何能最好地发挥其优势。本次分享的主题为深度学习技术在自动驾驶中的应用与挑战,主要包括:

深度学习技术

端到端:从感知到控制

深度学习的特点

应用策略


01 深度学习技术

image.png

深度学习技术在2012年开始爆发,由AlexNet在ImageNet数据集上达到了一个很高的分类准确率,横扫各种CV、NLP任务,在强化学习领域也大展身手,尤其擅长玩游戏,比如deepmind最近在研究打星际争霸。右边是各种网络图,大家可以参考文末的链接。


02 端到端:从感知到控制

image.png

16年的时候,英伟达研究了end to end神经网络,左侧输入左中右三个Camera的image,直接通过CNN输出转向的指令。如demo截图中,测试人员把手伸出了天窗,表示他没有操控车辆,然后车辆自动实现转向。不过这种方式存在2个隐患:
① 因为是end to end 如果出现问题,完全不知道是哪里出了问题,很难去校正模型。
② 对于转向这个指令,需要考虑的因素非常多,一些微小的场景变化就会引发不同的转向指令(如路上多了一个石块),因此,必须覆盖到所有的情况,才可以把这个模型训练的非常好,这需要海量的数据。


03 深度学习的特点

优势:

自主挖掘数据中存在的特征和模式,大幅降低人工特征工程的需求
对于定义清晰的问题,有较强的可扩展性(加数据或数据增强)

局限性:

可解释性差,可能会“放飞自我”,不太可控
算力要求较高


04 应用策略

在要求很高稳定性和安全性的自动驾驶应用中,如何发挥深度学习的优势,以及规避深度学习的弱点,我们总结了几点应用策略,这里和大家分享下:

1. 尽量应用于定义清晰的基本任务

image.png

基本任务,是指只需要回答“是什么”或者“在哪”的任务。定义清晰,是指有明确的目标或者监督信息,在强化学习语境中,就是有明确的reward function。如CV中的目标检测、图像分割等。下面分享下应用实例:

① 图像中的车道检测

image.png

Demo点击原文查看

Demo是我们用分割模型做的Ego lane drivable area segmentation;上图右侧是我们做的instance level lane marker segmentation,网络结构如图所示,它是一个encoder decoder based,然后做一个segmentation branch和一个embedding branch,最后将2个结果合起来。

② 图像中的障碍物检测

image.png

上图是一些比较有挑战的场景:拥挤的路况、远处的障碍物、雨天、穿过高架桥等。障碍物检测比较成熟,这里不再细讲,常用的算法有:

Anchor based:YOLO v1,v2,v3/SSD/Faster RCNN
Anchor free:Centernet/FoveaBox

2. 多方法融合,弥补单一模型错误,覆盖长尾场景

image.png

在实际应用中,目标检测模型难免会产生误检和漏检,如左图中的皮卡和卡车很明显就被漏掉了。另外,对于训练集少见或没见过的特殊场景,深度神经网络往往无能为力,一旦出现这种情况,往往非常危险。对应的,我们的思路是:

① 结合其他任务模型,辅助降低漏检率
image.png

比如,有另外的一个模型可以识别出可行驶区域(也就是路,除了路以外的都是障碍物),再加上我们的目标检测,就可以对之前的案例进行弥补,如上图所示。

② 结合其他传感器,多传感器融合
image.png

另一种更常用,更安全的方法就是激光雷达,进行多传感器融合,如将激光雷达投影到image,可以很轻松的建模出可行驶的道路和障碍物。

3. 拆分任务,增加模型的可解释性和可控性

image.png

将end2end模型任务拆分成更加基本定义、更加清晰的多阶段子任务,增加整体任务的可解释性,减轻模型的学习负担。同时也更加方便地利用其他算法和规则对深度学习模型的输出结果做限制,防止其“放飞自我”。
① 自车行驶路径参考线:
image.png

我们在做Planning时,我们需要做一个自己车本身轨迹的参考线,以其为参考生成最终的轨迹,并且做一些速度的规划。如果我们没有高精地图,我们可能会采用E2E approach的方法,感知到一张图片之后利用deep CNN直接生成参考轨迹(如上图最右侧),这样单独的参考线通常是不能用的。所以我们需要把任务进行拆解。
image.png

拆解:

  • 车道识别+车辆跟踪:先识别车道再识别车
  • 利用车道与车辆信息拟合路径:把车道和车放入场景中,再利用车的朝向、轨迹、速度分布以及车道线的几何形状拟合出最终的路径参考线。

这是一个更可控的方案。

② 其他车辆轨迹预测
image.png

在学术界有一些E2E approach的方法,利用深度学习模型直接预测车辆轨迹,从过去的轨迹直接预测出未来的轨迹。
image.png

我们认为更好的方式,还是进行拆分:

  • 意图预测(横向、纵向),利用RNN、CNN先做一些意图预测(左转、右转或者直行),纵向就是匀速、加速或者减速,做这种简单的意图分类,将这个问题的维度缩小。
  • 然后,利用车辆(如动力学)模型、车道信息生成平滑预测轨迹。

最后,我们还在和机器一起学习成长。今天的分享就到这里,谢谢大家。


05 参考资料

  1. https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii
  2. https://en.wikipedia.org/wiki/Deep_learning
  3. http://ml.world/2016/09/neural-network-zoo/
  4. End to End Learning for Self-Driving Cars
  5. Towards End-to-End Lane Detection: an Instance Segmentation Approach
  6. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

转载自公众号: DataFunTalk


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区近万人Spark技术同学在线提问答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

对开源大数据和感兴趣的同学可以加小编微信(下图二维码,备注“进群”)进入技术交流微信群。

image.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
6天前
|
机器学习/深度学习 人工智能 算法
深度学习在图像识别中的应用与挑战
本文探讨了深度学习技术在图像识别领域的应用,重点分析了卷积神经网络(CNN)的工作原理及其在处理图像数据方面的优势。通过案例研究,展示了深度学习如何提高图像识别的准确性和效率。同时,文章也讨论了当前面临的主要挑战,包括数据不足、过拟合问题以及计算资源的需求,并提出了相应的解决策略。
|
7天前
|
机器学习/深度学习 分布式计算 并行计算
深度学习在图像识别中的应用与挑战
本文深入探讨了深度学习技术在图像识别领域的应用,分析了当前主流的卷积神经网络(CNN)架构,并讨论了在实际应用中遇到的挑战和可能的解决方案。通过对比研究,揭示了不同网络结构对识别准确率的影响,并提出了优化策略。此外,文章还探讨了深度学习模型在处理大规模数据集时的性能瓶颈,以及如何通过硬件加速和算法改进来提升效率。
|
7天前
|
机器学习/深度学习 传感器 自动驾驶
深度学习在自动驾驶中的应用与挑战####
本文探讨了深度学习技术在自动驾驶领域的应用现状、面临的主要挑战及未来发展趋势。通过分析卷积神经网络(CNN)和循环神经网络(RNN)等关键算法在环境感知、决策规划中的作用,结合特斯拉Autopilot和Waymo的实际案例,揭示了深度学习如何推动自动驾驶技术向更高层次发展。文章还讨论了数据质量、模型泛化能力、安全性及伦理道德等问题,为行业研究者和开发者提供了宝贵的参考。 ####
|
7天前
|
机器学习/深度学习 自然语言处理 监控
探索深度学习在自然语言处理中的应用与挑战
本文深入分析了深度学习技术在自然语言处理(NLP)领域的应用,并探讨了当前面临的主要挑战。通过案例研究,展示了如何利用神经网络模型解决文本分类、情感分析、机器翻译等任务。同时,文章也指出了数据稀疏性、模型泛化能力以及计算资源消耗等问题,并对未来的发展趋势进行了展望。
|
7天前
|
机器学习/深度学习 算法 TensorFlow
深度学习在图像识别中的应用
【10月更文挑战第39天】本文将探讨深度学习技术在图像识别领域的应用。通过介绍深度学习的基本原理,我们将了解到其在图像处理中的强大能力。文章还将展示一个简单的代码示例,用于实现一个基本的图像分类模型。最后,我们将讨论深度学习在图像识别中的未来发展趋势和挑战。
11 0
|
10天前
|
机器学习/深度学习 人工智能 测试技术
深度学习在图像识别中的应用与挑战
本文探讨了深度学习技术,尤其是卷积神经网络(CNN)在图像识别任务中的最新进展和面临的主要挑战。通过分析不同的网络架构、训练技巧以及优化策略,文章旨在提供一个全面的概览,帮助研究人员和实践者更好地理解和应用这些技术。
42 9
|
16天前
|
机器学习/深度学习 人工智能 监控
深度学习在图像识别中的应用与挑战
本文探讨了深度学习技术在图像识别领域的应用,并分析了当前面临的主要挑战。随着卷积神经网络(CNN)的发展,图像识别的准确性和效率得到了显著提升。然而,数据不平衡、模型泛化能力、计算资源消耗等问题仍然是制约深度学习在图像识别领域进一步发展的关键因素。本文将详细介绍深度学习在图像识别中的应用案例,并讨论解决现有挑战的可能策略。
|
8天前
|
机器学习/深度学习 人工智能 计算机视觉
深度学习在图像识别中的应用与挑战
【10月更文挑战第38天】本文将深入探讨深度学习如何在图像识别领域大放异彩,并揭示其背后的技术细节和面临的挑战。我们将通过实际案例,了解深度学习如何改变图像处理的方式,以及它在实际应用中遇到的困难和限制。
|
9天前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第36天】探索卷积神经网络(CNN)的神秘面纱,揭示其在图像识别领域的威力。本文将带你了解CNN的核心概念,并通过实际代码示例,展示如何构建和训练一个简单的CNN模型。无论你是深度学习的初学者还是希望深化理解,这篇文章都将为你提供有价值的见解。
|
10天前
|
机器学习/深度学习 算法 数据处理
深度学习在图像识别中的应用与挑战
本文深入探讨了深度学习技术在图像识别领域的应用,分析了其背后的原理、主要算法以及在实际场景中的应用效果。同时,文章也指出了当前深度学习在图像识别领域面临的挑战,包括数据不平衡、模型泛化能力、计算资源需求等问题,并展望了未来的研究方向。