论文 6:BOAT: Bilateral Local Attention Vision Transformer
- 作者:Tan Yu、 Gangming Zhao、 Ping Li 等
- 论文链接:https://arxiv.org/pdf/2201.13027v1
摘要:在这项研究中,来自百度研究院和香港大学的研究者重新思考了局部自注意力机制,提出了特征空间局部注意力(feature-space local attention 或简称 FSLA)。这种局部注意力从图像内容出发,把特征相似的 token 聚成类,并且只在每类特征的内部计算自注意力,相比全局自注意力显著降低了计算量,同时基本保留了原始的全局自注意力机制对远距离特征依赖的建模能力。
为了将特征空间局部注意力与图像空间局部注意力相结合,本文作者进一步提出了双边局部注意力 ViT (简称 BOAT),把特征空间局部注意力模块加入到现有的基于窗口的局部注意力视觉 Transformer 模型中,作为图像空间局部注意力的补充,大大提升了针对远距离特征依赖的建模能力,在几个基准数据集上的大量实验表明结合了特征空间局部注意力的模型明显优于现有的 ConvNet 和 ViT 模型。
BOAT 架构示意图。
BLA 快架构图。
算法 1:平衡二进制聚类。
推荐:引入特征空间,显著降低计算量:双边局部注意力 ViT 性能媲美全局注意力。
论文 7:Too Afraid to Drive: Systematic Discovery of Semantic DoS Vulnerability in Autonomous Driving Planning under Physical-World Attacks
- 作者:Ziwen Wan、Junjie Shen、Jalen Chuang 等
- 论文链接:https://www.ndss-symposium.org/wp-content/uploads/2022-177-paper.pdf
摘要:如今,高等级自动驾驶(AD)车辆,即在大多数情况下可以在没有人类驾驶员的情况下自动驾驶的车辆,已经公开上路。一些公司,如 Waymo、百度、GM Cruise,也已经在提供没有安全驾驶员公共服务。在大规模部署之前,了解此类系统中可能存在的安全风险非常重要。典型的自动驾驶系统具有传感、规划和控制步骤。传感步骤使用不同的传感器(例如,相机、激光雷达、GPS)来了解周围环境。规划步骤根据周围环境生成驾驶轨迹。规划将为自动驾驶车辆做出关键任务决策,例如避免碰撞、变道。控制步骤将为车辆生成控制命令,使其可以完成计划的轨迹。
先前的工作研究了在各种物理世界攻击下感知的安全风险,例如传感器欺骗或设计具有恶意外观、纹理或形状的对象。在这项工作中,我们完成了第一个特定于规划的安全分析。我们想研究攻击者是否可以通过简单地以正常方式改变周围环境(例如在另一条车道上驾驶另一辆车,或将常见物体放置在车道外)来将规划决策变为意想不到的决策。
自动驾驶规划语义 DoS 漏洞的问题定义。
Planfuzz 系统设计总览。
Autoware.AI 车道行驶的语义 DoS 漏洞以及可能带来的追尾。
推荐:畏首畏尾的自动驾驶安全风险:自动驾驶规划中语义 DoS 漏洞系统化分析。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括NLP、CV、ML领域各10篇精选,并提供音频形式的论文摘要简介,详情如下:
10 NLP Papers音频:00:0019:14
本周 10 篇 NLP 精选论文是:
1. Efficient Training of Neural Transducer for Speech Recognition. (from Hermann Ney)2. On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model. (from Kyunghyun Cho)3. ICDBigBird: A Contextual Embedding Model for ICD Code Classification. (from George Michalopoulos)4. $G^2$: Enhance Knowledge Grounded Dialogue via Ground Graph. (from Yang Gao)5. Embedding Knowledge for Document Summarization: A Survey. (from Jian Yang, Xindong Wu)6. Query2Particles: Knowledge Graph Reasoning with Particle Embeddings. (from Hongming Zhang)7. Persona-Guided Planning for Controlling the Protagonist's Persona in Story Generation. (from Minlie Huang)8. Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?. (from Jian Wu)9. UBERT: A Novel Language Model for Synonymy Prediction at Scale in the UMLS Metathesaurus. (from Srinivasan Parthasarathy)10. A Thorough Examination on Zero-shot Dense Retrieval. (from Ji-Rong Wen)