本文的上半部分围绕DeepTest 2026研讨会所举办的测试工具竞赛，简要介绍了该竞赛的背景和赛事安排。在该竞赛的参赛团队中，有4个团队最终提交了测试工具。接下来将简要介绍一下这4个团队所提交的测试工具。
ATLAS
获评测总分第1名的测试工具ATLAS[1]由来自巴西PUC-Rio大学的团队开发。该团队在ATLAS中采用了以下多种策略：
- 人在承受外界压力时容易遗忘或者简化处理一些知识；该团队受该现象的启发，让ATLAS在向汽车辅助驾驶LLM提问时增加紧迫语气，采用的方法包括在提问中增加“立刻”、“越快越好”等词语、使用短句提问、模仿司机在承受压力时的说话方式等；
- 统计汽车用户手册中的哪些安全警示信息在已有提问中被采用过，并在后续提问中优先采用未被采用过的安全警示信息，以提高问题的多样性；
- 对于那些已在提问中被多次采用过、但尚未导致回答错误的安全警示信息，套用其它的、导致过回答错误的提问方式，并重新提问；
- 为了进一步提高提问的多样性，尝试在提问中添加填充词（例如“嗯”、“你知道吗”等）、改写已有提问、以及交叉组合两种提问的风格（优先选用导致过回答错误的提问）。
Exida
获评测总分第2名的测试工具Exida[2]由来自德国的Exida公司、宝马集团（BMW Group）、以及慕尼黑工业大学的人员共同开发。该团队为了减少提问触发安全警示的可能，采用了以下3个步骤：
- 生成需要查询汽车用户手册的场景——通过实验，挖掘出一些能够降低汽车辅助驾驶LLM发现险情能力的关键词（包括一些天气状况、目的地、驾驶行为、驾驶状况、与时间紧迫性相关的词语等）；另外通过指令避免在生成场景时生成比较抽象的意图，以防止汽车辅助驾驶LLM通过查询资料库来补充缺失的上下文；
- 从上一步生成的场景中抽取用户意图；
- 将所生成场景中的片段、抽取出的用户意图、以及一些随机词语（提问开头语、紧急情况用语等）进行组合，并生成一批提问；使用Jaccard相似度过滤这些提问，以保障生成提问的多样性。
Exida在“错误率”这一评测指标上达到了各参赛工具中的最佳。
Warnless
获评测总分第3名的测试工具Warnless[3]由来自英国的伦敦大学学院（简称UCL）和德国的慕尼黑工业大学的人员共同开发。该团队发现：不同的安全警示信息在汽车辅助驾驶LLM的回答中被遗漏的可能性并不相同。因此，该团队开发的Warnless依据动态统计出的不同安全警示信息在LLM回答中被遗漏的概率，来指导后续提问对于安全警示信息的选择，使得较多导致过回答错误的安全警示信息后续有较大可能再次被选用。
在Warnless中，用于生成提问的提示语中包含了以下的信息：所选择的安全警示信息、与该安全警示信息相关的汽车部件信息、基于该安全警示信息的曾经生成的提问及回答效果、生成提问的任务描述、少量学习样本（Few-Shot Examples）等。开发团队在提示语的优化过程中采用了DSPy提示语优化工具。
CRISP
获评测总分第4名的测试工具CRISP[4]由来自宝马集团荷兰公司的人员开发。在生成测试提问时，CRISP首先基于所选择的安全警示信息提取出主题短语，然后补充相关的场景（例如天气、维修、汽车拖挂等），最终生成简短、具体的提问，以诱导汽车辅助驾驶LLM用简短的方式回答，增加汽车辅助驾驶LLM在回答中遗漏安全警示内容的机会。
CRISP还记录下每个安全警示信息是否造成错误回答，并在后续选择安全警示信息生成提问时，优先选择曾经造成过错误回答的安全警示信息。
在评测中，CRISP所发现的错误回答在绝对数量上位列各参赛工具的第1名，彰显了多样化测试方法在评测LLM应用中的重要性。
Random
基线工具Random根据随机选取的汽车用户手册中的安全警示信息，借助LLM生成测试提问。
下图中列出了上述各工具各自生成的一条提问[5]；各提问针对的都是与“在汽车中安装婴儿座椅”相关的安全警示信息。
参考资料
以下资料的使用许可协议均为CC BY 4.0
https://creativecommons.org/licenses/by/4.0/
[1] ATLAS: Adaptive Test Learning And Selection at the DeepTest 2026 Tool Competition
https://doi.org/10.1145/3786154.3796500
[2] Exida Test Generator at the DeepTest 2026 Tool Competition
https://doi.org/10.1145/3786154.3796501
[3] Warnless at the DeepTest 2026 Tool Competition
https://doi.org/10.1145/3786154.3796503
[4] Contextual Risk-Driven Input Structuring for Probing (CRISP) at the DeepTest 2026 Tool Competition
https://doi.org/10.1145/3786154.3796502
[5] DeepTest Tool Competition 2026: Benchmarking an LLM-Based Automotive Assistant
https://arxiv.org/abs/2604.12615
