综述原文见 ArxivReview
导读
大规模语言模型(LLM)在预训练阶段吸收了互联网语料中固有的偏见与毒性模式,导致其生成内容可能包含歧视性或暴力输出,这构成了当前安全对齐研究的核心矛盾。早期研究主要依赖基于规则或传统机器学习的二元毒性分类,但难以应对隐式仇恨与跨域泛化问题。随着Transformer架构普及与对齐技术成熟,领域经历了从“检测后过滤”向“解码时干预”和“参数高效微调”的关键转折。2023-2024年,SafeDecoding与DPO-based去毒等里程碑工作确立了推理时控制的主流范式。2025-2026年,研究进入精细化阶段,重点通过因果推断、稀疏自编码器(SAE)定位毒性神经元,并拓展至孟加拉语、阿拉伯语方言等低资源语言场景。当前领域已形成兼顾语义保真度、解释性、多语言鲁棒性及对抗鲁棒性的综合安全对齐体系。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
LLM文本去毒与仇恨言论检测领域的兴起,源于大规模语言模型在预训练阶段不可避免地吸收了互联网语料中固有的偏见、仇恨言论及毒性模式。这种数据层面的污染导致模型在生成内容时可能产生歧视性、暴力或有害输出,构成了当前安全对齐研究的核心矛盾。早期研究主要集中于基于规则或传统机器学习的毒性检测,其核心假设是“毒性可通过浅层特征或二元分类有效识别”。然而,这种范式难以应对隐式仇恨(如讽刺、隐喻)和跨域泛化问题,导致模型在复杂语境下性能急剧衰减。
问题定义经历了从“是否有毒”到“毒性维度、证据定位与因果归因”的深刻重构。2020年前后,研究聚焦于显式毒性检测,任务形式化通常简化为二元分类问题:给定输入文本 $x$,模型 $f$ 输出毒性标签 $y \in {0, 1}$。随着研究深入,任务边界扩展至细粒度解释与生成式去毒。去毒任务不再仅标记毒性,而是要求将毒性文本重写为中性形式 $x'$,同时保留原始语义 $S(x) \approx S(x')$ 和情感意图。这种转变使得问题结构从单一分类演变为兼顾安全性(去毒/检测)与效用性(语义保真/表达自由)的多维优化问题。
子问题之间存在明确的依赖关系。隐式仇恨检测是基础,因为显式毒性往往通过浅层特征即可识别,而隐式表达需要深层语境推理。语义保真是去毒的核心约束,若重写过程过度礼貌化或改变原意,将导致用户体验下降,使得去毒失去实际部署价值。多语言鲁棒性则是部署的必要条件,大多数研究集中于英语,而孟加拉语、阿拉伯语方言等低资源语言缺乏高质量平行语料,导致模型迁移性能差。此外,对抗鲁棒性依赖于对模型内部毒性机理的精准定位,以避免在抑制毒性时误伤良性语言。
2016-2018年,度量学习与原型网络奠定了少样本与细粒度分类的基础,但尚未直接应用于毒性检测。2020年,Faceted Rasch IRT(P1)提出基于分面Rasch项目反应理论的仇恨言论频谱测量框架,将离散的仇恨标签重构为连续潜变量,突破了传统二元分类的局限,奠定了可解释性检测的理论基础。2021年,DExperts(P35)提出解码时受控文本生成方法,通过引入“专家”与“反专家”辅助模型动态调整token概率分布,开创了“解码时控制”这一重要技术路线。2022年,DPO(P28)提出直接偏好优化算法,避免了传统RLHF中复杂的奖励模型训练,显著降低了安全对齐的计算成本,成为主流训练范式。
2023-2024年,HateXplain(P32)构建了包含细粒度标注的仇恨言论数据集,推动了检测任务从粗粒度分类向细粒度跨度提取与解释的演进。同年,SafeDecoding(P34)提出安全解码策略,通过在解码阶段直接约束生成token的概率分布,展示了推理时干预的高效性。2024年,ToxiCN(P42)构建了中文毒性语言数据集,填补了中文场景下细粒度毒性标注的空白,推动了多语言去毒研究从英语向其他高资源语言的拓展。2025-2026年,DSCD(P34)提出自约束解码框架,动态定位“毒性层”并施加约束;CausalDetox(P18)引入因果推断定位关键注意力头;AraDetox(P26)构建了多方言阿拉伯语去毒数据集。这些工作标志着研究进入因果推断与低资源方言覆盖的精细化阶段。
如果用一个核心问题概括该领域,那便是:如何在消除LLM生成内容中显性与隐式毒性的同时,通过因果机制定位与解码时干预,在保持语义保真度与多语言鲁棒性的前提下实现可解释的安全对齐。
2. 方法体系
2020:Faceted Rasch IRT——提出基于分面Rasch项目反应理论的仇恨言论频谱测量框架
2021:DExperts——提出解码时受控文本生成方法,动态调整token概率分布
2022:DPO——提出直接偏好优化算法,避免复杂奖励模型训练
2023:HateXplain——构建包含细粒度标注的仇恨言论数据集
2024:SafeDecoding——提出安全解码策略,约束生成token概率分布
2025:DSCD——提出自约束解码框架,动态定位毒性层
2026:CausalDetox——提出因果头选择与干预方法
2026:VARM-Bench——构建中文辱骂言语审核的可验证结构化推理基准
这条时间线勾勒了该领域方法演进的代表性节点:从 2020 年的 Faceted Rasch IRT 奠定该领域方法基线,经 2021 年 DExperts 的推进,到 2026 年的 VARM-Bench 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 LLM去毒机制与干预
该路线的起源可追溯至2021年DExperts(P35)提出的解码时受控文本生成方法。DExperts通过引入“专家”与“反专家”两个辅助模型,在生成过程中动态调整token概率分布以抑制毒性。该方法无需修改主模型参数,实现了推理阶段的即时干预,开创了“解码时控制”这一重要技术路线。其核心取舍在于放弃了细粒度的语义控制,换取了无需重训练的即时去毒能力与较低的部署成本。2022年,DPO(P28)提出直接偏好优化算法,通过构建偏好对数据直接优化模型策略,避免了传统RLHF中复杂的奖励模型训练与强化学习过程。DPO显著降低了安全对齐的计算成本与工程复杂度,成为LLM去毒与对齐领域的主流训练范式。
2024年,SafeDecoding(P34)提出安全解码策略,通过在解码阶段直接约束生成token的概率分布,抑制毒性内容的产生。该方法无需额外训练,直接作用于生成过程,有效提升了LLM在对抗性输入下的安全性。2025年,DSCD(P34)提出自约束解码框架,通过动态定位模型内部的“毒性层”并在解码时施加约束,实现无需重训练的去毒。DSCD结合了层定位与概率约束,有效平衡了去毒效果与生成流畅度。其动态模式实时定位毒性层,静态模式预记录高频毒性层以降低计算开销。主要代价是动态定位过程需要额外的前向传播计算,且静态模式依赖预训练数据的分布假设。
2025年,Breaking Bad Tokens(P43)提出基于稀疏自编码器(SAE)的LLM去毒方法,通过SAE将模型内部表示分解为单语义特征,识别与毒性概念相关的特征向量。该方法利用成对数据集计算特征激活差异,筛选出高相关性的毒性特征,并在推理时对这些特征的激活值进行抑制或转向。其核心创新在于利用SAE的可解释性定位毒性来源,避免了传统方法中盲目调整参数的副作用。主要代价是SAE的训练与特征提取过程计算密集,且特征的单语义性假设在复杂语境下可能失效。2026年,CausalDetox(Wang et al., 2026, P18)提出基于因果头选择与干预的语言模型去毒方法,通过因果推断技术识别与毒性生成具有因果关系的注意力头,并在推理时对这些头的激活值进行干预。该方法首先构建因果图,分析注意力头对毒性输出的因果效应,筛选出关键毒性头,然后通过激活补丁技术替换或扰动这些头的内部状态以抑制毒性。其核心创新在于引入因果机制,避免了传统相关性方法中可能误伤良性语言的副作用。主要代价是因果图构建与效应估计需要大量计算资源,且因果关系的稳定性在不同模型架构间可能存在差异。
此外,TIDE(Saglam and Kalogerias, 2026, P16)提出无需训练或学习的测试时去毒方法,通过零阶优化在推理阶段调整模型参数或提示,以最小化毒性并最大化流畅度。该方法利用标准推理调用,通过迭代优化提示或内部状态,使模型生成更安全的文本,完全避免了训练基础设施的需求。其核心优势在于模型无关性,适用于任何支持推理调用的LLM架构。主要代价是优化过程需要多次推理调用,增加了延迟。Toxic Layer Localization(Beniwal and Singh, 2026, P21)提出毒性层定位与靶向抑制方法,通过分析毒性输入与中性输入在模型各层激活值的系统性差异,识别与毒性最相关的层并进行抑制。该方法计算每层的激活差分,根据差分幅度对层进行评分,选择高分层进行阻尼或干预。DART(P31)提出蒸馏-审计-修复训练框架,旨在缓解差异感知LLM中的“危害漂移”问题。SRD(Zhang et al., 2026, P14)提出自反思去毒框架,通过让LLM在生成过程中进行自我反思与修正,抑制毒性内容的产生。
该路线与仇恨言论检测路线形成互补:去毒机制侧重于生成过程的内部干预,而检测路线侧重于输入内容的分类与解释。解码时干预方法(如DSCD、SafeDecoding)以低训练成本换取灵活性,但牺牲了细粒度控制;因果推断与SAE方法(如CausalDetox、Breaking Bad Tokens)以高计算成本换取精准性与鲁棒性,解决了相关性方法的误伤问题。
2.2 仇恨言论检测与分类
该路线的奠基工作可追溯至2020年Faceted Rasch IRT(Kennedy et al., 2026, P1),其提出基于分面Rasch项目反应理论的仇恨言论频谱测量框架,将离散的仇恨标签重构为连续潜变量,并设计视角感知、可解释性优先的深度模型。该工作突破了传统二元分类的局限,为后续研究提供了从“是否仇恨”到“仇恨程度与维度”的精细化评估范式。2023年,HateXplain(P32)构建了包含细粒度标注的仇恨言论数据集,明确区分了仇恨言论的目标群体、保护特征及侮辱性内容。该数据集解决了早期基准缺乏细粒度语义标注的问题,推动了检测任务从粗粒度分类向细粒度跨度提取与解释的演进。
2025年,HatePrototypes(Proskurina et al., 2025, P9)提出基于原型网络的仇恨言论检测方法,通过计算训练集中仇恨与非仇恨类别的嵌入均值构建类原型,并利用原型相似度进行推理。该方法支持跨任务迁移分析,通过层级分类实现模型早期退出,提升推理效率。其核心创新在于利用原型表示增强模型在不同数据集间的泛化能力,缓解了传统模型在跨域场景下的性能衰减问题。主要代价是原型估计依赖训练集分布,若分布偏差大则原型质量下降。2025年,CADET(Zhao et al., 2025, P5)提出因果引导的表示学习框架,用于跨风格仇恨言论检测,通过因果对齐解耦架构分离生成因子,并引入混淆变量缓解机制与反事实推理模块。该方法利用RoBERTa编码器提取潜在表示,通过因果图指导解耦,减少虚假相关性的影响,并生成反事实样本促进风格不变表示学习。其核心创新在于引入因果推断,有效缓解了讽刺、隐喻等隐性仇恨言论中的混淆变量问题,提升了跨风格泛化能力。主要代价是因果图构建与反事实生成增加了计算复杂度。
2026年,SLAF(P40)提出俚语感知标签对齐框架,用于中文仇恨言论的细粒度毒性提取,通过标签解耦体积标记(LDVT)解决标签冲突问题。该方法将token对映射到L×L×N的体积空间,第三维度分离标签通道,每个类别占据专用切片,避免标准2D网格中的标签碰撞。同时引入结构先验注入与语义类别聚合,融合俚语词典与预训练语言模型输出,提升对中文特有表达的理解。Bluesky Moderation Study(Chou et al., 2026, P17)提出基于Bluesky平台的开放权重LLM社交媒体审核比较研究,评估LLM在真实世界审核任务中的表现。RL-Guided Adaptive Tuning(P41)提出强化学习引导的自适应调优方法,用于分布外(OOD)有害文本检测,通过测试时调优优化模型参数以适应语义变化。Prompt-Driven LLM Merge(Wu et al., 2025, P12)提出提示驱动的大语言模型合并方法,用于细粒度中文仇恨言论检测,通过领域特定提示工程、任务导向监督微调与动态LLM合并三阶段优化。Roman Urdu HSD(Zubair et al., 2026, P25)提出罗马乌尔都语仇恨言论检测的参数高效微调与提示工程比较研究,评估多种Transformer模型在零样本与PEFT(LoRA)设置下的表现。ORC(Yu et al., 2026, P23)提出有序推理链正则化方法,用于检测不断变化的有害聊天对话,通过结构化中间监督约束共享编码器。
该路线与去毒机制路线存在竞争与继承关系:检测路线侧重于输入内容的分类与解释,而去毒路线侧重于生成过程的内部干预。因果推断方法(如CADET)在检测路线中提升了跨风格鲁棒性,与去毒路线中的CausalDetox形成技术呼应,共同推动了从相关性学习向因果学习的演进。
2.3 多语言与特定场景去毒
该路线的兴起源于低资源语言毒性数据稀缺及文化语境差异的挑战。2024年,ToxiCN(P42)构建了中文毒性语言数据集,涵盖标准文本、表情符号诱导及同音字等多种毒性形式,填补了中文场景下细粒度毒性标注的空白。2025年,BanglaNirTox(Mohsin et al., 2025, P8)提出孟加拉语大规模平行语料库,用于可解释AI在孟加拉语文本去毒中的应用,通过最小化人工标注努力生成数据。该语料库整合了多个公开孟加拉语毒性数据集,利用LLM生成去毒重写,并构建平行语料以支持去毒模型训练。其核心创新在于针对孟加拉语这一缺乏去毒数据的语言,设计了自动化数据生成流水线,解决了数据稀缺问题。主要代价是LLM生成数据可能存在偏差,需人工校验确保质量。
2025年,Sentiment Polarity Consistent Rewrites(P42)提出基于情感极性一致重写的中文毒性语言缓解方法,通过重写毒性文本为中性形式,同时保持原始情感极性。该方法设计了六步人工在环标注流水线,构建包含句子级与对话级毒性样本的数据集,并训练重写模型以保持情感一致性。其核心创新在于强调情感极性保持,避免了传统去毒方法中过度礼貌化导致的情感扭曲。2026年,AraDetox(El-Haj, 2026, P26)提出多方言阿拉伯语去毒数据集,涵盖标准阿拉伯语(MSA)及海湾、黎凡特、埃及等方言,通过LLM生成与人工评估结合构建。该数据集利用GPT-5与Gemini 2.5 Flash生成去毒重写,要求保留原始意义、目标、立场、情感与沟通意图,同时移除脏话、侮辱、去人性化语言等。其核心创新在于覆盖多种阿拉伯语方言,解决了阿拉伯语去毒数据稀缺且方言差异大的问题。
2025年,KOTOX(Lee et al., 2025, P6)提出韩语毒性数据集,用于去混淆与去毒任务,通过音韵、字母、转写等方法生成混淆毒性文本变体。该数据集利用韩语音韵交替规则生成自然但混淆的毒性表达,支持模型对混淆毒性文本的检测与去毒。Audio Language Model for Toxic Speech(P38)提出基于音频语言模型(ALM)的低资源多语言毒性语音检测方法,通过结合音频编码器与语言建模技术,直接处理语音信号以检测毒性内容。Dialectal Toxicity Detection(P29)提出方言毒性检测评估框架,通过合成方言毒性数据集与LLM-as-a-Judge一致性评估,分析LLM在不同语言变体中的毒性检测能力。Search-Augmented LLMs for Neologism Toxicity(P27)提出基于搜索增强LLM的中文新词毒性检测共识方法,通过构建新词分类法与共识毒性验证标准,利用LLM搜索与推理识别新词毒性。
该路线与检测路线形成互补:多语言去毒侧重于特定语言场景下的数据构建与模型适配,而检测路线侧重于通用分类与解释。多语言方法放弃了单一语言精度,换取了跨文化覆盖,解决了低资源语言迁移性能差的问题。
2.4 可解释性与归因分析
该路线的起源可追溯至2020年Faceted Rasch IRT(P1)提出的可解释性优先深度模型。2023年,HateXplain(P32)构建了包含细粒度标注的仇恨言论数据集,推动了检测任务从粗粒度分类向细粒度跨度提取与解释的演进。2025年,SMARTER(Nghiem et al., 2025, P4)提出数据高效框架,通过自增强大语言模型提升毒性检测与解释能力,利用合成偏好数据进行对齐调优。该方法分为两阶段:首先通过自增强合成数据优化LLM分类性能,收集正确与错误标签的响应构建偏好对,利用偏好优化对齐模型;其次通过跨模型精炼,利用不同LLM的输出相互校验,提升解释质量。
2026年,Explain the Flag(P30)提出上下文化仇恨言论解释方法,通过术语基础与无术语基础管道融合,生成结构化解释段落。ToxiTrace(P39)提出梯度对齐训练方法,用于可解释中文毒性检测,通过优化梯度方向使模型注意力聚焦于细粒度毒性证据。该方法利用BERT适配器,通过梯度对齐损失函数约束模型注意力,使其在预测时关注毒性短语而非单个字符,解决了中文多字短语语义模糊导致的解释困难。HateXScore(Hu and Lee, 2026, P15)提出仇恨言论解释推理质量评估指标套件,从结论明确性、引用跨度忠实性、保护群体识别及逻辑一致性四个维度评估解释质量。SMRA(P37)提出监督道德推理注意力机制,用于自解释仇恨言论检测,通过结构化道德推理标签对齐模型注意力。Concept-Based Interpretability(Garg et al., 2025, P11)提出基于概念的可解释性方法,用于毒性检测,通过预定义概念集解释模型中间激活。Aligning Attention with Human Rationales(Eilertsen et al., 2025, P10)提出自解释仇恨言论检测方法,通过人类推理对齐模型注意力,提升解释的忠实性。Compositional Generalisation(P36)提出组合泛化方法,用于可解释仇恨言论检测,通过生成包含已知短语未见组合的数据集,测试模型泛化能力。
该路线与检测路线形成继承关系:可解释性方法在检测任务的基础上,进一步要求模型提供人类可理解的毒性证据或理由。可解释性对于高利害场景(如内容审核)至关重要,模型不仅要给出标签,还需提供人类可理解的毒性证据或理由。
2.5 基准构建与评估体系
该路线的兴起源于现有基准偏差、多样性不足及评估标准缺失的问题。2025年,Multi-Label MLL Benchmark(Kou et al., 2025, P7)提出多标签LLM毒性检测基准,构建Q-A-MLL、R-A-MLL、H-X-MLL三个数据集,基于15类毒性分类法进行人工多标签标注。该基准解决了现有评估体系标签单一、缺乏细粒度分类的问题,支持对LLM生成内容的多维度毒性评估。2026年,Persona-based Simulation(Lee et al., 2026, P19)提出基于角色模拟的有害内容合成框架,用于鲁棒评估,通过合成用户角色与社区线程交互生成有害内容。该框架首先合成用户角色,然后角色引导代理在社区线程中交互,生成具有上下文依赖性的有害内容,解决了静态基准缺乏动态交互与上下文的问题。
2025年,Adversarially Robust Detection(Chai et al., 2025, P13)提出对抗鲁棒有害内容检测的计算设计科学方法,通过计算设计科学框架优化检测器的泛化性与准确性。ThreatCore(Bruni et al., 2026, P20)提出显性与隐性威胁检测基准,通过重新标注与LLM合成数据构建,解决威胁检测数据不平衡与隐性威胁稀缺问题。Toxic Text Generation Lessons(Pletenev et al., 2025, P2)提出LLM生成毒性文本的教训研究,通过从中性源生成毒性文本,评估合成数据在去毒任务中的可行性。Online Toxicity Survey(Shahi and Majchrzak, 2025, P3)提出在线毒性定义、理解与检测的挑战及机器学习方法综述,系统梳理了毒性内容数据集、定义、平台与检测方法的现状。VARM-Bench(Yuan et al., 2026, P24)提出中文辱骂言语审核的可验证结构化推理基准,要求模型输出最终标签、目标、立场及危害类别的推理依据,解决传统评估仅关注最终标签的问题。Hate Speech Cascades Simulation(Huang, 2026, P22)提出多LLM代理模拟仇恨言论级联传播方法,用于实证基础、建模保真度与干预策略评估。
该路线与其他路线形成支撑关系:基准构建为检测、去毒与可解释性方法提供了统一的评测标准。评测体系正从“结果导向”(F1分数)向“过程导向”(推理理由、因果效应)转变。
3. 关键共识、分歧与开放问题
3.1 领域共识
领域共识认为,传统基于关键词或浅层特征的检测模型无法有效应对隐式仇恨和跨域泛化,必须依赖预训练语言模型的深层语义理解能力。这一共识在多个基准上被反复验证:CADET在Implicit Hate Corpus上的0.75 F1大幅超越BERT-base的0.67 F1,SMRA在HateXplain上的0.92 F1与Llama-3-8B基线持平,均表明深层语义理解是提升检测性能的关键。与此相关的另一个共识是,去毒任务不能仅依赖删除毒性词汇,必须通过生成式重写保留原始语义和情感意图。AraDetox方法在AraDetox基准上0.9308的Similarity分数,以及Sentiment Polarity Consistent Rewrites对情感极性保持的强调,均支持这一观点。可解释性对于高利害场景至关重要,模型不仅要给出标签,还需提供人类可理解的毒性证据或理由。VARM-Bench要求模型输出结构化推理依据,HateXScore从四个维度评估解释质量,均体现了这一共识。
3.2 观点分歧
解码时干预与参数高效微调的优劣是领域内的主要分歧。解码时干预方法(如DSCD、SafeDecoding)认为推理时干预无需重训练,灵活且成本低,适合实时部署;参数高效微调方法(如MPSG、SC-DPO)认为微调能更持久地改变模型行为,对复杂语境更稳定。现有证据偏向解码时干预在实时性与低成本场景的优势,如DSCD在RealToxicityPrompts上的0.5654 Toxicity Score,但微调在细粒度解释与多标签任务上更优。这一分歧的背后,是另一个更根本的争论:相关性学习与因果推断的必要性。因果推断方法(如CADET、CausalDetox)认为相关性学习易受混淆变量影响,因果机制能提升对抗鲁棒性与可解释性;相关性学习方法(如BERT、RoBERTa)认为深层语义特征足以捕捉毒性,因果推断过于复杂且依赖领域知识。现有证据偏向因果方法在跨风格与对抗攻击下的鲁棒性,如CADET在Implicit Hate Corpus上F1 0.75 vs. BERT 0.67,但因果方法在通用场景下计算成本更高。
3.3 其他开放问题
最紧迫的工程问题是低资源语言数据稀缺与推理延迟优化。低资源语言(如孟加拉语、阿拉伯语方言)缺乏高质量平行语料,导致模型迁移性能差;解码时干预和因果分析需要多次前向传播或复杂计算,难以满足大规模社交媒体的实时审核需求。关键困难在于数据构建成本高与计算资源限制,研究路径包括利用多语言预训练模型、代码混合数据增强及语言无关特征提取,以及参数高效微调、稀疏自动编码器及测试时自适应。最根本的研究问题是因果机制的通用性与隐式毒性的定义边界。因果推断在不同架构间的稳定性未验证,隐式仇恨与文化偏见的量化定义模糊。研究路径包括动态对抗基准构建、人格化LLM代理及多模态毒性检测。已知—争议—未知认知图谱显示,领域在深层语义理解与多标签评估上达成共识,在解码干预与微调、相关性与因果性上存在争议,在因果通用性与隐式毒性定义上仍属未知。
4. 总结与展望
LLM文本去毒与仇恨言论检测已从简单的分类任务演变为兼顾语义保真、因果解释与多语言鲁棒性的综合安全对齐体系。核心矛盾在于安全性(去毒/检测)与效用性(语义保真/表达自由)的权衡。尝试过的路线包括解码时干预、参数高效微调、因果推断、多语言适配与可解释性分析,但核心瓶颈仍在于如何在因果推断与解码干预中平衡计算效率与鲁棒性,并解决低资源语言与隐式毒性的覆盖缺口。
未来可能突破的方向包括:多语言与低资源语言毒性检测,利用多语言预训练模型与代码混合数据增强解决跨语言文化特异性危害识别不足的问题;隐式仇恨与细微毒性检测,引入因果推理、原型表示及细粒度语义分解提升模型对非显性、语境依赖型仇恨言论的识别能力;高效推理与部署优化,通过参数高效微调、稀疏自动编码器及测试时自适应降低去毒化与检测模型的推理延迟和资源消耗。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,构建涵盖安全性、效用性与计算效率的三维评估基准,以解决当前评测体系缺乏统一参照系的问题。
以上为节选,完整内容见ArxivReview