率先解决多类数据同时受损，中科大MIRA团队TRACER入选NeurIPS 2024：强鲁棒性的离线变分贝叶斯强化学习

在人工智能领域，强化学习（RL）一直备受瞩目，尤其是在处理复杂决策问题时展现出的强大能力。然而，当面对现实世界中的离线数据集时，数据损坏问题（如噪声或恶意攻击）常常导致现有方法在高不确定性环境下表现不佳，进而在无损环境中性能下降。为了解决这一难题，中国科学技术大学MIRA团队提出了一种名为TRACER的创新算法，该算法在NeurIPS 2024上备受关注。

TRACER算法的核心在于引入了贝叶斯推理来捕捉离线数据中的不确定性，从而提高对各种数据损坏的鲁棒性。具体而言，TRACER将所有数据损坏视为动作价值函数中的不确定性，并利用所有离线数据作为观测值，在贝叶斯推理框架下近似动作价值函数的后验分布。

这一方法的亮点在于，TRACER能够利用基于熵的不确定性度量来区分损坏数据和无损数据。由于损坏数据通常引入更高的不确定性和熵，TRACER能够根据这一度量来调节与损坏数据相关的损失，从而减少其对模型的影响，提高在无损环境中的鲁棒性和性能。

为了验证TRACER算法的有效性，研究团队进行了广泛的实验。结果表明，无论是在单一数据损坏还是同时存在多种数据损坏的情况下，TRACER都显著优于几种最先进的方法。这一发现表明，TRACER在处理现实世界中复杂、不确定的数据环境时具有巨大的潜力。

TRACER算法的引入为离线强化学习领域带来了新的希望。它不仅能够有效应对数据损坏问题，还为提高模型的鲁棒性和可靠性提供了新的思路。然而，TRACER也面临一些挑战，例如如何在实际应用中平衡计算成本和性能，以及如何进一步提高对未知类型数据损坏的适应性。

尽管TRACER算法已经取得了显著的成果，但研究团队并未止步于此。他们计划进一步探索TRACER在其他领域的应用潜力，并持续优化算法以应对更复杂的数据环境。同时，他们也期待与其他研究者合作，共同推动离线强化学习领域的发展。

论文地址：https://arxiv.org/abs/2411.00465