在人工智能领域，多模态大模型（MLLMs）因其能够根据视觉输入生成响应而备受关注。然而，这些模型在实际应用中常常面临一个问题：它们过于依赖文本预训练知识，而忽视了视觉信息的重要性。这个问题在最近的一篇论文中被提出，并引起了广泛的讨论。
这篇论文指出，多模态大模型在生成响应时，往往会受到文本预训练知识的偏差影响，导致生成的响应与视觉输入不符。例如，模型可能会生成不存在的物体，或者错误地识别物体的属性，如形状或颜色。这种偏差使得多模态大模型在实际应用中变得不可靠，尤其是在高风险的场景中，如自动驾驶系统或医疗助理。
为了解决这个问题，论文提出了一种名为“Bootstrapped Preference Optimization（BPO）”的方法。这种方法通过在数据集中包含由模型本身生成的负面响应，来进行偏好学习。具体来说，论文提出了两种策略：
1.使用失真的图像输入：通过向多模态大模型提供失真的图像输入，以诱导模型生成包含明显文本预训练偏差的响应。
2.利用基于文本的LLM：通过利用基于文本的大型语言模型（LLM），显式地向原始响应中注入错误但常见的元素。
这些不理想的响应与数据集中的原始标注响应配对，以构建偏好数据集，然后利用该数据集进行偏好学习。论文通过广泛的实验证明了这种方法的有效性，并在多个基准测试中取得了显著的性能提升。
然而，尽管BPO方法在解决多模态大模型的偏差问题上取得了一定的成功，但仍然存在一些挑战和限制。首先，构建高质量的偏好数据集需要大量的人力和计算资源，这可能会限制其在实际应用中的可行性。其次，BPO方法可能无法完全消除多模态大模型的偏差，因为文本预训练知识仍然在模型的生成过程中起着重要作用。
此外，一些研究人员对BPO方法的有效性提出了质疑。他们认为，通过向模型提供失真的图像输入或注入错误元素来构建偏好数据集，可能会引入额外的偏差，从而影响模型的学习效果。因此，他们建议探索其他方法，如改进模型的架构或训练过程，以更好地解决多模态大模型的偏差问题。
