在人工智能领域，多模态大模型（VLMs）已经成为处理视觉和语言任务的重要工具。然而，现有的VLMs大多依赖于视觉编码器来提取视觉特征，然后使用大型语言模型（LLMs）来完成视觉-语言任务。这种依赖性为VLMs的灵活性和效率带来了一定的限制，因为视觉编码器在抽象视觉表示方面引入了强烈的归纳偏置，如分辨率、长宽比和语义先验。
为了解决这个问题，研究人员一直在探索训练纯粹的VLMs，即不依赖视觉编码器的VLMs。然而，直接训练没有编码器的VLMs面临着巨大的挑战，并且很少有研究涉及。经验观察表明，没有编码器的直接训练会导致收敛缓慢和性能差距较大。
为了填补编码器基模型和无编码器模型之间的差距，并推动纯粹VLMs的发展，研究人员提出了一种简单而有效的训练方案。通过广泛的实验，他们揭示了高效训练无编码器VLMs的关键方面：
1.在统一的解码器内部桥接视觉-语言表示：研究人员发现，通过在统一的解码器内部桥接视觉和语言表示，可以提高VLMs的灵活性和效率。这种桥接使得VLMs能够直接处理视觉和语言输入，而无需依赖视觉编码器。
2.通过额外的监督增强视觉识别能力：为了进一步提高VLMs的性能，研究人员引入了额外的监督信号来增强模型的视觉识别能力。这包括使用额外的数据集和任务来训练模型，以使其能够更好地理解和处理视觉信息。
基于这些策略，研究人员开发了一种名为EVE的无编码器VLM。EVE能够高效地进行训练和推理，并在多个视觉-语言基准测试中表现出色。值得注意的是，EVE仅使用3500万个公开可用的数据，就能够与具有类似容量的编码器基VLMs相媲美，甚至在某些任务上超越了它们。
然而，尽管EVE在无编码器VLMs的训练方面取得了显著的进展，但仍存在一些挑战和限制。首先，EVE的训练过程可能需要更多的计算资源和时间，因为没有视觉编码器的帮助，模型需要从头开始学习视觉表示。其次，EVE的性能可能受到可用数据质量和数量的限制，因为高质量的视觉-语言数据集仍然相对较少。
此外，EVE的成功也引发了一些关于VLMs未来发展方向的讨论。一些人认为，无编码器VLMs代表了多模态学习的未来，因为它们具有更好的灵活性和可扩展性。然而，另一些人则认为，编码器基VLMs仍然具有重要的优势，如更好的性能和更广泛的应用领域。
