VLM集体失明？视力测试惨败，GPT-4o、Claude 3.5全都不及格
【8月更文挑战第2天】新研究表明，顶尖视觉语言模型（VLMs）如GPT-4o和Claude 3.5，在看似简单的视觉任务上表现堪忧，诸如判断圆圈是否重叠或线条是否交叉等。此发现揭示了即便是在图像理解方面表现出色的VLMs也存在基本视觉认知的局限性，提示模型融合视觉信息的方式有待改进。论文详细探讨了可能的原因及未来提升方向。[@arxiv:2407.06581]
这些VLM竟都是盲人？GPT-4o、Sonnet-3.5相继败于视力测试
【7月更文挑战第28天】新研究表明VLM在简单视觉任务上的局限性。论文《Vision language models are blind》指出, GPT-4o、Claude-3.5 Sonnet等顶级模型在如判断形状重叠或字母识别等基本任务上表现不佳。另一研究在CVPR'24上介绍了一个新框架, 利用TRUMANS数据集生成精细的人物动作, 包括手部运动, 显示出在复杂场景下的强大能力, 尽管仍面临一定的局限。[论文链接](https://arxiv.org/pdf/2407.06581) [TRUMANS](https://arxiv.org/pdf/2403.08629)
深度学习Deep Learning
深度学习算法的历史可以追溯到上世纪40年代，当时Warren McCulloch和Walter Pitts提出了第一个人工神经元模型，奠定了神经网络研究的基础。随后，Rosenblatt于1958年提出了感知机模型，引领了神经网络研究的新浪潮。然而，传统神经网络的局限性使其无法解决复杂的、非线性的问题，导致研究进展受限。
视觉语言模型导论：这篇论文能成为你进军VLM的第一步
【6月更文挑战第20天】探索AI如何理解与生成图像和文本，VLM结合图像与文本映射，涉及图像描述、问答等任务。论文由多所名校和机构研究人员共创，介绍VLM历史、类型（对比学习、掩码、生成、预训练）及应用，如图像生成和问答。同时，讨论数据质量、计算资源和模型可解释性的挑战。[阅读更多](https://arxiv.org/pdf/2405.17247)
