多模态

EvolveDirector是由阿里巴巴和南洋理工大学联合推出的文本到图像生成模型的高效训练技术。该框架通过与高级模型的API交互获取数据对，并利用预训练的大型视觉语言模型（VLMs）动态优化训练数据集，显著减少了数据量和训练成本。EvolveDirector能够从多个高级模型中选择最佳样本进行学习，使最终训练出的模型在多个方面超越现有高级模型。

StoryTeller是由字节跳动、上海交通大学和北京大学共同推出的全自动长视频描述生成系统。该系统通过音频视觉角色识别技术，结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。StoryTeller在MovieQA任务中展现出比现有模型更高的准确率，适用于电影制作、视频内容分析、辅助视障人士等多个应用场景。

Kandinsky-3 是一个开源的文本到图像生成框架，基于潜在扩散模型，能够适应多种图像生成任务。该框架支持高质量和逼真的图像合成，包括文本引导的修复/扩展、图像融合、文本-图像融合及视频生成等功能。Kandinsky-3 通过简化模型架构，提高了推理速度，同时保持了图像质量。

Pangea是由卡内基梅隆大学团队开发的多语言多模态大型语言模型，支持39种语言，包含高质量英文指令、机器翻译指令及文化相关任务。该模型在多语言和文化背景下的性能超越现有开源模型，适用于多语言客户服务、教育和学习、跨文化交流等多个应用场景。

ebook2audiobookXTTS 是一款开源的 AI 工具，能够将电子书转换为有声书，支持多种电子书格式和 16 种语言。该工具利用 Coqui XTTS 技术实现高质量的文本到语音转换，并提供命令行、Web 界面和 Docker 容器等多种使用方式。

本文介绍了AI Agent的异步执行循环（Agent Loop），并展示了如何利用开源框架agentboard可视化这一过程。通过分析不同框架（如AutoGen、LangGraph、AutoAgent）对Agent Loop的抽象，文章详细说明了从简单的功能调用到复杂的多阶段执行流程的设计。此外，还提供了使用agentboard进行日志记录与流程可视化的具体示例，包括安装步骤、代码实现及运行方法，帮助开发者更高效地调试和优化AI Agent的应用。

Documind 是一款利用 AI 技术从 PDF 中提取结构化数据的先进文档处理工具，支持灵活的本地或云端部署。

本文介绍了阿里巴巴通义实验室推出的多模态检索增强生成框架 OmniSearch，该框架具备自适应规划能力，能够动态拆解复杂问题，根据检索结果和问题情境调整检索策略，从而提升检索效率和准确性。

[Vript](https://github.com/mutonix/Vript) 是一个大规模的细粒度视频文本数据集，包含12K个高分辨率视频和400k+片段，以视频脚本形式进行密集注释，每个场景平均有145个单词的标题。除了视觉信息，还转录了画外音，提供额外背景。新发布的Vript-Bench基准包括三个挑战性任务：Vript-CAP（详细视频描述）、Vript-RR（视频推理）和Vript-ERO（事件时序推理），旨在推动视频理解的发展。

王鹏 达摩院高级算法工程师