MV-Adapter是由北京航空航天大学、VAST和上海交通大学联合开发的多视图一致图像生成模型。该模型能够将预训练的文本到图像扩散模型转化为多视图图像生成器，支持生成高分辨率的多视角图像。

MarkItDown 是微软开源的多功能文档转换工具，支持将 PDF、PPT、Word、Excel、图像、音频等多种格式的文件转换为 Markdown 格式，具备 OCR 文字识别、语音转文字和元数据提取等功能。

NodeTool 是一个开源的 AI 工作流可视化构建器，通过拖放节点的方式设计复杂的工作流，无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型，并与 Hugging Face、OpenAI 等平台集成，提供模型访问能力。

VMB（Visuals Music Bridge）是由中科院联合多所高校机构推出的多模态音乐生成框架，能够从文本、图像和视频等多种输入模态生成音乐。该框架通过文本桥接和音乐桥接解决了数据稀缺、跨模态对齐弱和可控性有限的问题。

ColorFlow是由清华大学和腾讯ARC实验室共同推出的图像序列着色模型，通过检索增强、上下文学习和超分辨率技术，确保黑白图像序列的着色与参考图像颜色一致，适用于漫画、动画制作等工业应用。

Manga Image Translator 是一款开源的漫画图片文字翻译工具，支持多语言翻译并能将翻译后的文本无缝嵌入原图，保持漫画的原始风格和布局。该工具基于OCR技术和深度学习模型，提供批量处理和在线/离线翻译功能。

为了给开发者提供更便捷的开源模型API访问方式，我们正式启动了 ModelScope API-Inference 的公测。在开源工具链方面，我们进行了ModelScope 1.21.0的新版本发布，提供了llamafile的集成以及模型加载/下载链路的优化，SWIFT 3.0大版本也已经合并主干，在这个基础上新模型的支持会更加顺畅与便利。

Lyra是由香港中文大学、SmartMore和香港科技大学联合推出的高效多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型和多模态LoRA模块，减少训练成本和数据需求，支持多种模态理解和推理任务。

LatentLM是由微软研究院和清华大学联合推出的多模态生成模型，能够统一处理离散和连续数据，具备高性能图像生成、多模态大型语言模型集成等功能，展现出卓越的多模态任务处理能力。

Ruyi是图森未来推出的图生视频大模型，专为消费级显卡设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构，能够降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。

BrushEdit是由腾讯、北京大学等机构联合推出的先进图像编辑框架，结合多模态大型语言模型和双分支图像修复模型，支持基于指令引导的图像编辑和修复。

RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。

Apollo是由Meta和斯坦福大学合作推出的大型多模态模型，专注于视频理解。该模型通过“Scaling Consistency”现象，在较小模型上的设计决策能够有效扩展至大型模型，显著提升了视频理解能力。

Leffa 是 Meta 开源的图像生成框架，通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本，适用于多种扩散模型，展现了良好的模型无关性和泛化能力。

通义实验室在前期的工作中提出了基于监督离散语音标记的多语言语音合成模型CosyVoice。通过使用两种流行的生成模型：语言模型 (LM) 和流匹配进行渐进式语义解码，CosyVoice 在语音语境学习中实现了较高的韵律自然度、内容一致性和说话人相似性。

Freestyler是由西北工业大学、微软和香港大学联合推出的说唱乐生成模型，能够根据歌词和伴奏直接生成说唱音乐。该模型基于语言模型生成语义标记，并通过条件流匹配模型和神经声码器生成高质量音频。Freestyler还推出了RapBank数据集，支持零样本音色控制和多种应用场景。

FreeScale是一个无需微调的推理框架，旨在提升扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息，首次实现了8K分辨率图像的生成，显著提高了生成内容的质量和保真度，同时减少了推理时间。

CosyVoice 2.0 是阿里巴巴通义实验室推出的语音生成大模型升级版，通过有限标量量化技术和块感知因果流匹配模型，显著提升了发音准确性、音色一致性和音质，支持多语言和流式推理，适合实时语音合成场景。

k1视觉思考模型是kimi推出的k1系列强化学习AI模型，具备端到端图像理解和思维链技术，能够在数学、物理、化学等领域表现优异。本文详细介绍了k1视觉思考模型的功能、技术原理、使用方法及其在多个应用场景中的表现。

魔搭ModelScope本期社区进展：新增1599个模型，46个数据集，67个创新应用，8篇内容

掌握多智能体系统，🐫 CAMEL-AI Workshop & 黑客马拉松即将启航！

POINTS 1.5是腾讯微信推出的多模态大模型，基于LLaVA架构，具备强大的视觉和语言处理能力。它在复杂场景的OCR、推理能力、关键信息提取等方面表现出色，是全球10B以下开源模型中的佼佼者。

Meta Motivo 是 Meta 公司推出的 AI 模型，旨在控制数字智能体的全身动作，提升元宇宙体验的真实性。该模型通过无监督强化学习算法，能够实现零样本学习、行为模仿与生成、多任务泛化等功能，适用于机器人控制、虚拟助手、游戏角色动画等多个应用场景。

SVDQuant是由MIT研究团队推出的扩散模型后训练量化技术，通过将模型的权重和激活值量化至4位，显著减少了内存占用并加速了推理过程。该技术引入了高精度的低秩分支来吸收量化过程中的异常值，支持多种架构，并能无缝集成低秩适配器（LoRAs），为资源受限设备上的大型扩散模型部署提供了有效的解决方案。

Promptic 是一个轻量级的 LLM 应用开发框架，支持通过一行代码切换不同的 LLM 服务提供商。它提供了类型安全的输出、流式支持、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能，而不是底层的复杂性。

CodeArena 是一个在线平台，用于测试和比较不同大型语言模型（LLM）的编程能力。通过实时显示多个 LLM 的代码生成过程和结果，帮助开发者选择适合的 LLM，并推动 LLM 技术的发展。

Maya 是一个开源的多语言多模态模型，能够处理和理解八种不同语言，包括中文、法语、西班牙语、俄语、印地语、日语、阿拉伯语和英语。该模型基于LLaVA框架，通过指令微调和多语言数据集的预训练，提升了在视觉-语言任务中的表现，特别适用于低资源语言的内容生成和跨文化理解。

SynCamMaster是由快手科技联合浙江大学、清华大学等机构推出的全球首个多视角视频生成模型，能够结合6自由度相机姿势，从任意视点生成开放世界视频。该模型通过增强预训练的文本到视频模型，确保不同视点的内容一致性，支持多摄像机视频生成，并在多个应用场景中展现出巨大潜力。

DiffSensei 是一个由北京大学、上海AI实验室及南洋理工大学共同推出的AI漫画生成框架，能够生成可控的黑白漫画面板。该框架整合了基于扩散的图像生成器和多模态大型语言模型（MLLM），支持多角色控制和精确布局控制，适用于漫画创作、个性化内容生成等多个领域。

ChatMCP 是一款基于模型上下文协议（MCP）的 AI 聊天客户端，支持多语言和自动化安装。它能够与多种大型语言模型（LLM）如 OpenAI、Claude 和 OLLama 等进行交互，具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。

谷歌推出的Multimodal Live API是一个支持多模态交互、低延迟实时互动的AI接口，能够处理文本、音频和视频输入，提供自然流畅的对话体验，适用于多种应用场景。

Insight-V是由南洋理工大学、腾讯公司和清华大学联合推出的多模态模型，旨在提升长链视觉推理能力。通过渐进式数据生成、多智能体系统和两阶段训练流程，Insight-V在多个视觉推理基准测试中表现出色，展现出强大的视觉推理能力。

谷歌最新推出的Gemini 2.0是一款原生多模态输入输出的AI模型，以Agent技术为核心，支持多种数据类型的输入与输出，具备强大的性能和多语言音频输出能力。本文将详细介绍Gemini 2.0的主要功能、技术原理及其在多个领域的应用场景。

Ultravox是一款端到端的多模态大模型，能够直接理解文本和人类语音，无需依赖单独的语音识别阶段。该模型通过多模态投影器技术将音频数据转换为高维空间表示，显著提高了处理速度和响应时间。Ultravox具备实时语音理解、多模态交互、低成本部署等主要功能，适用于智能客服、虚拟助手、语言学习等多个应用场景。

书生·万象InternVL 2.5是由上海AI实验室OpenGVLab团队推出的开源多模态大语言模型系列。该模型在多模态理解基准（MMMU）上表现优异，超越了许多商业模型，适用于图像和视频分析、视觉问答、文档理解和多语言处理等多个领域。

ChatTTSPlus 是一个开源的文本转语音工具，是 ChatTTS 的扩展版本，支持语音克隆、TensorRT 加速和移动模型部署等功能，极大地提升了语音合成的性能和灵活性。

FineWeb 2 是由 Hugging Face 推出的多语言预训练数据集，覆盖超过 1000 种语言，支持多种 NLP 任务，如机器翻译和文本分类。该数据集通过定制化的数据处理流程，包括语言识别、去重、内容过滤和 PII 匿名化，提升了多语言模型的性能和泛化能力。

MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目，能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景，提升用户体验。

星辰语义大模型TeleChat2是由中国电信人工智能研究院（TeleAI）研发训练的大语言模型。今年9月，TeleAI 正式发布并开源了首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型 TeleChat2-115B ，近日又进一步开源了 TeleChat2-3B、7B和35B，以适配不同场景的应用需求。

可图Kolors-LoRA风格故事挑战赛比赛过程心得分享

近期，通义千问团队联合魔搭社区开源的多语言基准测试集 P-MMEval，涵盖了高效的基础和专项能力数据集。

Director 是一个构建视频智能体的 AI 框架，用户可以通过自然语言命令执行复杂的视频任务，如搜索、编辑、合成和生成视频内容。该框架基于 VideoDB 的“视频即数据”基础设施，集成了多个预构建的视频代理和 AI API，支持高度定制化，适用于开发者和创作者。