DisPose是由北京大学、中国科学技术大学、清华大学和香港科技大学联合推出的增强人物图像控制动画质量的技术。该技术通过从骨骼姿态和参考图像中提取控制信号，生成密集运动场，并保持对不同体型的泛化能力，显著提升了人物图像动画的质量和一致性。

HelloMeme 是一个基于 Stable Diffusion 1.5 模型的面部表情与姿态迁移框架，通过集成空间编织注意力机制，实现了自然且物理合理的表情包视频生成。该框架具有强大的泛化能力和扩展性，适用于多种应用场景。

InvSR 是一个创新的图像超分辨率模型，基于扩散模型的逆过程恢复高分辨率图像。它通过深度噪声预测器和灵活的采样机制，能够高效地提升图像分辨率，适用于老旧照片修复、视频监控、医疗成像等多个领域。

新加坡国立大学推出的CLEAR线性注意力机制，通过局部注意力窗口设计，显著提升了预训练扩散变换器生成高分辨率图像的效率，生成8K图像时提速6.3倍。

VSI-Bench是由李飞飞和谢赛宁团队推出的视觉空间智能基准测试集，旨在评估多模态大型语言模型（MLLMs）在空间认知和理解方面的能力。该基准测试集包含超过5000个问题-答案对，覆盖近290个真实室内场景视频，涉及多种环境，能够系统地测试和提高MLLMs在视觉空间智能方面的表现。

利用最新的 Diffusion 生成技术实现表情迁移

3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目，结合声学、语义和视觉信息，提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码，以及大规模多设备、多距离、多方言的数据集，适用于多种应用场景。

2024年OSC源创会年终盛典将于12月28日在珠海举行，CodeFuse将在主论坛分享《CodeFuse基座模型介绍》并展示最新项目。欢迎扫码报名！

感谢每一位参与者的热情支持！CodeFuse「编码挑战季」圆满结束，活动历时两个月，见证了大家对编码的热情和对技术的执着。我们公布了项目特别贡献奖获奖者，并开启了积分兑换奖品通道。已完成任务的小伙伴可通过私聊【CodeFuse 服务助手】兑换定制礼品。未来，CodeFuse将继续陪伴大家成长，期待下次活动再见！12月28日还有线下见面会，欢迎参加！🌟🎉🎁 （239字符）

VisionFM 是一个多模态多任务的视觉基础模型，专为通用眼科人工智能设计。通过预训练大量眼科图像，模型能够处理多种眼科成像模态，并在多种眼科任务中展现出专家级别的智能性和准确性。

AgentScope是阿里巴巴集团开源的多智能体开发平台，旨在帮助开发者轻松构建和部署多智能体应用。该平台提供分布式支持，内置多种模型API和本地模型部署选项，支持多模态数据处理。

LeviTor是由南京大学、蚂蚁集团等机构联合推出的3D目标轨迹控制视频合成技术，通过结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。

12月14日，由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。

🙋魔搭ModelScope本期社区进展：📟1914个模型，📁58个数据集，🎨78个创新应用，📄 8篇内容

2024年12月12日，多模态实时交互大模型书生·浦语灵笔2.5-OL(InternLM-XComposer2.5-OmniLive)开源，该模型可以通过视觉和听觉实时观察和理解外部世界，自动形成对观察到内容的长期记忆，并可通过语音与人类用户进行对话交谈，提供更自然的大模型交互体验。

RWKV-7 是极先进的最新大模型架构，超越 attention / linear attention 范式，拥有强大的 in-context-learning（上下文学习）能力，可真正持续学习，在保持 100% RNN 的同时，拥有极强的长文本能力。

RWKV-7是RWKV系列的最新大模型架构版本，具有强大的上下文学习能力，超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。

PromptWizard 是微软开源的 AI 提示词自动化优化框架，通过自我演变和自我适应机制，迭代优化提示指令和上下文示例，提升大型语言模型（LLMs）在特定任务中的表现。本文详细介绍了 PromptWizard 的主要功能、技术原理以及如何运行该框架。

StyleStudio 是一种文本驱动的风格迁移模型，能够将参考图像的风格与文本提示内容融合。通过跨模态 AdaIN 机制、基于风格的分类器自由引导等技术，解决了风格过拟合、控制限制和文本错位等问题，提升了风格迁移的质量和文本对齐的准确性。

谷歌推出的实验性推理模型Gemini 2.0 Flash Thinking，展示了详细的思考过程，能够在多个领域快速解决问题，并提供推理路径。本文将详细介绍该模型的功能、技术原理及使用限制。

AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型，能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略，实现了色彩和风格的准确传递，适用于动画制作、游戏开发和数字艺术创作等多个领域。

Genesis是由卡内基梅隆大学联合20多所研究机构开源的生成式物理引擎，能够模拟世界万物，具有高度的物理准确性和快速的模拟速度，适用于机器人仿真、游戏开发、电影特效制作等多个领域。

蚂蚁团队推出的AI前端研发平台WeaveFox，能够根据设计图直接生成前端源代码，支持多种应用类型和技术栈，提升开发效率和质量。本文将详细介绍WeaveFox的功能、技术原理及应用场景。

随着数字化转型加速，企业面临的技术和业务环境日益复杂，传统架构难以应对快速变化的需求。企业架构治理成为数字化转型的关键，通过确保技术与战略对接、优化资源利用、降低风险和复杂性，提升企业灵活性、效率和创新能力，支持快速响应市场变化，推动数字化转型成功。

2024 年 5 月，上海人工智能实验室司南 OpenCompass 团队携手魔搭 ModelScope，联合推出了大模型评测平台——CompassArena（大模型竞技场），为大模型领域引入了一种全新的竞技模式。

在大语言模型（LLM）领域，结合多个模型的优势以提升单个模型的能力已成为一大趋势。然而，以往的模型融合方法例如 FuseLLM[1], FuseChat-1.0/2.0[2] 等存在词表对齐困难、效率低下等问题。

孤独症儿童绘本创作工具二期迭代开发，缺人！

EMMA-X是由新加坡科技设计大学推出的具身多模态动作模型，具备70亿参数，通过在链式思维推理数据上微调OpenVLA创建。该模型结合层次化的具身数据集，增强空间推理和任务规划能力。

GitHub 推出了 GitHub Copilot Free，提供每月 2,000 代码补全和 50 聊天消息，支持多种模型和功能，助力 1.5 亿开发者。

X-AnyLabeling是一款集成了多种深度学习算法的图像标注工具，支持图像和视频的多样化标注样式，适用于多种AI训练场景。本文将详细介绍X-AnyLabeling的功能、技术原理以及如何运行该工具。

Megrez-3B-Omni是由无问芯穹（Infinigence AI）研发的端侧全模态理解模型，基于无问大语言模型Megrez-3B-Instruct扩展，同时具备图片、文本、音频三种模态数据的理解分析能力。

MV-Adapter是由北京航空航天大学、VAST和上海交通大学联合开发的多视图一致图像生成模型。该模型能够将预训练的文本到图像扩散模型转化为多视图图像生成器，支持生成高分辨率的多视角图像。

MarkItDown 是微软开源的多功能文档转换工具，支持将 PDF、PPT、Word、Excel、图像、音频等多种格式的文件转换为 Markdown 格式，具备 OCR 文字识别、语音转文字和元数据提取等功能。

NodeTool 是一个开源的 AI 工作流可视化构建器，通过拖放节点的方式设计复杂的工作流，无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型，并与 Hugging Face、OpenAI 等平台集成，提供模型访问能力。

VMB（Visuals Music Bridge）是由中科院联合多所高校机构推出的多模态音乐生成框架，能够从文本、图像和视频等多种输入模态生成音乐。该框架通过文本桥接和音乐桥接解决了数据稀缺、跨模态对齐弱和可控性有限的问题。

ColorFlow是由清华大学和腾讯ARC实验室共同推出的图像序列着色模型，通过检索增强、上下文学习和超分辨率技术，确保黑白图像序列的着色与参考图像颜色一致，适用于漫画、动画制作等工业应用。

Manga Image Translator 是一款开源的漫画图片文字翻译工具，支持多语言翻译并能将翻译后的文本无缝嵌入原图，保持漫画的原始风格和布局。该工具基于OCR技术和深度学习模型，提供批量处理和在线/离线翻译功能。

为了给开发者提供更便捷的开源模型API访问方式，我们正式启动了 ModelScope API-Inference 的公测。在开源工具链方面，我们进行了ModelScope 1.21.0的新版本发布，提供了llamafile的集成以及模型加载/下载链路的优化，SWIFT 3.0大版本也已经合并主干，在这个基础上新模型的支持会更加顺畅与便利。

Lyra是由香港中文大学、SmartMore和香港科技大学联合推出的高效多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型和多模态LoRA模块，减少训练成本和数据需求，支持多种模态理解和推理任务。

LatentLM是由微软研究院和清华大学联合推出的多模态生成模型，能够统一处理离散和连续数据，具备高性能图像生成、多模态大型语言模型集成等功能，展现出卓越的多模态任务处理能力。

Ruyi是图森未来推出的图生视频大模型，专为消费级显卡设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构，能够降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。

BrushEdit是由腾讯、北京大学等机构联合推出的先进图像编辑框架，结合多模态大型语言模型和双分支图像修复模型，支持基于指令引导的图像编辑和修复。

RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。

Apollo是由Meta和斯坦福大学合作推出的大型多模态模型，专注于视频理解。该模型通过“Scaling Consistency”现象，在较小模型上的设计决策能够有效扩展至大型模型，显著提升了视频理解能力。

Leffa 是 Meta 开源的图像生成框架，通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本，适用于多种扩散模型，展现了良好的模型无关性和泛化能力。

通义实验室在前期的工作中提出了基于监督离散语音标记的多语言语音合成模型CosyVoice。通过使用两种流行的生成模型：语言模型 (LM) 和流匹配进行渐进式语义解码，CosyVoice 在语音语境学习中实现了较高的韵律自然度、内容一致性和说话人相似性。

Freestyler是由西北工业大学、微软和香港大学联合推出的说唱乐生成模型，能够根据歌词和伴奏直接生成说唱音乐。该模型基于语言模型生成语义标记，并通过条件流匹配模型和神经声码器生成高质量音频。Freestyler还推出了RapBank数据集，支持零样本音色控制和多种应用场景。