PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统，能够模拟人类认知过程，自动化执行复杂的数字任务，如组织研究材料、起草报告等，展现了卓越的数据效率和实际应用潜力。

Midscene.js 是一款基于 AI 技术的 UI 自动化测试框架，通过自然语言交互简化测试流程，支持动作执行、数据查询和页面断言，提供可视化报告，适用于多种应用场景。

ASAL 是由 Sakana AI 联合 OpenAI 等机构推出的自动化搜索人工生命系统，基于基础模型实现多种搜索机制，扩展了人工生命研究的边界。

TRELLIS 是由微软、清华大学和中国科学技术大学联合推出的高质量 3D 生成模型，能够根据文本或图像提示生成多样化的 3D 资产，支持多种输出格式和灵活编辑。

Browser Use 是一款专为大语言模型设计的智能浏览器工具，支持多标签页管理、视觉识别、内容提取等功能，并能记录和重复执行特定动作，适用于多种应用场景。

IBM 推出的 Granite 3.1 是一款新一代语言模型，具备强大的性能和更长的上下文处理能力，支持多语言和复杂任务处理。

Open Notebook 是一款开源的 AI 笔记工具，支持多格式笔记管理，并能自动将笔记转换为博客或播客，适用于学术研究、教育、企业知识管理等多个场景。

在人类的思维中，语言和视觉紧密交织，塑造着我们感知和理解世界的方式。我们的推理能力深深植根于语言思维和视觉记忆之中。那么，当我们将这些能力赋予人工智能时，会发生什么呢？如今的大语言模型已经展现出卓越的推理能力，但我们不禁思考：它们能否通过掌握视觉理解的力量，攀登认知能力的新高峰？

随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。

Qwen开源视觉推理模型QVQ，更睿智地看世界！

MNN推理框架将大模型放进移动端设备，并达到SOTA推理性能！

MNN推理框架将大模型放进移动端设备，并达到SOTA推理性能！

Univer 是一款开源的 AI 办公工具，支持 Word、Excel 等文档处理的全栈解决方案。它具有强大的功能、高度的可扩展性和跨平台兼容性，适用于个人和企业用户，能够显著提高工作效率。

Kheish 是一个开源的多智能体协调平台，基于大型语言模型（LLM）设计，能够通过灵活配置多个智能体来解决复杂任务。平台支持模块化集成、聊天式提示、反馈循环等功能，适用于代码审计、法律文件分析、客户服务自动化等多种应用场景。

Bamba-9B 是由 IBM、普林斯顿大学、卡内基梅隆大学和伊利诺伊大学香槟分校联合推出的基于 Mamba2 架构的仅解码语言模型。该模型在开放数据集上训练，旨在提高大型语言模型的推理效率，特别是在处理长文本时的内存带宽瓶颈。Bamba-9B 在推理时相较于标准变换器模型展现出 2.5 倍的吞吐量提升和 2 倍的延迟加速。

DisPose是由北京大学、中国科学技术大学、清华大学和香港科技大学联合推出的增强人物图像控制动画质量的技术。该技术通过从骨骼姿态和参考图像中提取控制信号，生成密集运动场，并保持对不同体型的泛化能力，显著提升了人物图像动画的质量和一致性。

HelloMeme 是一个基于 Stable Diffusion 1.5 模型的面部表情与姿态迁移框架，通过集成空间编织注意力机制，实现了自然且物理合理的表情包视频生成。该框架具有强大的泛化能力和扩展性，适用于多种应用场景。

InvSR 是一个创新的图像超分辨率模型，基于扩散模型的逆过程恢复高分辨率图像。它通过深度噪声预测器和灵活的采样机制，能够高效地提升图像分辨率，适用于老旧照片修复、视频监控、医疗成像等多个领域。

新加坡国立大学推出的CLEAR线性注意力机制，通过局部注意力窗口设计，显著提升了预训练扩散变换器生成高分辨率图像的效率，生成8K图像时提速6.3倍。

VSI-Bench是由李飞飞和谢赛宁团队推出的视觉空间智能基准测试集，旨在评估多模态大型语言模型（MLLMs）在空间认知和理解方面的能力。该基准测试集包含超过5000个问题-答案对，覆盖近290个真实室内场景视频，涉及多种环境，能够系统地测试和提高MLLMs在视觉空间智能方面的表现。

利用最新的 Diffusion 生成技术实现表情迁移

HelloMeme:充分利用 SD1.5 基模的理解能力，实现表情与姿态的迁移

3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目，结合声学、语义和视觉信息，提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码，以及大规模多设备、多距离、多方言的数据集，适用于多种应用场景。

VisionFM 是一个多模态多任务的视觉基础模型，专为通用眼科人工智能设计。通过预训练大量眼科图像，模型能够处理多种眼科成像模态，并在多种眼科任务中展现出专家级别的智能性和准确性。

AgentScope是阿里巴巴集团开源的多智能体开发平台，旨在帮助开发者轻松构建和部署多智能体应用。该平台提供分布式支持，内置多种模型API和本地模型部署选项，支持多模态数据处理。

LeviTor是由南京大学、蚂蚁集团等机构联合推出的3D目标轨迹控制视频合成技术，通过结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。

12月14日，由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。

🙋魔搭ModelScope本期社区进展：📟1914个模型，📁58个数据集，🎨78个创新应用，📄 8篇内容

2024年12月12日，多模态实时交互大模型书生·浦语灵笔2.5-OL(InternLM-XComposer2.5-OmniLive)开源，该模型可以通过视觉和听觉实时观察和理解外部世界，自动形成对观察到内容的长期记忆，并可通过语音与人类用户进行对话交谈，提供更自然的大模型交互体验。

RWKV-7 是极先进的最新大模型架构，超越 attention / linear attention 范式，拥有强大的 in-context-learning（上下文学习）能力，可真正持续学习，在保持 100% RNN 的同时，拥有极强的长文本能力。

AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营

AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营

RWKV-7是RWKV系列的最新大模型架构版本，具有强大的上下文学习能力，超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。

PromptWizard 是微软开源的 AI 提示词自动化优化框架，通过自我演变和自我适应机制，迭代优化提示指令和上下文示例，提升大型语言模型（LLMs）在特定任务中的表现。本文详细介绍了 PromptWizard 的主要功能、技术原理以及如何运行该框架。

StyleStudio 是一种文本驱动的风格迁移模型，能够将参考图像的风格与文本提示内容融合。通过跨模态 AdaIN 机制、基于风格的分类器自由引导等技术，解决了风格过拟合、控制限制和文本错位等问题，提升了风格迁移的质量和文本对齐的准确性。

谷歌推出的实验性推理模型Gemini 2.0 Flash Thinking，展示了详细的思考过程，能够在多个领域快速解决问题，并提供推理路径。本文将详细介绍该模型的功能、技术原理及使用限制。

AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型，能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略，实现了色彩和风格的准确传递，适用于动画制作、游戏开发和数字艺术创作等多个领域。

Genesis是由卡内基梅隆大学联合20多所研究机构开源的生成式物理引擎，能够模拟世界万物，具有高度的物理准确性和快速的模拟速度，适用于机器人仿真、游戏开发、电影特效制作等多个领域。

蚂蚁团队推出的AI前端研发平台WeaveFox，能够根据设计图直接生成前端源代码，支持多种应用类型和技术栈，提升开发效率和质量。本文将详细介绍WeaveFox的功能、技术原理及应用场景。

随着数字化转型加速，企业面临的技术和业务环境日益复杂，传统架构难以应对快速变化的需求。企业架构治理成为数字化转型的关键，通过确保技术与战略对接、优化资源利用、降低风险和复杂性，提升企业灵活性、效率和创新能力，支持快速响应市场变化，推动数字化转型成功。

2024 年 5 月，上海人工智能实验室司南 OpenCompass 团队携手魔搭 ModelScope，联合推出了大模型评测平台——CompassArena（大模型竞技场），为大模型领域引入了一种全新的竞技模式。

在大语言模型（LLM）领域，结合多个模型的优势以提升单个模型的能力已成为一大趋势。然而，以往的模型融合方法例如 FuseLLM[1], FuseChat-1.0/2.0[2] 等存在词表对齐困难、效率低下等问题。