蚝油菜花_个人页

2024年12月

• 12.24 23:44:05
  发表了文章 2024-12-24 23:44:05

  HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频

  HelloMeme 是一个基于 Stable Diffusion 1.5 模型的面部表情与姿态迁移框架，通过集成空间编织注意力机制，实现了自然且物理合理的表情包视频生成。该框架具有强大的泛化能力和扩展性，适用于多种应用场景。

  
• 12.24 23:43:36
  发表了文章 2024-12-24 23:43:36

  VSI-Bench：李飞飞谢赛宁团队推出视觉空间智能基准测试集，旨在评估多模态大语言模型在空间认知和理解方面的能力

  VSI-Bench是由李飞飞和谢赛宁团队推出的视觉空间智能基准测试集，旨在评估多模态大型语言模型（MLLMs）在空间认知和理解方面的能力。该基准测试集包含超过5000个问题-答案对，覆盖近290个真实室内场景视频，涉及多种环境，能够系统地测试和提高MLLMs在视觉空间智能方面的表现。

  
• 12.24 23:43:08
  发表了文章 2024-12-24 23:43:08

  CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟

  新加坡国立大学推出的CLEAR线性注意力机制，通过局部注意力窗口设计，显著提升了预训练扩散变换器生成高分辨率图像的效率，生成8K图像时提速6.3倍。

  
• 12.24 23:42:42
  发表了文章 2024-12-24 23:42:42

  Kheish：开源的多智能体开发框架，通过 YAML 配置工作流和多个 Agent 共同协作解决复杂任务

  Kheish 是一个开源的多智能体协调平台，基于大型语言模型（LLM）设计，能够通过灵活配置多个智能体来解决复杂任务。平台支持模块化集成、聊天式提示、反馈循环等功能，适用于代码审计、法律文件分析、客户服务自动化等多种应用场景。

  
• 12.24 23:42:08
  发表了文章 2024-12-24 23:42:08

  Bamba-9B：基于 Mamba2 架构的仅解码语言模型，旨在提高大型语言模型在推理时的效率

  Bamba-9B 是由 IBM、普林斯顿大学、卡内基梅隆大学和伊利诺伊大学香槟分校联合推出的基于 Mamba2 架构的仅解码语言模型。该模型在开放数据集上训练，旨在提高大型语言模型的推理效率，特别是在处理长文本时的内存带宽瓶颈。Bamba-9B 在推理时相较于标准变换器模型展现出 2.5 倍的吞吐量提升和 2 倍的延迟加速。

  
• 12.24 23:41:32
  发表了文章 2024-12-24 23:41:32

  DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性

  DisPose是由北京大学、中国科学技术大学、清华大学和香港科技大学联合推出的增强人物图像控制动画质量的技术。该技术通过从骨骼姿态和参考图像中提取控制信号，生成密集运动场，并保持对不同体型的泛化能力，显著提升了人物图像动画的质量和一致性。

  
• 12.24 23:41:00
  发表了文章 2024-12-24 23:41:00

  InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像

  InvSR 是一个创新的图像超分辨率模型，基于扩散模型的逆过程恢复高分辨率图像。它通过深度噪声预测器和灵活的采样机制，能够高效地提升图像分辨率，适用于老旧照片修复、视频监控、医疗成像等多个领域。

  
• 12.24 23:40:24
  发表了文章 2024-12-24 23:40:24

  Univer：开源全栈 AI 办公工具，支持 Word、Excel、PPT 等文档处理和多人实时协作

  Univer 是一款开源的 AI 办公工具，支持 Word、Excel 等文档处理的全栈解决方案。它具有强大的功能、高度的可扩展性和跨平台兼容性，适用于个人和企业用户，能够显著提高工作效率。

  
• 12.23 21:29:36
  发表了文章 2024-12-23 21:29:36

  3D-Speaker：阿里通义开源的多模态说话人识别项目，支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录

  3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目，结合声学、语义和视觉信息，提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码，以及大规模多设备、多距离、多方言的数据集，适用于多种应用场景。

  
• 12.23 17:17:39
  发表了文章 2024-12-23 17:17:39

  VisionFM：通用眼科 AI 大模型，具备眼科疾病诊断能力，展现出专家级别的准确性

  VisionFM 是一个多模态多任务的视觉基础模型，专为通用眼科人工智能设计。通过预训练大量眼科图像，模型能够处理多种眼科成像模态，并在多种眼科任务中展现出专家级别的智能性和准确性。

  
• 12.23 17:16:55
  发表了文章 2024-12-23 17:16:55

  LeviTor：蚂蚁集团开源3D目标轨迹控制视频合成技术，能够控制视频中3D物体的运动轨迹

  LeviTor是由南京大学、蚂蚁集团等机构联合推出的3D目标轨迹控制视频合成技术，通过结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。

  
• 12.23 17:16:21
  发表了文章 2024-12-23 17:16:21

  AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署

  AgentScope是阿里巴巴集团开源的多智能体开发平台，旨在帮助开发者轻松构建和部署多智能体应用。该平台提供分布式支持，内置多种模型API和本地模型部署选项，支持多模态数据处理。

  
• 12.22 21:58:59
  发表了文章 2024-12-22 21:58:59

  StyleStudio：支持图像风格迁移的文生图模型，能将融合参考图像的风格和文本提示内容生成风格一致的图像

  StyleStudio 是一种文本驱动的风格迁移模型，能够将参考图像的风格与文本提示内容融合。通过跨模态 AdaIN 机制、基于风格的分类器自由引导等技术，解决了风格过拟合、控制限制和文本错位等问题，提升了风格迁移的质量和文本对齐的准确性。

  
• 12.22 21:58:26
  发表了文章 2024-12-22 21:58:26

  PromptWizard：微软开源 AI 提示词自动化优化框架，能够迭代优化提示指令和上下文示例，提升 LLMs 特定任务的表现

  PromptWizard 是微软开源的 AI 提示词自动化优化框架，通过自我演变和自我适应机制，迭代优化提示指令和上下文示例，提升大型语言模型（LLMs）在特定任务中的表现。本文详细介绍了 PromptWizard 的主要功能、技术原理以及如何运行该框架。

  
• 12.22 21:57:51
  发表了文章 2024-12-22 21:57:51

  RWKV-7：RWKV系列开源最新的大模型架构，具有强大的上下文学习能力，超越传统的Attention范式

  RWKV-7是RWKV系列的最新大模型架构版本，具有强大的上下文学习能力，超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。

  
• 12.22 02:34:28
  发表了文章 2024-12-22 02:34:28

  OpenAI 12天发布会内容全纪录！一文快速回顾获知亮点信息，原文附发布会中文字幕视频

  OpenAI 于12月5日宣布将举行为期12天的系列发布活动，期间每天发布一个产品或样品，包括备受期待的AI视频生成工具Sora和新的推理模型。本文将介绍这12天的发布会每日的发布内容和相关亮点信息。
• 12.21 01:42:50
  发表了文章 2024-12-21 01:42:50

  WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈

  蚂蚁团队推出的AI前端研发平台WeaveFox，能够根据设计图直接生成前端源代码，支持多种应用类型和技术栈，提升开发效率和质量。本文将详细介绍WeaveFox的功能、技术原理及应用场景。

  
• 12.21 01:41:23
  发表了文章 2024-12-21 01:41:23

  Gemini 2.0 Flash Thinking：谷歌推出实验性多模态推理模型，在快速生成的同时展示详细的思考过程

  谷歌推出的实验性推理模型Gemini 2.0 Flash Thinking，展示了详细的思考过程，能够在多个领域快速解决问题，并提供推理路径。本文将详细介绍该模型的功能、技术原理及使用限制。

  
• 12.21 01:39:42
  发表了文章 2024-12-21 01:39:42

  AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性

  AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型，能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略，实现了色彩和风格的准确传递，适用于动画制作、游戏开发和数字艺术创作等多个领域。

  
• 12.21 01:39:04
  发表了文章 2024-12-21 01:39:04

  Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象

  Genesis是由卡内基梅隆大学联合20多所研究机构开源的生成式物理引擎，能够模拟世界万物，具有高度的物理准确性和快速的模拟速度，适用于机器人仿真、游戏开发、电影特效制作等多个领域。

  
• 12.19 21:30:20
  发表了文章 2024-12-19 21:30:20

  GitHub 推出免费版 GitHub Copilot：提供每月2,000次代码补全和50条聊天消息，支持多种主流大模型

  GitHub 推出了 GitHub Copilot Free，提供每月 2,000 代码补全和 50 聊天消息，支持多种模型和功能，助力 1.5 亿开发者。

  
• 12.19 21:29:27
  发表了文章 2024-12-19 21:29:27

  EMMA-X：新加坡科技设计大学推出具身多模态动作模型，使夹爪机器人具备空间推理和任务规划能力

  EMMA-X是由新加坡科技设计大学推出的具身多模态动作模型，具备70亿参数，通过在链式思维推理数据上微调OpenVLA创建。该模型结合层次化的具身数据集，增强空间推理和任务规划能力。

  
• 12.19 21:28:50
  发表了文章 2024-12-19 21:28:50

  X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景

  X-AnyLabeling是一款集成了多种深度学习算法的图像标注工具，支持图像和视频的多样化标注样式，适用于多种AI训练场景。本文将详细介绍X-AnyLabeling的功能、技术原理以及如何运行该工具。

  
• 12.18 22:43:47
  发表了文章 2024-12-18 22:43:47

  MV-Adapter：上交大、北航和 VAST 等联合开源多视图一致图像生成模型，将预训练的文生图扩散模型转为多视图生成器

  MV-Adapter是由北京航空航天大学、VAST和上海交通大学联合开发的多视图一致图像生成模型。该模型能够将预训练的文本到图像扩散模型转化为多视图图像生成器，支持生成高分辨率的多视角图像。

  
• 12.18 22:43:09
  发表了文章 2024-12-18 22:43:09

  Manga Image Translator：开源的漫画文字翻译工具，支持多语言翻译并嵌入原图，保持漫画的原始风格和布局

  Manga Image Translator 是一款开源的漫画图片文字翻译工具，支持多语言翻译并能将翻译后的文本无缝嵌入原图，保持漫画的原始风格和布局。该工具基于OCR技术和深度学习模型，提供批量处理和在线/离线翻译功能。

  
• 12.18 22:42:26
  发表了文章 2024-12-18 22:42:26

  NodeTool：AI 工作流可视化构建器，通过拖放节点设计复杂的工作流，集成 OpenAI 等多个平台

  NodeTool 是一个开源的 AI 工作流可视化构建器，通过拖放节点的方式设计复杂的工作流，无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型，并与 Hugging Face、OpenAI 等平台集成，提供模型访问能力。

  
• 12.18 22:41:20
  发表了文章 2024-12-18 22:41:20

  ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画

  ColorFlow是由清华大学和腾讯ARC实验室共同推出的图像序列着色模型，通过检索增强、上下文学习和超分辨率技术，确保黑白图像序列的着色与参考图像颜色一致，适用于漫画、动画制作等工业应用。

  
• 12.18 22:40:36
  发表了文章 2024-12-18 22:40:36

  VMB：中科院联合多所高校推出多模态音乐生成框架，能够通过文本、图像和视频等多种输入生成音乐

  VMB（Visuals Music Bridge）是由中科院联合多所高校机构推出的多模态音乐生成框架，能够从文本、图像和视频等多种输入模态生成音乐。该框架通过文本桥接和音乐桥接解决了数据稀缺、跨模态对齐弱和可控性有限的问题。

  
• 12.18 22:40:01
  发表了文章 2024-12-18 22:40:01

  MarkItDown：微软开源的多格式转Markdown工具，支持将PDF、Word、图像和音频等文件转换为Markdown格式

  MarkItDown 是微软开源的多功能文档转换工具，支持将 PDF、PPT、Word、Excel、图像、音频等多种格式的文件转换为 Markdown 格式，具备 OCR 文字识别、语音转文字和元数据提取等功能。

  
• 12.17 22:12:03
  发表了文章 2024-12-17 22:12:03

  Lyra：SmartMore 联合香港多所高校推出的多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力

  Lyra是由香港中文大学、SmartMore和香港科技大学联合推出的高效多模态大型语言模型，专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型和多模态LoRA模块，减少训练成本和数据需求，支持多种模态理解和推理任务。

  
• 12.17 22:11:09
  发表了文章 2024-12-17 22:11:09

  LatentLM：微软联合清华大学推出的多模态生成模型，能够统一处理和生成图像、文本、音频和语音合成

  LatentLM是由微软研究院和清华大学联合推出的多模态生成模型，能够统一处理离散和连续数据，具备高性能图像生成、多模态大型语言模型集成等功能，展现出卓越的多模态任务处理能力。

  
• 12.17 22:10:30
  发表了文章 2024-12-17 22:10:30

  Ruyi：图森未来推出的图生视频大模型，支持多分辨率、多时长视频生成，具备运动幅度和镜头控制等功能

  Ruyi是图森未来推出的图生视频大模型，专为消费级显卡设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构，能够降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。

  
• 12.17 22:09:50
  发表了文章 2024-12-17 22:09:50

  Apollo：Meta 联合斯坦福大学推出专注于视频理解的多模态模型，能够理解长达数小时的视频

  Apollo是由Meta和斯坦福大学合作推出的大型多模态模型，专注于视频理解。该模型通过“Scaling Consistency”现象，在较小模型上的设计决策能够有效扩展至大型模型，显著提升了视频理解能力。

  
• 12.17 22:09:15
  发表了文章 2024-12-17 22:09:15

  RDT：清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集，基于模仿能力机器人能够自主完成复杂任务

  RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。

  
• 12.17 22:07:22
  发表了文章 2024-12-17 22:07:22

  BrushEdit：腾讯和北京大学联合推出的图像编辑框架，通过自然语言指令实现对图像的编辑和修复

  BrushEdit是由腾讯、北京大学等机构联合推出的先进图像编辑框架，结合多模态大型语言模型和双分支图像修复模型，支持基于指令引导的图像编辑和修复。

  
• 12.17 22:06:47
  发表了文章 2024-12-17 22:06:47

  Leffa：Meta AI 开源精确控制人物外观和姿势的图像生成框架，在生成穿着的同时保持人物特征

  Leffa 是 Meta 开源的图像生成框架，通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本，适用于多种扩散模型，展现了良好的模型无关性和泛化能力。

  
• 12.16 23:18:42
  发表了文章 2024-12-16 23:18:42

  Kimi 上线视觉思考模型，K1 系列强化学习模型正式开放，无需借助外部 OCR 处理图像与文本进行思考并回答

  k1视觉思考模型是kimi推出的k1系列强化学习AI模型，具备端到端图像理解和思维链技术，能够在数学、物理、化学等领域表现优异。本文详细介绍了k1视觉思考模型的功能、技术原理、使用方法及其在多个应用场景中的表现。

  
• 12.16 23:18:07
  发表了文章 2024-12-16 23:18:07

  CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性

  CosyVoice 2.0 是阿里巴巴通义实验室推出的语音生成大模型升级版，通过有限标量量化技术和块感知因果流匹配模型，显著提升了发音准确性、音色一致性和音质，支持多语言和流式推理，适合实时语音合成场景。

  
• 12.16 23:17:28
  发表了文章 2024-12-16 23:17:28

  Megrez-3B-Omni：无问芯穹开源最强端侧全模态模型，支持理解图像、音频和文本三种模态数据

  Megrez-3B-Omni 是无问芯穹开源的端侧全模态理解模型，支持图像、音频和文本三种模态数据的处理，具备高精度和高推理速度，适用于多种应用场景。

  
• 12.16 23:16:59
  发表了文章 2024-12-16 23:16:59

  FreeScale：无需微调即可提升模型的图像生成能力，生成 8K 分辨率的高质量图像

  FreeScale是一个无需微调的推理框架，旨在提升扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息，首次实现了8K分辨率图像的生成，显著提高了生成内容的质量和保真度，同时减少了推理时间。

  
• 12.16 23:16:31
  发表了文章 2024-12-16 23:16:31

  Freestyler：微软联合西工大和香港大学推出说唱音乐生成模型，支持控制生成的音色、风格和节奏等

  Freestyler是由西北工业大学、微软和香港大学联合推出的说唱乐生成模型，能够根据歌词和伴奏直接生成说唱音乐。该模型基于语言模型生成语义标记，并通过条件流匹配模型和神经声码器生成高质量音频。Freestyler还推出了RapBank数据集，支持零样本音色控制和多种应用场景。

  
• 12.15 02:08:39
  发表了文章 2024-12-15 02:08:39

  POINTS 1.5：腾讯微信开源的多模态大模型，超越了业界其他的开源视觉语言模型，具备强大的视觉和语言处理能力

  POINTS 1.5是腾讯微信推出的多模态大模型，基于LLaVA架构，具备强大的视觉和语言处理能力。它在复杂场景的OCR、推理能力、关键信息提取等方面表现出色，是全球10B以下开源模型中的佼佼者。

  
• 12.15 02:08:02
  发表了文章 2024-12-15 02:08:02

  Meta Motivo：Meta 推出能够控制数字智能体动作的 AI 模型，提升元宇宙互动体验的真实性

  Meta Motivo 是 Meta 公司推出的 AI 模型，旨在控制数字智能体的全身动作，提升元宇宙体验的真实性。该模型通过无监督强化学习算法，能够实现零样本学习、行为模仿与生成、多任务泛化等功能，适用于机器人控制、虚拟助手、游戏角色动画等多个应用场景。

  
• 12.15 02:06:44
  发表了文章 2024-12-15 02:06:44

  SVDQuant：MIT 推出的扩散模型后训练的量化技术，能够将模型的权重和激活值量化至4位，减少内存占用并加速推理过程

  SVDQuant是由MIT研究团队推出的扩散模型后训练量化技术，通过将模型的权重和激活值量化至4位，显著减少了内存占用并加速了推理过程。该技术引入了高精度的低秩分支来吸收量化过程中的异常值，支持多种架构，并能无缝集成低秩适配器（LoRAs），为资源受限设备上的大型扩散模型部署提供了有效的解决方案。

  
• 12.13 21:25:27
  发表了文章 2024-12-13 21:25:27

  Insight-V：腾讯联合南洋理工、清华大学推出提升长链视觉推理能力的多模态模型

  Insight-V是由南洋理工大学、腾讯公司和清华大学联合推出的多模态模型，旨在提升长链视觉推理能力。通过渐进式数据生成、多智能体系统和两阶段训练流程，Insight-V在多个视觉推理基准测试中表现出色，展现出强大的视觉推理能力。

  
• 12.13 21:24:40
  发表了文章 2024-12-13 21:24:40

  Maya：基于 LLaVA 开发的多模态小模型，能理解和处理八种语言，适用于低资源环境

  Maya 是一个开源的多语言多模态模型，能够处理和理解八种不同语言，包括中文、法语、西班牙语、俄语、印地语、日语、阿拉伯语和英语。该模型基于LLaVA框架，通过指令微调和多语言数据集的预训练，提升了在视觉-语言任务中的表现，特别适用于低资源语言的内容生成和跨文化理解。

  
• 12.13 21:23:53
  发表了文章 2024-12-13 21:23:53

  DiffSensei：AI 漫画生成框架，能生成内容可控的黑白漫画面板，支持多角色和布局控制

  DiffSensei 是一个由北京大学、上海AI实验室及南洋理工大学共同推出的AI漫画生成框架，能够生成可控的黑白漫画面板。该框架整合了基于扩散的图像生成器和多模态大型语言模型（MLLM），支持多角色控制和精确布局控制，适用于漫画创作、个性化内容生成等多个领域。

  
• 12.13 21:22:52
  发表了文章 2024-12-13 21:22:52

  ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器

  ChatMCP 是一款基于模型上下文协议（MCP）的 AI 聊天客户端，支持多语言和自动化安装。它能够与多种大型语言模型（LLM）如 OpenAI、Claude 和 OLLama 等进行交互，具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。

  
• 12.13 21:22:14
  发表了文章 2024-12-13 21:22:14

  Promptic：轻量级 LLM 应用开发框架，提供完善的底层功能，使开发者更专注于构建上层功能

  Promptic 是一个轻量级的 LLM 应用开发框架，支持通过一行代码切换不同的 LLM 服务提供商。它提供了类型安全的输出、流式支持、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能，而不是底层的复杂性。

  
• 12.13 21:21:23
  发表了文章 2024-12-13 21:21:23

  CodeArena：在线 LLM 编程竞技场！用于测试不同开源 LLM 的编程能力，实时更新排行榜

  CodeArena 是一个在线平台，用于测试和比较不同大型语言模型（LLM）的编程能力。通过实时显示多个 LLM 的代码生成过程和结果，帮助开发者选择适合的 LLM，并推动 LLM 技术的发展。