魔搭社区模型速递(4.20-4.26)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 魔搭ModelScope本期社区进展:2227个模型,270个数据集,167个创新应用,10篇内容

image.gif 编辑

🙋魔搭ModelScope本期社区进展:

📟2227个模型:Bitnet-b1.58-2B-4T、MAGI-1、Dia-1.6B、SkyReels-V2系列等;

📁270个数据集:OpenMathReasoning、xtreme、InternVL-Data等;

🎨167个创新应用:高度逼真的对话声音合成Dia-1.6B、hidream-arena、ChatTests编题等;

📄 10篇内容:

  • Ollama-Deep-Researcher-本地Mac结合魔搭社区模型搭建网页研究助手
  • 答疑机器人实践:AgentScope多智能体带你玩转多源召回
  • 微软推出bitnet-b1.58-2B-4T:极致的量化,小巧而强大
  • 智源数据新基建系列 Workshop(第1期)来了!从大模型到具身智能,线上线下同步!
  • ImagePulse图律脉动数据集开源发布:解码GPT-4o级图像生成能力,四大原子数据集+自动生成工具开放
  • Prot2Chat:融合蛋白质序列与结构的新型问答框架
  • “一丹一世界”三等奖 | 绮影录 创作分享
  • “一丹一世界”二等奖 | MAJICFLUS_新浮世 创作分享
  • "一丹一世界"一等奖 | 曙光_麦橘超然 创作分享
  • "一丹一世界"二等奖 | TPSZ_二次元卡通梦幻插画风格-童梦拾光_majiuFlux版本 创作分享

 

01.模型推荐

Bitnet-b1.58-2B-4T

BitNet-b1.58-2B-4T 是微软开源的一种创新量化模型,采用1.58位的三进制量化方案(权重为+1、0、-1),旨在通过大幅降低计算成本和内存占用,提升大语言模型在端侧等资源受限场景下的应用效率,同时缓解传统量化方法中因精度降低而导致的准确率下降问题。

模型地址

https://modelscope.cn/models/AI-ModelScope/bitnet-b1.58-2B-4T

示例代码

使用transformers进行推理:

环境安装:

!pip install git+https://github.com/shumingma/transformers.git

image.gif

示例代码

import torch
from modelscope import AutoModelForCausalLM, AutoTokenizer
model_id = "AI-ModelScope/bitnet-b1.58-2B-4T"
# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)
# Apply the chat template

image.gif

更多推理实战

微软推出bitnet-b1.58-2B-4T:极致的量化,小巧而强大

MAGI-1

MAGI-1是由Sand.ai团队开源的一个世界模型,它通过自回归预测一系列视频块(定义为固定长度的连续帧片段)来生成视频。MAGI-1 经过训练,可以去除随时间单调递增的单块噪声,从而实现因果时间建模,并自然支持流式生成。它在以文本指令为条件的图像到视频 (I2V) 任务中表现出色,提供了高度的时间一致性和可扩展性,这得益于多项算法创新和专用的基础架构堆栈。MAGI-1 还通过逐块提示支持可控生成,从而实现流畅的场景过渡、长时域合成和细粒度的文本驱动控制。我们相信,MAGI-1 为统一高保真视频生成、灵活的指令控制和实时部署提供了一个充满希望的方向。

模型地址

https://modelscope.cn/models/sand-ai/MAGI-1

示例代码

使用 Docker 环境运行(推荐)

docker pull sandai/magi:latest
docker run -it --gpus all --privileged --shm-size=32g --name magi --net=host --ipc=host --ulimit memlock=-1 --ulimit stack=6710886 sandai/magi:latest /bin/bash

image.gif

 

使用源代码运行

# Create a new environment
conda create -n magi python==3.10.12
# Install pytorch
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia
# Install other dependencies
pip install -r requirements.txt
# Install ffmpeg
conda install -c conda-forge ffmpeg=4.4
# Install MagiAttention, for more information, please refer to https://github.com/SandAI-org/MagiAttention#
git clone git@github.com:SandAI-org/MagiAttention.git
cd MagiAttention
git submodule update --init --recursive
pip install --no-build-isolation .

image.gif

 

SkyReels-V2系列

SkyReels-V2是昆仑万维SkyReels团队推出全球首创扩散强迫框架的无限时长电影生成模型,通过融合多模态大语言模型、多阶段预训练与强化学习技术实现联合优化,基于Diffusion Forcing架构,支持文本到视频、图像到视频的高质量生成,适用于故事创作、广告制作和影视特效等多种场景。本次开源了1.3B、5B、13B多个尺寸版本。

模型合集

https://modelscope.cn/collections/SkyReels-V2-f665650130b144

示例代码

10秒视频同步生成

model_id=Skywork/SkyReels-V2-DF-14B-540P
# synchronous inference
python3 generate_video_df.py \
  --model_id ${model_id} \
  --resolution 540P \
  --ar_step 0 \
  --base_num_frames 97 \
  --num_frames 257 \
  --overlap_history 17 \
  --prompt "A graceful white swan with a curved neck and delicate feathers swimming in a serene lake at dawn, its reflection perfectly mirrored in the still water as mist rises from the surface, with the swan occasionally dipping its head into the water to feed." \
  --addnoise_condition 20 \
  --offload \
  --teacache \
  --use_ret_steps \
  --teacache_thresh 0.3

image.gif

 

30秒视频异步生成

model_id=Skywork/SkyReels-V2-DF-14B-540P
# asynchronous inference
python3 generate_video_df.py \
  --model_id ${model_id} \
  --resolution 540P \
  --ar_step 5 \
  --causal_block_size 5 \
  --base_num_frames 97 \
  --num_frames 737 \
  --overlap_history 17 \
  --prompt "A graceful white swan with a curved neck and delicate feathers swimming in a serene lake at dawn, its reflection perfectly mirrored in the still water as mist rises from the surface, with the swan occasionally dipping its head into the water to feed." \
  --addnoise_condition 20 \
  --offload

image.gif

 

Dia-1.6B

Dia-1.6B是由韩国研究团队 Nari Labs 开源的一个 1.6B 参数的文本转语音模型,仅凭 1.6B 小参数即可实现情感控制、非语言声音(如笑声、咳嗽)和零样本声纹复刻,支持从文本脚本生成多角色对话,通过标签区分角色生成自然语音。目前该模型仅支持英语生成。

模型地址

https://www.modelscope.cn/models/nari-labs/Dia-1.6B

 

02.数据集推荐

OpenMathReasoning

OpenMathReasoning是一个数学推理领域专业数据集,旨在支持数学问题解决与推理相关的人工智能模型训练和研究,助力提升模型在数学领域的理解和解题能力。

数据集链接:

https://modelscope.cn/datasets/AI-ModelScope/OpenMathReasoning

xtreme

XTREME 是一个由谷歌开发的跨语言自然语言推理(XNLI)和多任务基准数据集,旨在评估预训练多语言模型的跨语言泛化能力,涵盖40种语言和九项任务,支持多语言推理和理解的研究与应用。

数据集链接:

https://modelscope.cn/datasets/google/xtreme

InternVL-Data

InternVL-Data 是由 OpenGVLab 提供的高质量多模态大语言模型(MLLMs)数据集,专注于图像、文本和视频理解任务,旨在支持相关领域的研究和开发,推动多模态模型在多种任务中的性能提升。

数据集链接:

https://modelscope.cn/datasets/OpenGVLab/InternVL-Data

03.精选应用

高度逼真的对话声音合成Dia-1.6B

体验直达:

https://modelscope.cn/studios/nari-labs/Dia-1.6B

Hidream-arena

体验直达:

https://modelscope.cn/studios/WaveSpeed/hidream-arena

ChatTests编题

体验直达:

https://modelscope.cn/studios/aomferni/Chattests_2503

04.社区精选文章


目录
打赏
0
4
4
0
253
分享
相关文章
魔搭社区模型速递(3.30-4.12)
魔搭ModelScope本期社区进展:新增1911个模型,297个数据集,113个创新应用, 10篇内容。
125 3
魔搭社区模型速递(3.30-4.12)
魔搭社区模型速递(3.23-3.29)
🙋魔搭ModelScope本期社区进展:619个模型,93个数据集,151个创新应用,7篇内容。
87 4
魔搭社区模型速递(3.23-3.29)
魔搭社区模型速递(3.16-3.22)
魔搭ModelScope本期社区进展:📟1177个模型,📁216个数据集,416个创新应用,📄 11篇内容
111 1
魔搭社区模型速递(3.9-3.15)
魔搭ModelScope本期社区进展:1066个模型,153个数据集,125个创新应用,13篇内容
99 1
魔搭社区模型速递(3.2-3.8)
🙋魔搭ModelScope本期社区进展:1340个模型,220个数据集,🎨91个创新应用,📄 8篇内容
165 9
魔搭社区模型速递(2.16-3.1)
🙋魔搭ModelScope本期社区进展:📟2621个模型,Ovis2系列模型等,📁276个数据集,🎨203个创新应用,📄 12篇技术内容
158 2
魔搭社区每周速递(12.15-12.21)
🙋魔搭ModelScope本期社区进展:📟1914个模型,📁58个数据集,🎨78个创新应用,📄 8篇内容
203 4
魔搭社区每周速递(12.15-12.21)
魔搭社区每周速递(12.29-1.4)
魔搭ModelScope本期社区进展:828个模型,72个数据集,61个创新应用,9篇内容
171 10

热门文章

最新文章