魔搭社区每周速递(7.27-8.3)

简介: 155个模型、123个数据集、68个创新应用、5篇应用文章

 

image.gif

🙋魔搭ModelScope本期社区进展:

📟155个模型:FLUX.1系列、Gemma-2-2b、Kolors-Inpainting、stella_en_400M_v5等;

📁123个数据集:FineTome-100k、Open-Critic-GPT、Alpaca-CoT等;

🎨68个创新应用:DiffSynth 画板、FLUX文生图模型体验空间 等;

📄5篇文章:

  • 消费级显卡,17G显存,玩转图像生成模型FLUX.1!
  • Modelscope Agent实操(六):添加涂鸦作画能力到Modelscope-Agent中
  • 影视与游戏行业AI视频制作的第3步:为角色生成说话视频
  • 解锁开源模型高性能服务:SGLang Runtime 应用场景与实践
  • GraphRAG+Ollama,构建本地精准全局问答系统!

精选模型推荐

FLUX.1系列

由Stable Diffusion核心成员创立的Black Forest Labs推出的FLUX.1,是12B规格的全新文生图系列模型,能生成高分辨率的高质量图片。从模型架构上看,FLUX.1和SD3有很多相似之处,都是基于FlowingMatching调度的模型,都通过引入T5来增强prompt的依从性。而比较显著的区别在于:FLUX.1模型引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块。

FLUX.1包括3个变体模型:FLUX.1-pro、FLUX.1-dev、FLUX.1-schnell,其中dev、schnell均开源。

模型链接:

FLUX.1-dev

https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev

FLUX.1-schnell

https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell

fp8模型版本(社区开发者提供)

https://modelscope.cn/models/AI-ModelScope/flux-fp8

应用示例:

使用ComfyUI,在魔搭社区提供的免费GPU Notebook上,体验FLUX模型,详见教程文章

消费级显卡,17G显存,玩转图像生成模型FLUX.1!

Gemma-2-2b

Gemma 2 2B是 Google DeepMind推出的Gemma 2系列最新成员。这款轻量级模型通过蒸馏学习大型模型,实现了以小博大的卓越效果。Gemma 2 2B在Chatbot Arena的表现超越了所有GPT-3.5系列的模型,彰显了其在对话式人工智能领域的非凡能力。

模型链接:

gemma-2-2b

https://www.modelscope.cn/models/AI-ModelScope/gemma-2-2b

gemma-2-2b-it

https://www.modelscope.cn/models/LLM-Research/gemma-2-2b-it

示例代码:

# pip install accelerate
from modelscope import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("AI-ModelScope/gemma-2-2b")
model = AutoModelForCausalLM.from_pretrained(
    "AI-ModelScope/gemma-2-2b",
    device_map="auto",
    torch_dtype=torch.bfloat16
)
input_text = "who are you."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

image.gif

数据集推荐

FineTome-100k

FineTome 数据集是 arcee-ai/The-Tome 的子集(没有 arcee-ai/qwen2-72b-magpie-en),使用 HuggingFaceFW/fineweb-edu-classifier 重新过滤。

数据集链接:

https://www.modelscope.cn/datasets/AI-ModelScope/FineTome-100k

Open-Critic-GPT

Open-Critic-GPT 数据集是一个合成数据集,用于训练模型识别和修复代码中的错误。该数据集是使用独特的合成数据管道生成的,该管道涉及:

  • 提示使用现有代码示例创建本地模型。
  • 在代码中引入 bug。在拥有模型的同时,从第一人称视角,找到错误并解释它们。
  • 通过在损坏的代码和工作代码的位置移动来操作数据,并从代码中删除 # bug// 和 # error// 注释。

数据集链接:

https://www.modelscope.cn/datasets/AI-ModelScope/Open-Critic-GPT

Alpaca-CoT

该存储库将持续收集各种指令调优数据集。我们将不同的数据集标准化为相同的格式,可以直接通过Alpaca模型的代码进行加载。

数据集链接:

https://www.modelscope.cn/datasets/swift/Alpaca-CoT

精选应用推荐

DiffSynth 画板

DiffSynth 画板提供了 Prompt 分区控制技术,可以通过创建图层精细地控制画面的每一部分,实现了“Prompt 即画笔”。

image.gif

体验直达:

https://www.modelscope.cn/studios/AI-ModelScope/DiffSynth-Kolors-Painter

FLUX文生图模型体验空间

目前最强的开源文生图模型之一,在文字生成、复杂指令遵循和人手生成上具备优势。

体验直达:

https://www.modelscope.cn/studios/muse/flux_dev

社区精选文章

相关文章
|
Arthas 监控 Java
Arthas 可以用于监控和诊断在 Windows 系统下部署的 Tomcat 服务
Arthas 可以用于监控和诊断在 Windows 系统下部署的 Tomcat 服务
1744 2
postman 传入不同组参数循环调用接口
postman 传入不同组参数循环调用接口
2135 0
postman 传入不同组参数循环调用接口
|
6月前
|
算法 定位技术 vr&ar
Rokid手势识别深度测评:从技术原理到开发实战
Rokid通过单摄像头实现高精度手势识别与空间感知,结合AI算法与多模态交互,打造轻量高效的AR解决方案。其UXR SDK提供从底层数据到应用层的完整工具链,助力开发者构建教育、工业、消费等多场景AR应用,推动自然人机交互普及。
693 13
|
数据采集 人工智能 监控
Crawl4LLM:你的模型还在吃垃圾数据?CMU博士开源AI爬虫,自动筛选高价值网页,数据抓取质量飙升300%
Crawl4LLM 是清华大学和卡内基梅隆大学联合开发的智能爬虫系统,通过网页价值评估和优先级队列技术,显著提升大语言模型预训练数据采集效率。
702 4
|
安全 网络协议 Java
【最佳实践系列】高并发调用百炼语音合成大模型
本文介绍了阿里云百炼的CosyVoice语音合成大模型及其高并发调用优化方案。CosyVoice支持文本到语音的实时流式合成,适用于智能设备播报、音视频创作等多种场景。为了高效稳定地调用服务,文章详细讲解了WebSocket连接复用、连接池和对象池等优化技术,并通过对比实验展示了优化效果。优化后,机器负载降低,任务耗时减少,网络负载更优。同时,文章还提供了异常处理方法及常见问题解决方案,帮助开发者更好地集成和使用SDK。
3232 16
|
机器学习/深度学习 人工智能 自然语言处理
深度学习在自然语言处理中的突破与未来趋势####
本文深入探讨了深度学习技术在自然语言处理(NLP)领域的最新进展,重点介绍了其在语言理解、生成及翻译等方面的革新应用。通过对比传统方法的局限性,展示了深度学习如何以其强大的特征提取和学习能力重塑NLP领域。文章还分析了当前面临的挑战,如模型泛化能力、解释性问题及资源消耗等,并展望了未来发展趋势,包括多模态学习、持续学习机制以及更加公平和可解释的AI模型设计。本文旨在为读者提供一个全面而深入的视角,理解深度学习在推动NLP发展的核心作用及其未来的无限可能。 ####
|
机器学习/深度学习 人工智能 算法
|
存储 Kubernetes Perl
pv和pvc的区别、关系,如何设置使用的步骤
PV(Persistent Volume)和 PVC(Persistent Volume Claim)是 Kubernetes 中用于管理持久化存储的两个关键概念。 PV 是集群中的一个持久化存储资源,它是由集群管理员预先创建和配置的。PV 可以是物理存储设备、存储阵列、网络存储等。PV 有自己的生命周期,并且可以被多个 Pod 共享。 PVC 是 Pod 对 PV 的请求,它用于声明 Pod 对存储的需求。PVC 描述了 Pod 所需的存储容量、访问模式等属性。当创建 PVC 时,Kubernetes 会尝试将其与可用的 PV 进行匹配和绑定。一旦 PVC 成功绑定到 PV,Pod 就可
1829 0
|
Linux
linux下ffmpeg安装
<p style="border: 0px; font-family: Muli, sans-serif; font-size: 15px; margin-top: 0px; margin-bottom: 1.5em; outline: 0px; padding-top: 0px; padding-bottom: 0px; vertical-align: baseline; word-wrap
10207 57
|
算法
无损加速最高5x,EAGLE-2让RTX 3060的生成速度超过A100
【8月更文挑战第5天】EAGLE-2是一种针对大型语言模型(LLMs)的无损加速算法,通过上下文感知的动态草稿树技术显著提升推理速度。它利用小型模型快速生成草稿,并依据置信度动态调整草稿树结构以提高标记接受率。实验表明EAGLE-2在多种任务上实现2.5x至5x的加速比,且不影响生成质量。相较于其他加速方法,EAGLE-2更高效可靠。[论文链接: https://arxiv.org/pdf/2406.16858]
491 11