RWKV-7 2.9B 开源发布!纯 RNN 无 KV cache,支持世界所有语言

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 2025 年 2 月 11 日,RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型(以下简称 RWKV-7-2.9B)。

2025 年 2 月 11 日,RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型(以下简称 RWKV-7-2.9B)。

RWKV-7-2.9B 模型基于 RWKV World V3 数据集训练。无论是模型评测还是实际体验,RWKV-7-2.9B 都超越了上一代 RWKV-6-7B 模型。

英文和多语言测评

RWKV-7-2.9B 模型的英文和多语言能力,均显著超越所有同尺寸模型,包括 Llama 3.2 3B、Qwen2.5 3B 等知名优秀开源模型。

RWKV-7-2.9B-benchmark

MMLU 测试

在选择题形式的 MMLU 测试上,RWKV-7-2.9B 模型得分为 54.56%。作为对比,上一版本的 RWKV-6-World-3B-V2.1 模型 MMLU 评分是 32.38%。

生成案例

以下是 RWKV-7-2.9B 的生成案例(使用 RWKV Runner 运行)。

代码任务

RWKV-7-2.9B-v3-demo1

RWKV-7-2.9B-v3-demo2

多语言任务

RWKV-7-2.9B 多语言写请假信:

RWKV-7-2.9B-v3-demo3

Lieber Herr [先生的名字],
Ich möchte Ihnen mitteilen, dass ich mich auf dem Weg zur Marsrakete befinde und morgen eine Woche lang fehlen werde. Ich habe diese Entscheidung getroffen, weil ich mein Leben erkunden möchte.
Es war ein großer Genuss, von Ihnen unterrichtet worden zu sein und vieles zu lernen. Ich werde dieses Wissen nie vergessen.
Ich hoffe, dass wir uns bald wiedersehen werden und danke Ihnen für alles!
Mit freundlichen Grüßen
[Ihr Name]
尊敬的[先生姓名]先生:
我在此通知您我正在前往火星火箭的途中,我将从明天起缺席一周。做出这个决定是因为我想探索我的生活。
能够接受您的教导并学习很多东西是一种极大的享受。我将永远不会忘记这些知识。
希望我们能很快再次见面并为一切向您致谢!
此致
敬礼
[您的姓名]
--------------------------------------------------------------------------------------
            [          $$],
                                                                                      .                                           .
                                                 .                                        .
                                            !
        
[           ]
尊敬的[老师姓名]先生:
我谨此告知您:我将开始参与深海潜水艇的作业项目(每周将固定缺席一日)。作出这个决定是因为我想借此机会探索未知的世界。
能跟随您学习并收获丰富的知识是我的荣幸,这些宝贵的教导我将永远铭记于心。
期待未来能有重逢之日!衷心感谢您给予的一切!
此致 敬礼
[申请人姓名]

角色扮演

RWKV-7-2.9B 进行“八戒”角色扮演,未添加任何角色扮演提示词或者角色预设。

RWKV-7-2.9B-v3-demo4

小说续写

RWKV-7-2.9B 续写小说(高亮板块为 deepseek-R1 生成的前文):

RWKV-7-2.9B-v3-demo5

模型下载

https://www.modelscope.cn/models/Blink_DL/rwkv-7-world/files

在线 Demo

https://modelscope.cn/studios/Blink_DL/RWKV-Gradio-1

User: (你的问题,比如“请为我推荐三本适合五岁小孩阅读的世界名著” )
 
Assistant:
Instruction: (你希望模型进行什么操作,比如“请将下列瑞典语翻译成中文”)
 
Input:(输入给模型的内容,比如“hur l?ng tid tog det att bygga twin towers”)
 
Response:

未来计划

RWKV-7-2.9B 模型的强大能力,得益于 RWKV-7 架构的精妙改进。在应用了“动态 State 演化机制”后,RWKV-7 拥有强大的 in-context-learning(上下文学习)能力,在推理过程中更好地学习上下文的关系,生成的内容生更精简、更合理。

RWKV-7-7B 预计将使用新的 RWKV World V3.1 数据集训练。World V3.1 数据集将在 World V3 的基础上新增大量数学、代码和 reasoning 数据,进一步增强模型的代码、数学和推理能力。

点击链接阅读原文:RWKV-Gradio-1

目录
相关文章
|
25天前
|
机器学习/深度学习 自然语言处理
RWKV-7 2.9B 开源发布!纯 RNN 无 KV cache,支持世界所有语言
RWKV-7 2.9B 开源发布!纯 RNN 无 KV cache,支持世界所有语言
|
8月前
|
机器学习/深度学习 自然语言处理 测试技术
社区供稿 | RWKV-6-World 14B正式开源发布,迄今最强的稠密纯RNN大语言模型
2024年7月19日,RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 14B 模型。
|
10月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch搭建循环神经网络(RNN)进行文本分类、预测及损失分析(对不同国家的语言单词和姓氏进行分类,附源码和数据集)
PyTorch搭建循环神经网络(RNN)进行文本分类、预测及损失分析(对不同国家的语言单词和姓氏进行分类,附源码和数据集)
450 2
|
机器学习/深度学习 人工智能 监控
DL之RNN:人工智能为你写代码——基于TF利用RNN算法实现生成编程语言代码(C++语言)、训练&测试过程全记录
DL之RNN:人工智能为你写代码——基于TF利用RNN算法实现生成编程语言代码(C++语言)、训练&测试过程全记录
DL之RNN:人工智能为你写代码——基于TF利用RNN算法实现生成编程语言代码(C++语言)、训练&测试过程全记录
|
机器学习/深度学习 人工智能 算法
DL之RNN:人工智能为你写代码——基于TF利用RNN算法实现生成编程语言代码(C++语言)、训练&测试过程全记录(二)
DL之RNN:人工智能为你写代码——基于TF利用RNN算法实现生成编程语言代码(C++语言)、训练&测试过程全记录
|
机器学习/深度学习 数据库 算法框架/工具
|
9月前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
5月前
|
机器学习/深度学习 数据采集 存储
时间序列预测新突破:深入解析循环神经网络(RNN)在金融数据分析中的应用
【10月更文挑战第7天】时间序列预测是数据科学领域的一个重要课题,特别是在金融行业中。准确的时间序列预测能够帮助投资者做出更明智的决策,比如股票价格预测、汇率变动预测等。近年来,随着深度学习技术的发展,尤其是循环神经网络(Recurrent Neural Networks, RNNs)及其变体如长短期记忆网络(LSTM)和门控循环单元(GRU),在处理时间序列数据方面展现出了巨大的潜力。本文将探讨RNN的基本概念,并通过具体的代码示例展示如何使用这些模型来进行金融数据分析。
706 2
|
9月前
|
机器学习/深度学习 自然语言处理 算法
RNN-循环神经网络
自然语言处理(Nature language Processing, NLP)研究的主要是通过计算机算法来理解自然语言。对于自然语言来说,处理的数据主要就是人类的语言,我们在进行文本数据处理时,需要将文本进行数据值化,然后进行后续的训练工作。
|
9月前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN

热门文章

最新文章