阿里版ChatGPT「通义千问」邀请测试,我们第一时间试了试

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
简介: 阿里版ChatGPT「通义千问」邀请测试,我们第一时间试了试


ChatGPT 赛道,真正的竞逐开始了。

没有一点点预告,阿里版的 ChatGPT 语言大模型来了。


4 月 7 日下午,阿里云突然宣布自研大模型开启企业邀测,模型名为「通义千问」。

 


官方非常低调,表示现阶段该模型主要定向邀请企业用户进行体验测试。


虽然但是,懂的都懂。国内科技圈直接炸裂。实力玩家入场,大模型的竞争真正开始了。

 


通义千问链接:

https://tongyi.aliyun.com/


通义千问能完成哪些任务,解放哪些生产力,能达到 ChatGPT 几分功力?机器之心第一时间拿到了邀测账号,为大家体验了一把阿里大模型的能力。


前瞻评测


打开通义千问,是一个聊天对话框,限定输入 1000 个字以内:


我们想要从文字能力、数学、代码、翻译等多方面「调戏」下通义千问。


首先,我们让它介绍下自己。


通义千问自报家门,「来自达摩院的超大规模语言模型」,能力包括文字创作、代码撰写等。



我们询问它是否知道机器之心,它也毫不谦虚,「我对机器之心非常了解」。机器之心对此回答表示满意。



这些也许都是小儿科,接下来我们真刀真枪的与通义千问交锋几轮。


文科:诗与文与翻译


首先是作为大模型的文字创作能力。它会写诗吗?它会做文章吗?它写的文章是不是狗屁不通呢?


春天来了,我们以此为题考验下它写诗的能力。



它给出了一首还不错的现代诗。


然后是写小作文的能力。给一个北京 2021 年中考的作文题目:有学者说,「读史使人明智」了解过去,可以让我们增长智慧,对现实生活产生新的思考。假如有一部可以跨越时间的电话,可以打给过去的任何人,你会打给谁?想了解什么?打完之后会发生什么事情?请你以「我挂断了跨越时间的电话」为开头,发挥想象,写一篇故事。



它选择把电话打给 10 年前的自己,「电话那头顿时陷入了沉默,我能够感受到他内心的挣扎」。瞬间就有画面感了。你看完后,觉得能为这篇文章打几分?


这里我们也不正经一下,考察下它胡编乱造的功底。这段时间 Midjourney 生成的国足夺冠、马斯克穿越苏联工厂的图红遍网络。我们让通义千问为这些图创造下「真实地」文字故事。




不知道马斯克会给几分,反正这个创作能力我给满分。


下面还是回到正经的能力测试。


我们知道,ChatGPT 很大的一项能力是多语言能力,我们曾用中文提示词让 ChatGPT 用德语写了一封信。


通义千问也具备多语言能力,这和之前国内发布过的一批 ChatGPT 类产品有所差别。我们可以使用英语、法语向通义千问提问并交流。



备注:你能写一首法文诗来描述晴朗的天气吗?


翻译任务也不在话下,下面是一道非常经典的英文翻译,里面的英文俚语成分非常多。



看起来效果真的不错。


理科:数学与代码


数学与代码能力一直是考验大模型的基准任务。我们也用一些问题考验下通义千问。


首先,我们出一个简单的概率题:


 

看起来并不会难倒通义千问。


调戏 ChatGPT 类产品,最经典的数学问题就是鸡兔同笼,这也曾难倒了一大批对话模型。我们也拿这个问题考验下它:



答案准确。


不过我们用更难的一些题来难为它时,也会犯错。真是难为孩子了。


另外,现在的大模型都标榜自己有写代码的能力,我们试了试通义千问:


 

代码是对的,输出结果错误。我们再次进行提示,可以获得正确的结果。



通过一些测试我们发现,通义千问可以对很多问题进行详细的解释,但有时也会和其他语言模型一样、出现「幻觉」情况。


「百宝袋」:为特定任务而定制?


另外还有小应用集合「百宝袋」,其中包含特定任务的文本生成功能,如写提纲、菜谱、写诗等不同领域的生成。效果还不错,所以我们可以猜测,这是阿里通义千问为特定领域任务而定制的模块。

 


比如用「彩虹屁」专家,让它帮助进行一些网上对线,它「阴阳怪气」的水平很高。


 

展示一下 AI 大模型的标准能力之一,输出菜谱,这个结果会不会帮到你呢?



通义千问能否成为 ChatGPT 那样的爆款?还无法预知结果。但它看上去非常聪明,甚至短短一两天测试期间,都有肉眼可感的成长。更重要的是,它身上承载了中国大模型的希望,有大模型很好,是自己的更好。


最后补充一句,此次测试的版本还未包含多模态相关的能力,不过魔搭社区(ModelScope)上已经有文生图等模型了,可以预见多模态也将会是通义千问未来发展的能力之一。


不止于大模型


对于关注阿里大模型进展的读者来说,「通义千问」中的「通义」并不陌生,它是阿里达摩院 2022 年 9 月发布的大模型系列的名字。从 2019 年开始,阿里就开始了大模型的研究,先后推出了被称为中文版 GPT-3 的中文大语言模型 PLUG,以及全球首个 10 万亿参数的多模态大模型 M6。去年 11 月,阿里达摩院联手中国计算机学会开源发展委员会共同推出的 AI 模型社区 —— 魔搭 ModelScope,在国内首先提倡模型即服务的理念(Model as a Service)。


更重要的是,大模型竞赛本质上已延伸到算力层面,云计算是支撑更聪明 AI 的基础。去年 8 月,阿里云推出全栈智能计算解决方案「飞天智算平台」,为科研、公共服务和企业机构提供强大的智能计算服务,可将计算资源利用率提高 3 倍以上,AI 训练效率提升 11 倍,推理效率提升 6 倍。


此前,阿里也通过天猫精灵的鸟鸟分鸟「压缩版」大模型演示了一些应用的可能,能力令人刮目相看。随着此轮 AI 浪潮的来临,我们期待未来大模型的能力能真正实现落地应用,甚至创造出新的前所未有的「杀手级」应用。


通义千问的到来,让我们看到,一个崭新的 AI 大时代正式开启了。

相关文章
|
2月前
|
自然语言处理 机器人 Python
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
ChatPaper是一个基于文本生成技术的智能研究论文工具,能够根据用户输入进行智能回复和互动。它支持快速下载、阅读论文,并通过分析论文的关键信息帮助用户判断是否需要深入了解。用户可以通过命令行或网页界面操作,进行论文搜索、下载、总结等。
53 1
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
|
1月前
|
缓存 自然语言处理 并行计算
基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
本文介绍了基于阿里云通义千问72B大模型(Qwen-72B-Chat)的性能基准测试,包括测试环境准备、模型部署、API测试等内容。测试环境配置为32核128G内存的ECS云主机,配备8块NVIDIA A30 GPU加速卡。软件环境包括Ubuntu 22.04、CUDA 12.4.0、PyTorch 2.4.0等。详细介绍了模型下载、部署命令及常见问题解决方法,并展示了API测试结果和性能分析。
956 1
|
3月前
|
Web App开发 JavaScript 前端开发
ChatGPT与基于GUI的自动化测试
ChatGPT与基于GUI的自动化测试,chrome浏览器+ cypress +HTML代码需要主机名脚本语言和测试目标的URL。
30 10
|
3月前
|
JavaScript 前端开发 Java
ChatGPT与单元测试
ChatGPT与单元测试,ChatGPT没有给答案,只给了个方法。
38 9
|
3月前
|
监控 安全 测试技术
ChatGPT回答关于软件测试问题
ChatGPT回答关于软件测试的问题。
36 7
|
3月前
|
JavaScript 前端开发 测试技术
ChatGPT与接口测试
ChatGPT与接口测试,测试通过
53 5
|
4月前
|
缓存 运维 容灾
入行5年,谈谈我在阿里做测试开发的经验
作者在阿里一直从事测试开发相关工作,这几年学习很多、收获很多,作者希望给还在该方向摸爬滚打的同学一些启发和方向。
|
3月前
|
SQL 搜索推荐 测试技术
ChatGPT与测试分析
本产品需求文档(PRD)针对论坛网站的搜索功能优化,旨在提升搜索结果的准确性和速度,增强用户体验。文档涵盖项目背景、目标、功能需求(如搜索结果准确性、搜索速度优化、过滤和排序等)、非功能需求(如兼容性、性能、安全性等)、用户界面设计和技术架构等内容,并制定了详细的测试和上线计划,确保项目顺利实施。
30 0
|
4月前
|
人工智能 搜索推荐
|
5月前
|
设计模式 人工智能 测试技术
利用人工智能ChatGPT自动生成基于PO的数据驱动测试框架
PO(PageObject)设计模式将某个页面的所有元素对象定位和对元素对象的操作封装成一个 Page 类,并以页面为单位来写测试用例,实现页面对象和测试用例的分离。 数据驱动测试(DDT)是一种方法,其中在数据源的帮助下重复执行相同顺序的测试步骤,以便在验证步骤进行时驱动那些步骤的输入值和/或期望值。