“开源”vs“商业”,差别到底有多大?这篇测试一目了然

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 来自用户的声音…开源就能搞定,还要选商业方案吗?我是小白用户,开源方案上手快吗?性能有极致要求,开源能满足吗?追求性价比,哪种方案更适合我?我对MySQL很熟悉,数据分析场景适合吗?上述问题如何解?看阿里云帮你对比分析!

近些年来在数据分析领域,涌现出很多开源的技术方案,例如Presto、Spark、Impala等。面对多种选择,我们往往会比较困惑、无从下手。此外,MySQL生态非常火热,但对于数据分析类场景,使用此类关系型数据库是否合适呢?阿里云近期,基于常见的开源数据分析产品和数据库与阿里云自研的分析型数据库MySQL版进行了对比性能测试,希望从中能帮你找到答案。

01、测试标准:TPC-H

本次对比测试,是使用TPC-H标准。TPC-H(商业智能计算测试)是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能。这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义。TPC-H 是根据真实的生产运行环境来建模,模拟了一套销售系统的数据仓库。其共包含8个基本关系,数据量可设定从1G~3T不等。其基准测试共包含了22个查询,主要评价指标各个查询的响应时间,即从提交查询到结果返回所需时间。其测试结果可综合反映系统处理查询时的能力。

02、测试方案

测试基于阿里云基础环境,在同等(或接近)的硬件配置下,对比分析型数据库MySQL版与MySQL、Presto、Spark、Impala在同等数据规模(100G)下,标准TPC-H的测试结果对比。测试环境如下表:

111.jpg
222.jpg

03、测试结果

如下表可以看出,分析型数据库MySQL版比MySQL8.0性能提升100多倍,比其他开源数据分析产品也有6~10倍的性能提升。

改动.jpg

*表格中对比数据为性能提高倍数,计算方法为(开源-ADB)/ADB。

*测试中Impala、Presto因语法或资源问题,无法全部完成测试。

04、解读数据

44444.jpg

在与关系型数据库典型产品-MySQL对比中,分析型数据库MySQL版实现了百余倍的提升。虽然MySQL采用了最新的8.0版本,在复杂SQL处理能方面有了长足的进步,但与专业数据分析类产品对比,差距明显。

在实际使用中,对于查询不太复杂、数据规模不大、响应时间要求不高的情况下,使用原生MySQL是可以接受的。对于稍显复杂的场景,还是建议选择专业的分析类产品。

对Presto、Spark、Impala的对比中,分析型数据库MySQL版也实现了6~10余倍的性能提升。同样作为分布式数据分析类产品,分析型数据库MySQL版经过多年技术积累,在存储架构、优化器、执行引擎等多领域的创新性成果,可大幅提高海量数据的实时查询性能。测试中除分析型数据库MySQL版外,其余产品都进行部分调优工作(包括参数调整、数据结构调整、语句改写等);而只有分析型数据库MySQL版真正实现了“开箱即用”,零优化、免维护、无开发。除在TPC-H提供的建表语句中增加对分布键的定义外(原有测试标准未考虑到分布式数据库场景),其余未做任何调整。

05、如何选择

回到文章之初的问题,我们如何来选择?这里简单整理了几点:

极致性能

对比测试结果来看,分析型数据库MySQL版在性能上优势明显。这也是依赖于多年技术积累所致。

语法兼容

从测试过程来看,分析型数据库MySQL版对MySQL生态兼容很好,语句无需修改即可使用。其他产品在兼容性方面还需进一步加强。

技术基础

如果你的技术比较薄弱,选择分析型数据库MySQL版的商用方案无疑是很合适的。如果你已经在其他大数据栈有了多年积累,可快速解决问题,则可以选择其他产品。

高性价比

上述测试中,未算考虑经济投入。在使用同样云端资源的情况下,分析型数据库MySQL版较其他产品,具有明显的经济优势。同时,分析型数据库MySQL版也提供了丰富的规格选择,进一步为客户降低成本。例如之前推出的基础版规格,将大数据分析门槛大幅降低;新推出的大存储规格,则面向具备海量数据体量用户;其未来还将有更为丰富且具有弹性的规格推出。

简单易用

零维护、免优化,这是分析型数据库MySQL版给很多人的直观印象。其将数据分析这一原本门槛较高的领域,变得触手可得。

06、写在最后

开源技术方案与商业方案之间的选择是一个长期的命题。面对多种选择时,我们需要从自身的场景需求、技术条件和经济实力等方面综合考虑,这些因素给每个人带来的选择也不尽相同。希望以上的测试结果能够为大家在选择数据库产品时有一个综合维度的参考,帮助大家找到合适自己的方案。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
8天前
|
资源调度 测试技术 Linux
一款接口自动化神器—开源接口测试平台Lim(Less is More)
一款接口自动化神器—开源接口测试平台Lim(Less is More)
154 2
|
8天前
|
C++
jrtplib开源库系列之一:jrtplib介绍、安装和测试(window 10环境介绍)
关于jrtplib库网上已经有很多介绍,而且目前jrtplib作者已经停止更新(Apr 18, 2020),最新版本为v3.11.2。本系列内容也以该版本进行介绍。 相信你已经对RTP/RTCP协议有一定的了解,并想更深入的了解RTP协议的具体实现,jrtplib就是使用使用C++实现的RTP/RTCP协议。具体标准为RFC3550,如果想仔细阅读原文,但是对英文又有点吃力,可以参考我的博客RTP/RTCP中英文对照,在博客的后面有百度链接,是对RFC3550的中文翻译,可能很多地方不太准确,有些内容是自己添加进去的,希望不会影响你的阅读。
47 0
|
7月前
|
自然语言处理 前端开发 Java
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
TestAgent 旨在构建测试领域的“智能体”,融合大模型和质量领域工程化技术,促进质量技术代系升级。我们期望和社区成员一起合作,打造创新的测试领域解决方案,构建24小时在线的测试助理服务,让测试如丝般顺滑。 很高兴地宣布,我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型,以及配套的本地模型快速发布和体验工程化框架,欢迎体验和关注!
509 0
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
|
8天前
|
存储 人工智能 自然语言处理
选择最适合数据的嵌入模型:OpenAI 和开源多语言嵌入的对比测试
OpenAI最近发布了他们的新一代嵌入模型*embedding v3*,他们将其描述为性能最好的嵌入模型,具有更高的多语言性能。这些模型分为两类:较小的称为text- embeddings -3-small,较大且功能更强大的称为text- embeddings -3-large。
128 0
|
8天前
|
运维 数据可视化 测试技术
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月,我们发表了一篇关于TimeGPT的文章,TimeGPT是时间序列预测的第一个基础模型之一,具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型,只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月,已经有了一个用于时间序列预测的开源基础模型:laglllama。
197 2
|
8天前
|
测试技术 Linux 数据安全/隐私保护
如何远程访问Linux MeterSphere一站式开源持续测试平台
MeterSphere 是一站式开源持续测试平台, 涵盖测试跟踪、接口测试、UI 测试和性能测试等功能,全面兼容 JMeter、Selenium 等主流开源标准,有效助力开发和测试团队充分利用云弹性进行高度可扩展的自动化测试,加速高质量的软件交付,推动中国测试行业整体效率的提升。
|
8天前
|
Web App开发 Linux 数据安全/隐私保护
Docker本地部署开源浏览器Firefox并远程访问进行测试
Docker本地部署开源浏览器Firefox并远程访问进行测试
166 1
|
6月前
|
缓存 Ubuntu Linux
百度搜索:蓝易云【Varnish开源HTTP反向代理缓存服务器、部署安装、测试】
通过按照上述步骤部署和配置Varnish,您可以将其作为反向代理缓存服务器来提高Web应用程序的性能和响应速度。记住,在实际部署中,您可能需要进一步调整Varnish的配置以满足您的具体需求。
50 2
|
6月前
|
缓存 Linux 开发者
百度搜索:蓝易云【Varnish开源HTTP反向代理缓存服务器、部署安装、测试。】
通过以上步骤,你可以成功部署和安装Varnish,并对Web应用程序进行测试。请根据具体需求进行适当的配置和调整,以确保Varnish能够按预期工作并提升Web应用程序的性能。
40 0
|
8月前
|
Linux 测试技术 数据安全/隐私保护
Linux MeterSphere一站式开源持续测试平台远程访问
在Linux 中部署MeterSphere 并且结合cpolar 内网穿透实现远程也可以访问MeterSphere 界面!
575 0
Linux MeterSphere一站式开源持续测试平台远程访问