YCSB benchmark测试mongodb性能——和web服务器测试性能结果类似

简介:
转自:http://blog.sina.com.cn/s/blog_48c95a190102v9kg.html
        YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试,包括:HBase、 Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件,YCSB可以灵活的模拟不同的测试负载和读写模 式,以下为YCSB测试Mongo性能步骤的简单总结。
 
       首先,下载YCSB。在YCSB的github项目下可以查看和下载最新源码和所有Tag版本,目前最新的Tag版本为 0.1.4(https://github.com/brianfrankcooper/YCSB/archive/0.1.4.zip)。下载后的 ycsb-0.1.4.zip解压缩后即可直接使用,无需编译安装。在解压后的目录下,主要使用的两个目录是bin和workloads,前者包含了 ycsb可执行文件,后者包含了工具自带的各类workload文件。

       其次,配置YCSB。在使用YCSB对Mongodb进行压 力测试前,必须进行一些必要的配置。可以根据测试需要选择workloads目录下的任意已有workload文件,添加待测试的mongo实例信息。这 里假定使用workloada文件,且待测试的mongo实例运行在本地的27017端口上,那么相应的配置文件内容如下:
mongodb.url=mongodb://localhost:27017 # 待测试mongo实例的数据库地址
mongodb.database=ycsb # 测试时使用的数据库名称
mongodb.writeConcern=normal # 写入安全性为常规
recordcount=10000000 # 测试数据集的记录条数
operationcount=10000000 # 测试过程中执行的操作总数
workload=com.yahoo.ycsb.workloads.CoreWorkload # workload实现类
readallfields=true # 查询时是否读取记录的所有字段
readproportion=0.5 # 读操作的百分比
updateproportion=0.5 # 更新操作的百分比
scanproportion=0 # 扫描操作的百分比
insertproportion=0 # 插入操作的百分比 
requestdistribution=zipfian # 请求分布模式
 
       再次,运行YCSB。YCSB的运行分为两个阶段:测试数据加载阶段和测试操作执行阶段,前者用来加载测试数据集,后者用来执行正真的测试操作,两个阶段都要使用上面的配置文件。数据加载的执行命令为:./bin/ycsb load mongodb -threads 100 -P workloads/workloada,即根据workloada的配置要求启动100个线程并发加载测试数据,在执行完成后YCSB会打印出类似于下面的数据加载性能统计数据:
[OVERALL], RunTime(ms), 905346.0 # 数据加载所用时间(毫秒)
[OVERALL], Throughput(ops/sec), 11045.500836144412 # 加载操作的吞吐量(ops/sec)
[INSERT], Operations, 10000000 # 执行insert操作的总数
[INSERT], AverageLatency(us), 9024.8155659 # 每次insert操作的平均延时(微秒)
[INSERT], MinLatency(us), 139 # 所有insert操作的最小延时(微秒)
[INSERT], MaxLatency(us), 1022876 # 所有insert操作的最大延时(微秒)
[INSERT], 95thPercentileLatency(ms), 27 # 95%的insert操作延时在27毫秒以内
[INSERT], 99thPercentileLatency(ms), 42 # 99%的insert操作延时在42毫秒以内
[INSERT], Return=0, 10000000 # 成功返回数10000000
[INSERT], 0, 3793117 # 以下insert操作在各个延时时间区域的分布情况
[INSERT], 1, 37171
[INSERT], 2, 8035
[INSERT], 3, 6294
...
[INSERT], 999, 0
[INSERT], >1000, 5
执行压力测试的命令为:./bin/ycsb run mongodb -threads 100 -P workloads/workloada,即根据workloada的配置要求启动100个线程并发执行测试操作,在执行完成后YCSB会打印出类似于下面的性能统计数据,统计项说明可参照上文:
[OVERALL], RunTime(ms), 526774.0
[OVERALL], Throughput(ops/sec), 18983.472988416284
[UPDATE], Operations, 500675
[UPDATE], AverageLatency(us), 6493.521553902232
[UPDATE], MinLatency(us), 147
[UPDATE], MaxLatency(us), 1096742
[UPDATE], 95thPercentileLatency(ms), 18
[UPDATE], 99thPercentileLatency(ms), 62
[UPDATE], Return=0, 500675
[UPDATE], 0, 62719
[UPDATE], 1, 69850
...
[UPDATE], 999, 0
[UPDATE], >1000, 16
[READ], Operations, 9499325
[READ], AverageLatency(us), 5173.494588510236
[READ], MinLatency(us), 87
[READ], MaxLatency(us), 1113170
[READ], 95thPercentileLatency(ms), 17
[READ], 99thPercentileLatency(ms), 54
[READ], Return=0, 9499325
[READ], 0, 3394330
[READ], 1, 1187011
...
[READ], 999, 1
[READ], >1000, 294
 













本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/6282795.html ,如需转载请自行联系原作者


相关文章
|
人工智能 安全 网络安全
Burp Suite Professional 2025.5 for macOS x64 & ARM64 - 领先的 Web 渗透测试软件
Burp Suite Professional 2025.5 for macOS x64 & ARM64 - 领先的 Web 渗透测试软件
737 3
|
安全 NoSQL Shell
web渗透-SSRF漏洞及discuz论坛网站测试
SSRF(服务器端请求伪造)是一种安全漏洞,攻击者可诱使服务端发起任意请求,进而探测或攻击内网系统。常用于端口扫描、访问内部服务、读取本地文件等。常见防御包括限制协议、域名和IP,但可通过302跳转、短地址等方式绕过。
624 1
web渗透-SSRF漏洞及discuz论坛网站测试
|
12月前
|
Java 测试技术 网络安全
Burp Suite Professional 2025.10 for Windows x64 - 领先的 Web 渗透测试软件
Burp Suite Professional 2025.10 for Windows x64 - 领先的 Web 渗透测试软件
541 0
Burp Suite Professional 2025.10 for Windows x64 - 领先的 Web 渗透测试软件
|
JavaScript 数据可视化 Docker
简易制作MCP服务器并测试
本文介绍了如何简易制作并测试MCP服务器,包括环境搭建、代码实现及Docker部署。首先通过uv包创建项目,在main.py中定义MCP服务器及其工具和资源函数。接着详细说明了在Windows上安装uv、配置Docker镜像加速、生成requirements.txt文件以及编写Dockerfile的过程。最后,通过构建和运行Docker容器部署MCP服务器,并使用Node.js工具测试其功能,确保服务器正常工作。此教程适合初学者快速上手MCP服务器的开发与部署。
5210 63
|
人工智能 安全 网络安全
Burp Suite Professional 2025.5 for Windows x64 - 领先的 Web 渗透测试软件
Burp Suite Professional 2025.5 for Windows x64 - 领先的 Web 渗透测试软件
728 4
Burp Suite Professional 2025.5 for Windows x64 - 领先的 Web 渗透测试软件
|
人工智能 自然语言处理 JavaScript
测试工程师要失业?Magnitude:开源AI Agent驱动的端到端测试框架,让Web测试更智能,自动完善测试用例!
Magnitude是一个基于视觉AI代理的开源端到端测试框架,通过自然语言构建测试用例,结合推理代理和视觉代理实现智能化的Web应用测试,支持本地运行和CI/CD集成。
2931 15
测试工程师要失业?Magnitude:开源AI Agent驱动的端到端测试框架,让Web测试更智能,自动完善测试用例!
|
编解码 缓存 监控
如何提高类Web开发范式的性能?
如何提高类Web开发范式的性能?
|
运维 NoSQL Cloud Native
国内独家|阿里云首发MongoDB 8.0,性能提升“快”人一步
阿里云作为MongoDB的最佳战略合作伙伴,在国内独家发布了8.0版本,支撑广大用户进一步提升业务效率。
|
Web App开发 IDE JavaScript
Selenium IDE:Web自动化测试的得力助手
Selenium IDE:Web自动化测试的利器。作为开源工具,Selenium IDE支持录制与回放用户操作,适用于Chrome、Firefox等多浏览器,简化了测试流程,提升了效率,降低了自动化测试的门槛。它还支持导出多种编程语言的脚本,便于测试集成与复用。
656 31
Selenium IDE:Web自动化测试的得力助手

推荐镜像

更多