备案控制台
开发者社区 开发与运维 文章 正文

elasticsearch性能测试工具rally深入详解

2019-07-09 2523
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： elasticsearch性能测试研究了很久，自己想过通过批量导入数据，然后记录时间，统计CPU、内存等变化，计算得出某个性能指标。但显然，数据量起伏不定，非常不准确。 研究发现，github上提供了rally作为elasticsearch的性能测试工具，较好的解决了es性能测试问题。

题记

elasticsearch性能测试研究了很久，自己想过通过批量导入数据，然后记录时间，统计CPU、内存等变化，计算得出某个性能指标。但显然，数据量起伏不定，非常不准确。
研究发现，github上提供了rally作为elasticsearch的性能测试工具，较好的解决了es性能测试问题。

1、esrally功能：es的性能测试工具。

esrally不支持windows版本，目前只支持Linux和Mac OS。
esrally的运行基于以下两点假设：
1）所有运行在同一台机器完成。(未来改假设条件可能会去掉）
2）你需要向Elasticsearch索引中添加特定的数据集，然后在其上进行基准查询（benchmarking queries）.

2、esrally安装：

前提:验证是否安装了以下内容（注意版本）
Python 3.4+ available as python3 on the path (verify with: python3 –version which should print Python 3.4.0 or higher)
pip3 available on the path (verify with pip3 –version)
JDK 8
git

如下所示：

[root@laoyang git-2.4.0]# python
Python 3.5.1 (default, Aug 2 2016, 09:53:20)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] on linux
Type "help", "copyright", "credits" or "license" for more information.

[root@laoyang git-2.4.0]# git --version
git version 2.4.0

[root@laoyang git-2.4.0]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

[root@laoyang git-2.4.0]# find / -name "pip3"
/usr/bin/pip3
/usr/local/python3/bin/pip3

步骤1：安装 Rally

pip3 install esrally

步骤2：配置 Rally

调用： esrally configure 会提示让你输入 java8.home（也就是JAVA_HOME设定的环境变量路径）。
仅java8.home使用自己本机的JAVA_HOME环境变量路径，其他采用默认值即可。

[root@laoyang .rally]# cat /root/.rally/rally.ini
[meta]
config.version = 5

[system]
root.dir = /root/.rally/benchmarks
log.root.dir = logs
env.name = local

[source]
local.src.dir=/root/.rally/src   #注意，此路径并非elaticsearch安装路径。
remote.repo.url=https://github.com/elastic/elasticsearch.git

[provisioning]
local.install.dir = install

[runtime]
java8.home = /opt/jdk1.8.0_91  #注意，JAVA_HOME 路径为：/opt/jdk1.8.0_91

[benchmarks]
local.dataset.cache = ${system:root.dir}/data

[reporting]
datastore.type = elaticsearch
datastore.host = 10.0.1.30
datastore.port = 9200
datastore.secure = False
datastore.user =
datastore.password =

[tracks]
default.url = https://github.com/elastic/rally-tracks

步骤3：运行esrally

由于elasticsearch的运行必须非root账户。esrally建议用非root账户执行。

3、esrally执行常见问题及解决方案

问题1：版本用哪个版本？

目前用最新版本 Rally 0.3.2（2016-8-7发行）。

问题2：注意gradle需要2.13版本，高版本会不兼容。

[root@laoyang caches]# ll /usr/bin/gradle 
lrwxrwxrwx 1 root root 27 Aug 5 17:13 /usr/bin/gradle -> /opt/gradle-2.13/bin/gradle

问题3：安装时候提示 documents.json.bz2 无法下载成功。

1）手动下载： http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora/geonames/documents.json.bz2
2）移动到 /root/.rally/benchmarks/data/geonames/（对于root用户）
对于非root用户,elaticsearch用户，移动路径为：/home/elasticsearch/benchmarks/data/geonames/

问题4: esrally单独运行和加参数运行区别？

esrally单独运行：非常方便的指令，等价于 :esrally –pipeline=from-sources –version=current. Rally 将要通过Gradle从源码编译elasticsearch。
esrally –pipline=from-distribution –distribution-version=2.3.4, Rally将要从
https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz

下载elaticsearch2.3.4版本运行。

问题5： Could not resolve all dependencies for configuration ‘:benchmarks:classpath’.

37 > Could not download shadow.jar (com.github.jengelman.gradle.plugins:shadow:1.2.3)如何解决？
root账户下：

cd /home/elasticsearch/.rally/benchmarks/src 
gradle :distribution:tar:assemble

正确提示信息为：

deprecated API.
Note: Recompile with -Xlint:deprecation for details.
:modules:transport-netty4:processResources UP-TO-DATE
:modules:transport-netty4:classes
:modules:transport-netty4:jar
:modules:transport-netty4:copyPluginPropertiesTemplate
:modules:transport-netty4:pluginProperties
:modules:transport-netty4:bundlePlugin
:distribution:buildModules
:distribution:tar:buildTar
:distribution:tar:generatePomFileForNebulaPublication
:distribution:tar:signArchives SKIPPED
:distribution:tar:assemble

BUILD SUCCESSFUL

4、esrally最终运行结果：

Preparing for race (might take a few moments) ...
  Building from sources ...
/home/elasticsearch/.rally/benchmarks/races/2016-08-08-07-29-59/local/logs/rally_out.logRacing on track [geonames] and challenge [append-no-conflicts] with car [defaults]
  Benchmarking indexing at 12183.1 docs/s [100% done]
  Benchmarking stats (warmup iteration 100/100) [100% done]
  Benchmarking stats (iteration 100/100) [100% done]
  Benchmarking search (warmup iteration 100/100) [100% done]
  Benchmarking search (iteration 100/100) [100% done]
------------------------------------------------------
  _______ __ _____
  / ____(_)___ ____ _/ / / ___/_________ ________
  / /_ / / __ \/ __ `/ / \__ \/ ___/ __ \/ ___/ _ \
 / __/ / / / / / /_/ / / ___/ / /__/ /_/ / / / __/
/_/ /_/_/ /_/\__,_/_/ /____/\___/\____/_/ \___/
------------------------------------------------------
| Metric | Value |
|----------------------------------------------------------:|----------:|
| Min Indexing Throughput [docs/s] | 11949 |
| Median Indexing Throughput [docs/s] | 12307 |
| Max Indexing Throughput [docs/s] | 13349 |
| Indexing time [min] | 164.045 |
| Merge time [min] | 32.3815 |
| Refresh time [min] | 8.82333 |
| Flush time [min] | 1.63852 |
| Merge throttle time [min] | 1.45482 |
| Query latency default (90.0 percentile) [ms] | 68.8676 |
| Query latency default (99.0 percentile) [ms] | 77.6009 |
| Query latency default (100 percentile) [ms] | 78.8328 |
| Query latency term (90.0 percentile) [ms] | 4.63227 |
| Query latency term (99.0 percentile) [ms] | 10.9506 |
| Query latency term (100 percentile) [ms] | 13.0573 |
| Query latency phrase (90.0 percentile) [ms] | 6.35018 |
| Query latency phrase (99.0 percentile) [ms] | 13.1745 |
| Query latency phrase (100 percentile) [ms] | 14.2399 |
| Query latency country_agg_uncached (90.0 percentile) [ms] | 361.913 |
| Query latency country_agg_uncached (99.0 percentile) [ms] | 384.75 |
| Query latency country_agg_uncached (100 percentile) [ms] | 392.645 |
| Query latency country_agg_cached (90.0 percentile) [ms] | 7.71451 |
| Query latency country_agg_cached (99.0 percentile) [ms] | 17.4704 |
| Query latency country_agg_cached (100 percentile) [ms] | 18.4851 |
| Query latency scroll (90.0 percentile) [ms] | 50.4234 |
| Query latency scroll (99.0 percentile) [ms] | 50.9866 |
| Query latency scroll (100 percentile) [ms] | 51.2115 |
| Query latency expression (90.0 percentile) [ms] | 482.02 |
| Query latency expression (99.0 percentile) [ms] | 485.951 |
| Query latency expression (100 percentile) [ms] | 491.999 |
| Query latency painless_static (90.0 percentile) [ms] | 890.382 |
| Query latency painless_static (99.0 percentile) [ms] | 918.354 |
| Query latency painless_static (100 percentile) [ms] | 927.282 |
| Query latency painless_dynamic (90.0 percentile) [ms] | 968.908 |
| Query latency painless_dynamic (99.0 percentile) [ms] | 1019.14 |
| Query latency painless_dynamic (100 percentile) [ms] | 1021.97 |
| Median CPU usage (index) [%] | 887.7 |
| Median CPU usage (stats) [%] | 94.9 |
| Median CPU usage (search) [%] | 445.05 |
| Total Young Gen GC [s] | 89.121 |
| Total Old Gen GC [s] | 12.274 |
| Index size [GB] | 3.30111 |
| Totally written [GB] | 20.2123 |
| Heap used for segments [MB] | 21.6794 |
| Heap used for doc values [MB] | 0.113129 |
| Heap used for terms [MB] | 20.0574 |
| Heap used for norms [MB] | 0.0761719 |
| Heap used for points [MB] | 0.770404 |
| Heap used for stored fields [MB] | 0.6623 |
| Segment count | 96 |
| Indices Stats(90.0 percentile) [ms] | 11.5116 |
| Indices Stats(99.0 percentile) [ms] | 14.1724 |
| Indices Stats(100 percentile) [ms] | 36.8348 |
| Nodes Stats(90.0 percentile) [ms] | 11.342 |
| Nodes Stats(99.0 percentile) [ms] | 13.435 |
| Nodes Stats(100 percentile) [ms] | 16.4768 |
Logs for this race are archived in /home/elasticsearch/.rally/benchmarks/races/2016-08-08-07-29-59/local/logs-geonames-append-no-conflicts-defaults.zip

5、问题大讨论

https://discuss.elastic.co/t/the-below-bugs-appers-when-running-esrally/57063/25

源码 作者danielmitterdorfer一一回复， 最终作者回复：
I am very happy too and I am glad you had so much persistence. You also uncovered a few usability problems that I need to tackle.
帮作者提了一些建议，促使他升级了一个版本0.3.2。

参考：https://github.com/elastic/rally

小结

前面的确费劲周折，花费了接近3整天实践，期间甚至告诉原作者工具太难用，给作者反复沟通，最终问题解决。看到输出结果的那一刻，整个人很兴奋。坚持到底，相信付出的力量！不断思考、反思中前行！

2016-08-08 21:00思于家中窗前
作者：铭毅天下
转载请标明出处，原文地址：
http://blog.csdn.net/laoyang360/article/details/52155481

文章标签：
检索分析服务 Elasticsearch版
性能测试
Java
Python
测试技术
开发工具
git
关键词：
测试工具
检索分析服务 Elasticsearch版工具
性能测试工具
检索分析服务 Elasticsearch版性能测试
elasticsearch测试
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
开发者社区
目录
相关文章
游客uul6wusao3sds
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
深入探索软件测试：策略、工具与未来趋势
【5月更文挑战第38天】 在软件开发的生命周期中，测试环节扮演着至关重要的角色。随着技术的不断进步和市场需求的多样化，传统的测试方法已逐渐不能满足现代软件项目的需求。本文旨在提供一个全面的软件测试概述，包括最新的测试策略、常用工具以及预测未来的发展趋势。通过分析自动化测试的效益、持续集成的重要性以及人工智能在测试中的应用，文章将帮助读者构建一个更高效、更智能的软件测试环境。
游客uul6wusao3sds
54 5
肥猪肥猪-17824
|
22天前
|
Web App开发 测试技术 API
自动化测试工具Selenium的深度解析
【5月更文挑战第27天】本文旨在深入剖析自动化测试工具Selenium，探讨其架构、原理及应用。通过对其核心组件、运行机制及在实际项目中的应用案例进行详细解读，以期为软件测试人员提供全面、深入的理解与实践指导。
肥猪肥猪-17824
62 0
游客7v53mftipku2u
|
4天前
|
机器学习/深度学习 人工智能 jenkins
探索自动化测试工具的选择与应用
在软件开发生命周期中，软件测试是确保质量的重要环节。随着自动化技术的发展，自动化测试工具的选择和应用变得至关重要。这篇文章将深入探讨如何选择适合的自动化测试工具，并结合实例分析其实际应用效果，从而为开发团队提供有效的指导。
游客7v53mftipku2u
8 0
JavaPub
|
5天前
|
运维 监控 数据可视化
cerebro【ElasticSearch可视化工具】
cerebro【ElasticSearch可视化工具】
JavaPub
9 1
众所周知
|
11天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch，帮助你快速搭建起这个强大的工具
【6月更文挑战第7天】本文档详细介绍了如何在Rocky Linux 8上安装和配置Elasticsearch，首先通过添加Elasticsearch仓库并使用yum安装。接着，配置Elasticsearch，包括修改`elasticsearch.yml`、设置内存和文件描述符，以及可选的安全设置。启动Elasticsearch后，通过验证日志和测试连接确保其正常运行。文章还列举了常见问题及解决方法，如启动失败、内存不足和网络问题。按照这些步骤，用户可以在Rocky Linux 8上成功部署Elasticsearch，为数据管理与分析提供强大支持。
众所周知
31 5
muxiaoxi
|
12天前
|
测试技术 持续交付
软件测试中的自动化工具及其应用
本文将探讨软件测试中自动化工具的特点、优势以及常见应用场景，重点介绍了自动化测试工具在提高测试效率、减少人力成本以及保证软件质量方面的重要作用。通过深入分析自动化测试工具的应用实例，帮助读者更好地理解和运用现代软件测试工具。
muxiaoxi
42 1
李麒麟
|
12天前
|
监控 测试技术 Linux
性能测试工具
这篇内容介绍了几种性能测试工具和Linux监控命令。`ab`适用于简单接口测试，易用但扩展性差；`JMeter`功能强大，可扩展，但稳定性不足；`LoadRunner`专业稳定，但需付费。此外，还提到了几个Linux监控命令，如`top`、`vmstat`、`pidstat`和`jstat`，用于系统性能监控和内存使用情况检查。
李麒麟
35 0
一只牛博
|
14天前
|
缓存 负载均衡 测试技术
掌握wrk压力测试工具的优化技巧与实践
掌握wrk压力测试工具的优化技巧与实践
一只牛博
15 1
梦回故国楼台梦
|
17天前
|
运维 安全 网络架构
【计算巢】网络模拟工具：设计与测试网络架构的有效方法
【6月更文挑战第1天】成为网络世界的超级英雄，利用网络模拟工具解决复杂架构难题！此工具提供安全的虚拟环境，允许自由设计和测试网络拓扑，进行性能挑战和压力测试。简单示例代码展示了创建网络拓扑的便捷性，它是网络设计和故障排查的“魔法棒”。无论新手还是专家，都能借助它探索网络的无限可能，开启精彩冒险！快行动起来，你会发现网络世界前所未有的乐趣！
梦回故国楼台梦
23 2
【计算巢】网络模拟工具：设计与测试网络架构的有效方法
游客nmbcre4jd7shs
|
19天前
|
jenkins 测试技术 持续交付
软件测试中的自动化测试工具及其应用
传统的软件测试流程需要大量的人工投入，其效率低下且容易出现遗漏。而自动化测试工具的出现极大地提高了软件测试的效率和精度。本文将介绍几种常见的自动化测试工具及其应用，分析其优势和不足，并探讨在实际项目中的应用场景。
游客nmbcre4jd7shs
35 0

热门文章

最新文章

  • 1
    Mysqlslap性能测试MySQL三种存储引擎
  • 2
    MongoDB性能最佳实践：如何制定更有效的基准测试？
  • 3
    渗透测试常用名词术语介绍
  • 4
    如何入门做物联网系统压测？
  • 5
    深入分析自动化测试中AI驱动的测试用例生成技术
  • 6
    深入解析白盒测试：提升软件质量与效率的关键
  • 7
    【专栏】AI在软件测试中的应用，如自动执行测试用例、识别缺陷和优化测试设计
  • 8
    【白盒测试】单元测试的理论基础及用例设计技术（6种）详解
  • 9
    深入理解自动化测试：框架、工具与实践
  • 10
    深入探索自动化测试框架：Selenium与Appium的对比分析
  • 1
    【软件设计师备考 专题 】测试要求说明书的编写和应用
    77
  • 2
    【软件设计师备考 专题 】系统实施：程序设计和系统测试
    73
  • 3
    【软件设计师备考 专题 】可靠性测试和可靠性评估
    75
  • 4
    【软件设计师备考 专题 】性能测试和性能评估
    62
  • 5
    【软件设计师备考 专题 】模块测试的方法和实践
    86
  • 6
    【软件设计师备考 专题 】系统集成测试的准备和执行
    84
  • 7
    【软件设计师备考 专题 】如何编写有效的测试报告
    71
  • 8
    【软件设计师备考 专题 】软件测试的原则与方法：确保软件质量的关键步骤
    52
  • 9
    Mybatis+MySQL动态分页查询数据经典案例（含代码以及测试）
    62
  • 10
    反射机制测试实体类User
    18

    • 相关课程

    更多
  • 性能测试PTS产品介绍
  • Kibana Lens 入门
  • MSE微服务测试最佳实践 - 自动化回归
  • Elasticsearch实战进阶营
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲

    • 相关电子书

    更多
  • 阿里云Elasticsearch体系架构与特性解析
  • 开源与云：Elasticsearch应用剖析
  • 《Elasticsearch全观测解决方案》

    • 相关实验场景

    更多
  • 快速上手并跑通AnalyticDB PostgreSQL版TPC-H测试
  • 使用阿里云Elasticsearch体验信息检索加速
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • Elasticsearch Java API Client 开发
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考