其他分享
首页 > 其他分享> > 通过 esrally 压测elasticsearch

通过 esrally 压测elasticsearch

作者:互联网

需要安装的软件:

python3

git版本高于1.9



python3的安装,忽略,很简单



git源码编译安装:

https://mirrors.edge.kernel.org/pub/software/scm/git/
tar xf git-2.21.0.tar.gz 
cd git-2.21.0
./configure --prefix=/usr/bin/
make -j 4 && make install



安装JDK12

jdk地址: 

wget https://download.java.net/java/GA/jdk12.0.2/e482c34c86bd4bf8b56c0b35558996b9/10/GPL/openjdk-12.0.2_linux-x64_bin.tar.gz 

tar xf openjdk-12.0.2_linux-x64_bin.tar.gz  -C /usr/local/



创建es用户

useradd es 
su - es
export JAVA_HOME=/usr/local/jdk-12.0.2
export PATH=$JAVA_HOME/bin:$PATH





esrally官方文档: https://esrally.readthedocs.io/en/latest/configuration.html




开始配置 esrally:

/usr/local/python3/bin/esrally  configure

然后会创建 /home/es/.rally/ 这个目录

/usr/local/python3/bin/esrally  list tracks

Available tracks:
Name           Description                                                                                                                                                                        Documents    Comessed Size    Uncompressed Size    Default Challenge        All Challenges
-------------  ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------  -----------  ---------------  -------------------  -----------------------  ---------------------------------------------------------------------------------------------------------------------------
geopointshape  Point coordinates from PlanetOSM indexed as geoshapes                                                                                                                              60,844,404   470 MB           2.6 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
metricbeat     Metricbeat data                                                                                                                                                                    1,079,600    87.MB            1.2 GB               append-no-conflicts      append-no-conflicts
pmc            Full text benchmark with academic papers from PMC                                                                                                                                  574,199      5.5B             21.7 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
http_logs      HTTP server log data                                                                                                                                                               247,249,096  1.2B             31.1 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-index-only-with-ingest-pipeline,update
geonames       POIs from Geonames                                                                                                                                                                 11,396,505   252 MB           3.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
geopoint       Point coordinates from PlanetOSM                                                                                                                                                   60,844,404   481 MB           2.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
eventdata      This benchmark indexes HTTP access logs generated based sample logs from the elastic.co website using the generator available in https://github.com/elastic/rally-eventdata-track  20,000,000   755 MB           15.3 GB              append-no-conflicts      append-no-conflicts
nested         StackOverflow Q&A stored as nested docs                                                                                                                                            11,203,029   663 MB           3.4 GB               nested-search-challenge  nested-search-challenge,index-only
so             Indexing benchmark using up to questions and answers from StackOverflow                                                                                                            36,062,278   8.9B             33.1 GB              append-no-conflicts      append-no-conflicts
geoshape       Shapes from PlanetOSM                                                                                                                                                              60,523,283   13.GB            45.4 GB              append-no-conflicts      append-no-conflicts
noaa           Global daily weather measurements from NOAA                                                                                                                                        33,659,481   947 MB           9.0 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only
percolator     Percolator benchmark based on AOL queries                                                                                                                                          2,000,000    102 kB           104.9 MB             append-no-conflicts      append-no-conflicts
nyc_taxis      Taxi rides in New York in 2015                                                                                                                                                     165,346,692  4.5B             74.3 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts-index-only,update,append-ml
--------------------------------
[INFO] SUCCESS (took 51 seconds)
--------------------------------





压测阿里云环境的es2.3.3

su - es

export JAVA_HOME=/usr/local/jdk-12.0.2

export PATH=$JAVA_HOME/bin:$PATH

/usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200


------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

            

2019-12-05 11:36:03,880 ActorAddr-(T|:44952)/PID:1712 esrally.reporter INFO 


|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.6006 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.7327 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     28.7238 |     min |

|                       Cumulative merge count of primary shards |                        |         634 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.40308 |     min |

|               Cumulative merge throttle time of primary shards |                        |     3.58372 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |     1.21168 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.5344 |     min |

|                     Cumulative refresh count of primary shards |                        |        3960 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.88455 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0517667 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0142167 |     min |

|                                             Total Young Gen GC |                        |     429.144 |       s |

|                                               Total Old Gen GC |                        |      80.149 |       s |

|                                                     Store size |                        |     42.9031 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.989 |      MB |

|                                       Heap used for doc values |                        |     1.71252 |      MB |

|                                            Heap used for terms |                        |     151.204 |      MB |

|                                            Heap used for norms |                        |    0.132751 |      MB |

|                                    Heap used for stored fields |                        |     2.94003 |      MB |

|                                                  Segment count |                        |         534 |         |

|                                                 Min Throughput |           index-append |     15346.5 |  docs/s |

|                                              Median Throughput |           index-append |     15679.1 |  docs/s |

|                                                 Max Throughput |           index-append |     16563.1 |  docs/s |

|                                        50th percentile latency |           index-append |     2572.24 |      ms |

|                                        90th percentile latency |           index-append |     3436.66 |      ms |

|                                        99th percentile latency |           index-append |     4211.05 |      ms |

|                                      99.9th percentile latency |           index-append |     4599.41 |      ms |

|                                       100th percentile latency |           index-append |     4678.18 |      ms |

|                                   50th percentile service time |           index-append |     2572.24 |      ms |

|                                   90th percentile service time |           index-append |     3436.66 |      ms |

|                                   99th percentile service time |           index-append |     4211.05 |      ms |

|                                 99.9th percentile service time |           index-append |     4599.41 |      ms |

|                                  100th percentile service time |           index-append |     4678.18 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     6.02111 |      ms |

|                                        90th percentile latency |            index-stats |     8.86774 |      ms |

|                                        99th percentile latency |            index-stats |     42.3696 |      ms |

|                                      99.9th percentile latency |            index-stats |     85.1385 |      ms |

|                                       100th percentile latency |            index-stats |     88.8076 |      ms |

|                                   50th percentile service time |            index-stats |     5.91218 |      ms |

|                                   90th percentile service time |            index-stats |     7.35952 |      ms |

|                                   99th percentile service time |            index-stats |     18.6886 |      ms |

|                                 99.9th percentile service time |            index-stats |     39.9026 |      ms |

|                                  100th percentile service time |            index-stats |     74.2301 |      ms |

|                                                     error rate |            index-stats |           0 |       % |

|                                                 Min Throughput |             node-stats |       89.53 |   ops/s |

|                                              Median Throughput |             node-stats |       90.07 |   ops/s |

|                                                 Max Throughput |             node-stats |       90.28 |   ops/s |

|                                        50th percentile latency |             node-stats |     5.08438 |      ms |

|                                        90th percentile latency |             node-stats |     8.88973 |      ms |

|                                        99th percentile latency |             node-stats |     76.5986 |      ms |

|                                      99.9th percentile latency |             node-stats |     97.4872 |      ms |

|                                       100th percentile latency |             node-stats |      98.339 |      ms |

|                                   50th percentile service time |             node-stats |     5.00674 |      ms |

|                                   90th percentile service time |             node-stats |      6.6037 |      ms |

|                                   99th percentile service time |             node-stats |     18.2712 |      ms |

|                                 99.9th percentile service time |             node-stats |     48.8116 |      ms |

|                                  100th percentile service time |             node-stats |      61.194 |      ms |

|                                                     error rate |             node-stats |           0 |       % |

|                                                 Min Throughput |                default |       50.01 |   ops/s |

|                                              Median Throughput |                default |       50.02 |   ops/s |

|                                                 Max Throughput |                default |       50.05 |   ops/s |

|                                        50th percentile latency |                default |     10.6258 |      ms |

|                                        90th percentile latency |                default |     14.9461 |      ms |

|                                        99th percentile latency |                default |     18.1433 |      ms |

|                                      99.9th percentile latency |                default |     21.3906 |      ms |

|                                       100th percentile latency |                default |     22.3396 |      ms |

|                                   50th percentile service time |                default |     10.5573 |      ms |

|                                   90th percentile service time |                default |     14.8878 |      ms |

|                                   99th percentile service time |                default |     18.0845 |      ms |

|                                 99.9th percentile service time |                default |     21.3312 |      ms |

|                                  100th percentile service time |                default |     22.2814 |      ms |

|                                                     error rate |                default |           0 |       % |

|                                                 Min Throughput |                   term |       200.1 |   ops/s |

|                                              Median Throughput |                   term |      200.13 |   ops/s |

|                                                 Max Throughput |                   term |      200.23 |   ops/s |

|                                        50th percentile latency |                   term |     1.51974 |      ms |

|                                        90th percentile latency |                   term |      1.6954 |      ms |

|                                        99th percentile latency |                   term |     6.66124 |      ms |

|                                      99.9th percentile latency |                   term |     15.2816 |      ms |

|                                       100th percentile latency |                   term |     16.8316 |      ms |

|                                   50th percentile service time |                   term |     1.46063 |      ms |

|                                   90th percentile service time |                   term |     1.61522 |      ms |

|                                   99th percentile service time |                   term |     4.10225 |      ms |

|                                 99.9th percentile service time |                   term |     15.2238 |      ms |

|                                  100th percentile service time |                   term |     16.7731 |      ms |

|                                                     error rate |                   term |           0 |       % |

|                                                 Min Throughput |                 phrase |      200.01 |   ops/s |

|                                              Median Throughput |                 phrase |      200.12 |   ops/s |

|                                                 Max Throughput |                 phrase |      200.19 |   ops/s |

|                                        50th percentile latency |                 phrase |     2.15299 |      ms |

|                                        90th percentile latency |                 phrase |     3.71056 |      ms |

|                                        99th percentile latency |                 phrase |     15.0728 |      ms |

|                                      99.9th percentile latency |                 phrase |     17.9697 |      ms |

|                                       100th percentile latency |                 phrase |     20.9373 |      ms |

|                                   50th percentile service time |                 phrase |      2.0853 |      ms |

|                                   90th percentile service time |                 phrase |     2.72552 |      ms |

|                                   99th percentile service time |                 phrase |     14.7404 |      ms |

|                                 99.9th percentile service time |                 phrase |      16.492 |      ms |

|                                  100th percentile service time |                 phrase |     20.8794 |      ms |

|                                                     error rate |                 phrase |           0 |       % |

|                                                 Min Throughput |   country_agg_uncached |        3.94 |   ops/s |

|                                              Median Throughput |   country_agg_uncached |        3.99 |   ops/s |

|                                                 Max Throughput |   country_agg_uncached |           4 |   ops/s |

|                                        50th percentile latency |   country_agg_uncached |     453.766 |      ms |

|                                        90th percentile latency |   country_agg_uncached |     769.082 |      ms |

|                                        99th percentile latency |   country_agg_uncached |     957.694 |      ms |

|                                       100th percentile latency |   country_agg_uncached |     984.625 |      ms |

|                                   50th percentile service time |   country_agg_uncached |     223.603 |      ms |

|                                   90th percentile service time |   country_agg_uncached |     256.647 |      ms |

|                                   99th percentile service time |   country_agg_uncached |     373.593 |      ms |

|                                  100th percentile service time |   country_agg_uncached |     412.185 |      ms |

|                                                     error rate |   country_agg_uncached |           0 |       % |

|                                                 Min Throughput |     country_agg_cached |      100.03 |   ops/s |

|                                              Median Throughput |     country_agg_cached |      100.09 |   ops/s |

|                                                 Max Throughput |     country_agg_cached |      100.14 |   ops/s |

|                                        50th percentile latency |     country_agg_cached |     1.75755 |      ms |

|                                        90th percentile latency |     country_agg_cached |     1.98545 |      ms |

|                                        99th percentile latency |     country_agg_cached |     3.68271 |      ms |

|                                      99.9th percentile latency |     country_agg_cached |      7.5676 |      ms |

|                                       100th percentile latency |     country_agg_cached |      14.721 |      ms |

|                                   50th percentile service time |     country_agg_cached |     1.69877 |      ms |

|                                   90th percentile service time |     country_agg_cached |     1.92259 |      ms |

|                                   99th percentile service time |     country_agg_cached |      3.6158 |      ms |

|                                 99.9th percentile service time |     country_agg_cached |     7.50826 |      ms |

|                                  100th percentile service time |     country_agg_cached |     14.6624 |      ms |

|                                                     error rate |     country_agg_cached |           0 |       % |

|                                                 Min Throughput |                 scroll |       20.04 | pages/s |

|                                              Median Throughput |                 scroll |       20.05 | pages/s |

|                                                 Max Throughput |                 scroll |       20.07 | pages/s |

|                                        50th percentile latency |                 scroll |     438.089 |      ms |

|                                        90th percentile latency |                 scroll |     460.156 |      ms |

|                                        99th percentile latency |                 scroll |     517.941 |      ms |

|                                       100th percentile latency |                 scroll |     558.949 |      ms |

|                                   50th percentile service time |                 scroll |     437.256 |      ms |

|                                   90th percentile service time |                 scroll |     459.327 |      ms |

|                                   99th percentile service time |                 scroll |     517.183 |      ms |

|                                  100th percentile service time |                 scroll |      558.15 |      ms |

|                                                     error rate |                 scroll |           0 |       % |

|                                                 Min Throughput |             expression |         1.4 |   ops/s |

|                                              Median Throughput |             expression |        1.41 |   ops/s |

|                                                 Max Throughput |             expression |        1.41 |   ops/s |

|                                        50th percentile latency |             expression |     53493.4 |      ms |

|                                        90th percentile latency |             expression |     61703.9 |      ms |

|                                        99th percentile latency |             expression |       63532 |      ms |

|                                       100th percentile latency |             expression |     63687.5 |      ms |

|                                   50th percentile service time |             expression |     696.336 |      ms |

|                                   90th percentile service time |             expression |      732.37 |      ms |

|                                   99th percentile service time |             expression |     791.284 |      ms |

|                                  100th percentile service time |             expression |      900.99 |      ms |

|                                                     error rate |             expression |           0 |       % |

|                                        50th percentile latency |            large_terms |      906044 |      ms |

|                                        90th percentile latency |            large_terms | 1.04709e+06 |      ms |

|                                        99th percentile latency |            large_terms | 1.07876e+06 |      ms |

|                                       100th percentile latency |            large_terms | 1.08199e+06 |      ms |

|                                   50th percentile service time |            large_terms |     4201.18 |      ms |

|                                   90th percentile service time |            large_terms |     4756.67 |      ms |

|                                   99th percentile service time |            large_terms |     5243.67 |      ms |

|                                  100th percentile service time |            large_terms |     5258.64 |      ms |

|                                                     error rate |            large_terms |         100 |       % |

|                                                 Min Throughput |   large_filtered_terms |         0.6 |   ops/s |

|                                              Median Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                                 Max Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                        50th percentile latency |   large_filtered_terms |      245773 |      ms |

|                                        90th percentile latency |   large_filtered_terms |      283055 |      ms |

|                                        99th percentile latency |   large_filtered_terms |      292309 |      ms |

|                                       100th percentile latency |   large_filtered_terms |      293178 |      ms |

|                                   50th percentile service time |   large_filtered_terms |     1561.13 |      ms |

|                                   90th percentile service time |   large_filtered_terms |     1729.85 |      ms |

|                                   99th percentile service time |   large_filtered_terms |     2606.56 |      ms |

|                                  100th percentile service time |   large_filtered_terms |     2639.79 |      ms |

|                                                     error rate |   large_filtered_terms |           0 |       % |

|                                                 Min Throughput | large_prohibited_terms |        0.64 |   ops/s |

|                                              Median Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                                 Max Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                        50th percentile latency | large_prohibited_terms |      222051 |      ms |

|                                        90th percentile latency | large_prohibited_terms |      256500 |      ms |

|                                        99th percentile latency | large_prohibited_terms |      265220 |      ms |

|                                       100th percentile latency | large_prohibited_terms |      266069 |      ms |

|                                   50th percentile service time | large_prohibited_terms |     1515.93 |      ms |

|                                   90th percentile service time | large_prohibited_terms |     1609.41 |      ms |

|                                   99th percentile service time | large_prohibited_terms |     2611.93 |      ms |

|                                  100th percentile service time | large_prohibited_terms |      2671.6 |      ms |

|                                                     error rate | large_prohibited_terms |           0 |       % |



2019-12-05 11:36:03,883 ActorAddr-(T|:44952)/PID:1712 esrally.metrics INFO Closing metrics store.

2019-12-05 11:36:03,887 ActorAddr-(T|:34978)/PID:1732 esrally.actor INFO MechanicActor#receiveMessage unrecognized(msg = [<class 'thespian.actors.ActorExitRequest'>] sender = [ActorAddr-(T|:44952)])

2019-12-05 11:36:03,886 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ActorExitRequest] (ignoring).

2019-12-05 11:36:03,888 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ChildActorExited:ActorAddr-(T|:34978)] (ignoring).

2019-12-05 11:36:06,889 -not-actor-/PID:1704 esrally.rally INFO Attempting to shutdown internal actor system.

2019-12-05 11:36:06,891 -not-actor-/PID:1711 root INFO ActorSystem Logging Shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1710 root INFO ---- Actor System shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1704 esrally.rally INFO Actor system is still running. Waiting...

2019-12-05 11:36:07,913 -not-actor-/PID:1704 esrally.rally INFO Shutdown completed.




注意:压测期间, esrally 日志有爆出如下内容:

2019-12-05 13:10:21,296 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:5.030s]
2019-12-05 13:10:24,803 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.499s]
2019-12-05 13:10:29,115 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.303s]
2019-12-05 13:10:33,84 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.961s]
2019-12-05 13:10:37,517 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.425s]
2019-12-05 13:10:42,297 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.771s]




再次压测:

[es@test-01 ~]$ /usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200


    ____        ____

   / __ \____ _/ / /_  __

  / /_/ / __ `/ / / / / /

 / _, _/ /_/ / / / /_/ /

/_/ |_|\__,_/_/_/\__, /

                /____/



************************************************************************

************** WARNING: A dark dungeon lies ahead of you  **************

************************************************************************


Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.


Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).


************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************


[WARNING] Ensure that these settings are defined in elasticsearch.yml:


  "indices.query.bool.max_clause_count": 50000

}


If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].


[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

************************************************************************


Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.


Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).


************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************

************************************************************************


[WARNING] Ensure that these settings are defined in elasticsearch.yml:


  "indices.query.bool.max_clause_count": 50000

}


If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].


[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] indexing_total_time is 3036037 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] refresh_total_time is 752065 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] flush_total_time is 3106 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

Running delete-index                                                           [100% done]

Running create-index                                                           [100% done]

Running check-cluster-health                                                   [100% done]

Running index-append                                                           [100% done]

Running refresh-after-index                                                    [100% done]

Running force-merge                                                            [100% done]

Running refresh-after-force-merge                                              [100% done]

Running index-stats                                                            [100% done]

Running node-stats                                                             [100% done]

Running default                                                                [100% done]

Running term                                                                   [100% done]

Running phrase                                                                 [100% done]

Running country_agg_uncached                                                   [100% done]

Running country_agg_cached                                                     [100% done]

Running scroll                                                                 [100% done]

Running expression                                                             [100% done]

Running large_terms                                                            [100% done]

Running large_filtered_terms                                                   [100% done]

Running large_prohibited_terms                                                 [100% done]


------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

            

|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.2242 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.9424 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     30.2628 |     min |

|                       Cumulative merge count of primary shards |                        |         649 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.56005 |     min |

|               Cumulative merge throttle time of primary shards |                        |     4.45932 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |      1.4932 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.1026 |     min |

|                     Cumulative refresh count of primary shards |                        |        4100 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.86677 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0492333 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0120333 |     min |

|                                             Total Young Gen GC |                        |     133.665 |       s |

|                                               Total Old Gen GC |                        |       2.338 |       s |

|                                                     Store size |                        |       42.89 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.118 |      MB |

|                                       Heap used for doc values |                        |     1.72109 |      MB |

|                                            Heap used for terms |                        |     150.315 |      MB |

|                                            Heap used for norms |                        |    0.134399 |      MB |

|                                    Heap used for stored fields |                        |     2.94794 |      MB |

|                                                  Segment count |                        |         536 |         |

|                                                 Min Throughput |           index-append |     15154.4 |  docs/s |

|                                              Median Throughput |           index-append |     15840.4 |  docs/s |

|                                                 Max Throughput |           index-append |     16869.9 |  docs/s |

|                                        50th percentile latency |           index-append |     2605.34 |      ms |

|                                        90th percentile latency |           index-append |     3552.54 |      ms |

|                                        99th percentile latency |           index-append |     4422.58 |      ms |

|                                      99.9th percentile latency |           index-append |     4982.87 |      ms |

|                                       100th percentile latency |           index-append |     5119.11 |      ms |

|                                   50th percentile service time |           index-append |     2605.34 |      ms |

|                                   90th percentile service time |           index-append |     3552.54 |      ms |

|                                   99th percentile service time |           index-append |     4422.58 |      ms |

|                                 99.9th percentile service time |           index-append |     4982.87 |      ms |

|                                  100th percentile service time |           index-append |     5119.11 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     5.85103 |      ms |

|                                        90th percentile latency |            index-stats |     10.2232 |      ms |

|                                        99th percentile latency |            index-stats |     66.5564 |      ms |

|                                      99.9th percentile latency |            index-stats |     110.738 |      ms |

|                                       100th percentile latency |            index-stats |     115.007 |      ms |

|                                   50th percentile service time |            index-stats |     5.71052 |      ms |

|                                   90th percentile service time |            index-stats |     8.04877 |      ms |

|                                   99th percentile service time |            index-stats |     17.6762 |      ms |

|                                 99.9th percentile service time |            index-stats |     58.0995 |      ms |

|                                  100th percentile service time |            index-stats |      62.962 |      ms |

|                                                     error rate |            index-stats |           0 |       % |

|                                                 Min Throughput |             node-stats |       89.64 |   ops/s |

|                                              Median Throughput |             node-stats |       90.05 |   ops/s |

|                                                 Max Throughput |             node-stats |       90.25 |   ops/s |

|                                        50th percentile latency |             node-stats |     5.40282 |      ms |

|                                        90th percentile latency |             node-stats |     18.2909 |      ms |

|                                        99th percentile latency |             node-stats |     224.623 |      ms |

|                                      99.9th percentile latency |             node-stats |     253.559 |      ms |

|                                       100th percentile latency |             node-stats |     255.108 |      ms |

|                                   50th percentile service time |             node-stats |     5.19543 |      ms |

|                                   90th percentile service time |             node-stats |     8.13047 |      ms |

|                                   99th percentile service time |             node-stats |     30.0458 |      ms |

|                                 99.9th percentile service time |             node-stats |     50.1421 |      ms |

|                                  100th percentile service time |             node-stats |     61.5228 |      ms |

|                                                     error rate |             node-stats |           0 |       % |

|                                                 Min Throughput |                default |       20.51 |   ops/s |

|                                              Median Throughput |                default |       21.23 |   ops/s |

|                                                 Max Throughput |                default |       22.76 |   ops/s |

|                                        50th percentile latency |                default |     27516.9 |      ms |

|                                        90th percentile latency |                default |     34203.9 |      ms |

|                                        99th percentile latency |                default |       35610 |      ms |

|                                      99.9th percentile latency |                default |     35781.3 |      ms |

|                                       100th percentile latency |                default |     35795.3 |      ms |

|                                   50th percentile service time |                default |      36.527 |      ms |

|                                   90th percentile service time |                default |     54.4873 |      ms |

|                                   99th percentile service time |                default |     72.8107 |      ms |

|                                 99.9th percentile service time |                default |     100.272 |      ms |

|                                  100th percentile service time |                default |     126.244 |      ms |

|                                                     error rate |                default |           0 |       % |

|                                                 Min Throughput |                   term |       200.1 |   ops/s |

|                                              Median Throughput |                   term |      200.14 |   ops/s |

|                                                 Max Throughput |                   term |      200.24 |   ops/s |

|                                        50th percentile latency |                   term |     1.46572 |      ms |

|                                        90th percentile latency |                   term |     1.77302 |      ms |

|                                        99th percentile latency |                   term |     8.85099 |      ms |

|                                      99.9th percentile latency |                   term |     18.4768 |      ms |

|                                       100th percentile latency |                   term |     18.9609 |      ms |

|                                   50th percentile service time |                   term |     1.40698 |      ms |

|                                   90th percentile service time |                   term |     1.66509 |      ms |

|                                   99th percentile service time |                   term |     3.72446 |      ms |

|                                 99.9th percentile service time |                   term |     18.4195 |      ms |

|                                  100th percentile service time |                   term |     18.9031 |      ms |

|                                                     error rate |                   term |           0 |       % |

|                                                 Min Throughput |                 phrase |      200.07 |   ops/s |

|                                              Median Throughput |                 phrase |       200.1 |   ops/s |

|                                                 Max Throughput |                 phrase |      200.16 |   ops/s |

|                                        50th percentile latency |                 phrase |     2.01647 |      ms |

|                                        90th percentile latency |                 phrase |     2.59113 |      ms |

|                                        99th percentile latency |                 phrase |     12.1538 |      ms |

|                                      99.9th percentile latency |                 phrase |     18.0263 |      ms |

|                                       100th percentile latency |                 phrase |      18.099 |      ms |

|                                   50th percentile service time |                 phrase |     1.95619 |      ms |

|                                   90th percentile service time |                 phrase |     2.34294 |      ms |

|                                   99th percentile service time |                 phrase |     11.1538 |      ms |

|                                 99.9th percentile service time |                 phrase |     17.9697 |      ms |

|                                  100th percentile service time |                 phrase |     18.0413 |      ms |

|                                                     error rate |                 phrase |           0 |       % |

|                                                 Min Throughput |   country_agg_uncached |           4 |   ops/s |

|                                              Median Throughput |   country_agg_uncached |           4 |   ops/s |

|                                                 Max Throughput |   country_agg_uncached |           4 |   ops/s |

|                                        50th percentile latency |   country_agg_uncached |       232.6 |      ms |

|                                        90th percentile latency |   country_agg_uncached |     253.871 |      ms |

|                                        99th percentile latency |   country_agg_uncached |      289.22 |      ms |

|                                       100th percentile latency |   country_agg_uncached |     295.102 |      ms |

|                                   50th percentile service time |   country_agg_uncached |     231.177 |      ms |

|                                   90th percentile service time |   country_agg_uncached |     244.644 |      ms |

|                                   99th percentile service time |   country_agg_uncached |     288.192 |      ms |

|                                  100th percentile service time |   country_agg_uncached |       289.1 |      ms |

|                                                     error rate |   country_agg_uncached |           0 |       % |

|                                                 Min Throughput |     country_agg_cached |      100.06 |   ops/s |

|                                              Median Throughput |     country_agg_cached |      100.09 |   ops/s |

|                                                 Max Throughput |     country_agg_cached |      100.17 |   ops/s |

|                                        50th percentile latency |     country_agg_cached |     1.68623 |      ms |

|                                        90th percentile latency |     country_agg_cached |     1.86272 |      ms |

|                                        99th percentile latency |     country_agg_cached |     4.05259 |      ms |

|                                      99.9th percentile latency |     country_agg_cached |     13.5019 |      ms |

|                                       100th percentile latency |     country_agg_cached |     13.5373 |      ms |

|                                   50th percentile service time |     country_agg_cached |     1.62764 |      ms |

|                                   90th percentile service time |     country_agg_cached |     1.80298 |      ms |

|                                   99th percentile service time |     country_agg_cached |     3.43389 |      ms |

|                                 99.9th percentile service time |     country_agg_cached |     13.4422 |      ms |

|                                  100th percentile service time |     country_agg_cached |      13.478 |      ms |

|                                                     error rate |     country_agg_cached |           0 |       % |

|                                                 Min Throughput |                 scroll |       20.04 | pages/s |

|                                              Median Throughput |                 scroll |       20.05 | pages/s |

|                                                 Max Throughput |                 scroll |       20.07 | pages/s |

|                                        50th percentile latency |                 scroll |     457.139 |      ms |

|                                        90th percentile latency |                 scroll |     471.132 |      ms |

|                                        99th percentile latency |                 scroll |     526.526 |      ms |

|                                       100th percentile latency |                 scroll |     562.743 |      ms |

|                                   50th percentile service time |                 scroll |     456.373 |      ms |

|                                   90th percentile service time |                 scroll |     470.612 |      ms |

|                                   99th percentile service time |                 scroll |     525.718 |      ms |

|                                  100th percentile service time |                 scroll |     561.943 |      ms |

|                                                     error rate |                 scroll |           0 |       % |

|                                                 Min Throughput |             expression |        1.29 |   ops/s |

|                                              Median Throughput |             expression |         1.3 |   ops/s |

|                                                 Max Throughput |             expression |         1.3 |   ops/s |

|                                        50th percentile latency |             expression |     68389.3 |      ms |

|                                        90th percentile latency |             expression |     78950.3 |      ms |

|                                        99th percentile latency |             expression |     81327.2 |      ms |

|                                       100th percentile latency |             expression |     81575.7 |      ms |

|                                   50th percentile service time |             expression |     755.102 |      ms |

|                                   90th percentile service time |             expression |      789.85 |      ms |

|                                   99th percentile service time |             expression |     862.083 |      ms |

|                                  100th percentile service time |             expression |     987.782 |      ms |

|                                                     error rate |             expression |           0 |       % |

|                                        50th percentile latency |            large_terms |      912286 |      ms |

|                                        90th percentile latency |            large_terms | 1.05671e+06 |      ms |

|                                        99th percentile latency |            large_terms | 1.09033e+06 |      ms |

|                                       100th percentile latency |            large_terms | 1.09366e+06 |      ms |

|                                   50th percentile service time |            large_terms |     4277.11 |      ms |

|                                   90th percentile service time |            large_terms |      4803.6 |      ms |

|                                   99th percentile service time |            large_terms |     4927.98 |      ms |

|                                  100th percentile service time |            large_terms |     4976.14 |      ms |

|                                                     error rate |            large_terms |         100 |       % |

|                                                 Min Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                              Median Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                                 Max Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                        50th percentile latency |   large_filtered_terms |      256845 |      ms |

|                                        90th percentile latency |   large_filtered_terms |      297226 |      ms |

|                                        99th percentile latency |   large_filtered_terms |      306211 |      ms |

|                                       100th percentile latency |   large_filtered_terms |      307108 |      ms |

|                                   50th percentile service time |   large_filtered_terms |     1700.61 |      ms |

|                                   90th percentile service time |   large_filtered_terms |     1843.11 |      ms |

|                                   99th percentile service time |   large_filtered_terms |     2739.02 |      ms |

|                                  100th percentile service time |   large_filtered_terms |     2768.78 |      ms |

|                                                     error rate |   large_filtered_terms |           0 |       % |

|                                                 Min Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                              Median Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                                 Max Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                        50th percentile latency | large_prohibited_terms |      238360 |      ms |

|                                        90th percentile latency | large_prohibited_terms |      276451 |      ms |

|                                        99th percentile latency | large_prohibited_terms |      284501 |      ms |

|                                       100th percentile latency | large_prohibited_terms |      285289 |      ms |

|                                   50th percentile service time | large_prohibited_terms |     1634.98 |      ms |

|                                   90th percentile service time | large_prohibited_terms |      1736.8 |      ms |

|                                   99th percentile service time | large_prohibited_terms |     2288.69 |      ms |

|                                  100th percentile service time | large_prohibited_terms |     2332.06 |      ms |

|                                                     error rate | large_prohibited_terms |           0 |       % |


[WARNING] No throughput metrics available for [large_terms]. Likely cause: Error rate is 100.0%. Please check the logs.


----------------------------------

[INFO] SUCCESS (took 3938 seconds)

----------------------------------





[es@test-01 ~]$ /usr/local/python3/bin/esrally list races

    ____        ____
   / __ \____ _/ / /_  __
  / /_/ / __ `/ / / / / /
 / _, _/ /_/ / / / /_/ /
/_/ |_|\__,_/_/_/\__, /
                /____/
Recent races:
Race ID                               Race Timestamp    Track     Track Parameters    Challenge            Car       User Tags    Track Revision    Team Revision
------------------------------------  ----------------  --------  ------------------  -------------------  --------  -----------  ----------------  ---------------
7512650e-cb3e-4ce5-b9d7-d95732780d40  20191205T123309Z  geonames                      append-no-conflicts  external               c21742c
6d5f33de-eb48-49c2-89a3-b46ccb776786  20191205T103223Z  geonames                      append-no-conflicts  external               c21742c
-------------------------------
[INFO] SUCCESS (took 8 seconds)
-------------------------------






[es@test-01 ~]$ /usr/local/python3/bin/esrally compare   --baseline 7512650e-cb3e-4ce5-b9d7-d95732780d40   --contender  6d5f33de-eb48-49c2-89a3-b46ccb776786 

    ____        ____
   / __ \____ _/ / /_  __
  / /_/ / __ `/ / / / / /
 / _, _/ /_/ / / / /_/ /
/_/ |_|\__,_/_/_/\__, /
                /____/
Comparing baseline
  Race ID: 7512650e-cb3e-4ce5-b9d7-d95732780d40
  Race timestamp: 2019-12-05 12:33:09
  Challenge: append-no-conflicts
  Car: external
with contender
  Race ID: 6d5f33de-eb48-49c2-89a3-b46ccb776786
  Race timestamp: 2019-12-05 10:32:23
  Challenge: append-no-conflicts
  Car: external
------------------------------------------------------
    _______             __   _____
   / ____(_)___  ____ _/ /  / ___/_________  ________
  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \
 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/
/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/
------------------------------------------------------

            

|                                                        Metric |                   Task |    Baseline |   Contender |     Diff |    Unit |

|--------------------------------------------------------------:|-----------------------:|------------:|------------:|---------:|--------:|

|                    Cumulative indexing time of primary shards |                        |     50.2242 |     50.6006 |  0.37647 |     min |

|             Min cumulative indexing time across primary shard |                        |           0 |           0 |        0 |     min |

|          Median cumulative indexing time across primary shard |                        |           0 |           0 |        0 |     min |

|             Max cumulative indexing time across primary shard |                        |     11.9424 |     11.7327 | -0.20977 |     min |

|           Cumulative indexing throttle time of primary shards |                        |           0 |           0 |        0 |     min |

|    Min cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

| Median cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|    Max cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|                       Cumulative merge time of primary shards |                        |     30.2628 |     28.7238 | -1.53907 |     min |

|                      Cumulative merge count of primary shards |                        |         649 |         634 |      -15 |         |

|                Min cumulative merge time across primary shard |                        |           0 |           0 |        0 |     min |

|             Median cumulative merge time across primary shard |                        |           0 |           0 |        0 |     min |

|                Max cumulative merge time across primary shard |                        |     7.56005 |     7.40308 | -0.15697 |     min |

|              Cumulative merge throttle time of primary shards |                        |     4.45932 |     3.58372 |  -0.8756 |     min |

|       Min cumulative merge throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|    Median cumulative merge throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|       Max cumulative merge throttle time across primary shard |                        |      1.4932 |     1.21168 | -0.28152 |     min |

|                     Cumulative refresh time of primary shards |                        |     12.1026 |     12.5344 |  0.43178 |     min |

|                    Cumulative refresh count of primary shards |                        |        4100 |        3960 |     -140 |         |

|              Min cumulative refresh time across primary shard |                        |           0 |           0 |        0 |     min |

|           Median cumulative refresh time across primary shard |                        |           0 |           0 |        0 |     min |

|              Max cumulative refresh time across primary shard |                        |     2.86677 |     2.88455 |  0.01778 |     min |

|                       Cumulative flush time of primary shards |                        |   0.0492333 |   0.0517667 |  0.00253 |     min |

|                      Cumulative flush count of primary shards |                        |          17 |          17 |        0 |         |

|                Min cumulative flush time across primary shard |                        |           0 |           0 |        0 |     min |

|             Median cumulative flush time across primary shard |                        |           0 |           0 |        0 |     min |

|                Max cumulative flush time across primary shard |                        |   0.0120333 |   0.0142167 |  0.00218 |     min |

|                                            Total Young Gen GC |                        |     133.665 |     429.144 |  295.479 |       s |

|                                              Total Old Gen GC |                        |       2.338 |      80.149 |   77.811 |       s |

|                                                    Store size |                        |       42.89 |     42.9031 |  0.01314 |      GB |

|                                                 Translog size |                        | 2.76323e-06 | 2.76323e-06 |        0 |      GB |

|                                        Heap used for segments |                        |     155.118 |     155.989 |  0.87039 |      MB |

|                                      Heap used for doc values |                        |     1.72109 |     1.71252 | -0.00857 |      MB |

|                                           Heap used for terms |                        |     150.315 |     151.204 |  0.88851 |      MB |

|                                           Heap used for norms |                        |    0.134399 |    0.132751 | -0.00165 |      MB |

|                                   Heap used for stored fields |                        |     2.94794 |     2.94003 | -0.00791 |      MB |

|                                                 Segment count |                        |         536 |         534 |       -2 |         |

|                                                Min Throughput |           index-append |     15154.4 |     15346.5 |   192.17 |  docs/s |

|                                             Median Throughput |           index-append |     15840.4 |     15679.1 | -161.356 |  docs/s |

|                                                Max Throughput |           index-append |     16869.9 |     16563.1 | -306.793 |  docs/s |

|                                       50th percentile latency |           index-append |     2605.34 |     2572.24 | -33.1007 |      ms |

|                                       90th percentile latency |           index-append |     3552.54 |     3436.66 | -115.884 |      ms |

|                                       99th percentile latency |           index-append |     4422.58 |     4211.05 | -211.524 |      ms |

|                                     99.9th percentile latency |           index-append |     4982.87 |     4599.41 | -383.463 |      ms |

|                                      100th percentile latency |           index-append |     5119.11 |     4678.18 | -440.921 |      ms |

|                                  50th percentile service time |           index-append |     2605.34 |     2572.24 | -33.1007 |      ms |

|                                  90th percentile service time |           index-append |     3552.54 |     3436.66 | -115.884 |      ms |

|                                  99th percentile service time |           index-append |     4422.58 |     4211.05 | -211.524 |      ms |

|                                99.9th percentile service time |           index-append |     4982.87 |     4599.41 | -383.463 |      ms |

|                                 100th percentile service time |           index-append |     5119.11 |     4678.18 | -440.921 |      ms |

|                                                    error rate |           index-append |           0 |           0 |        0 |       % |

|                                                Min Throughput |            index-stats |     90.0183 |     90.0247 |  0.00635 |   ops/s |

|                                             Median Throughput |            index-stats |     90.0424 |     90.0432 |  0.00077 |   ops/s |

|                                                Max Throughput |            index-stats |     90.0794 |     90.0813 |  0.00194 |   ops/s |

|                                       50th percentile latency |            index-stats |     5.85103 |     6.02111 |  0.17008 |      ms |

|                                       90th percentile latency |            index-stats |     10.2232 |     8.86774 |  -1.3555 |      ms |

|                                       99th percentile latency |            index-stats |     66.5564 |     42.3696 | -24.1868 |      ms |

|                                     99.9th percentile latency |            index-stats |     110.738 |     85.1385 |  -25.599 |      ms |

|                                      100th percentile latency |            index-stats |     115.007 |     88.8076 | -26.1989 |      ms |

|                                  50th percentile service time |            index-stats |     5.71052 |     5.91218 |  0.20165 |      ms |

|                                  90th percentile service time |            index-stats |     8.04877 |     7.35952 | -0.68925 |      ms |

|                                  99th percentile service time |            index-stats |     17.6762 |     18.6886 |  1.01237 |      ms |

|                                99.9th percentile service time |            index-stats |     58.0995 |     39.9026 | -18.1968 |      ms |

|                                 100th percentile service time |            index-stats |      62.962 |     74.2301 |  11.2681 |      ms |

|                                                    error rate |            index-stats |           0 |           0 |        0 |       % |

|                                                Min Throughput |             node-stats |      89.638 |      89.527 | -0.11101 |   ops/s |

|                                             Median Throughput |             node-stats |     90.0544 |     90.0651 |  0.01078 |   ops/s |

|                                                Max Throughput |             node-stats |     90.2515 |     90.2755 |  0.02402 |   ops/s |

|                                       50th percentile latency |             node-stats |     5.40282 |     5.08438 | -0.31843 |      ms |

|                                       90th percentile latency |             node-stats |     18.2909 |     8.88973 | -9.40115 |      ms |

|                                       99th percentile latency |             node-stats |     224.623 |     76.5986 | -148.025 |      ms |

|                                     99.9th percentile latency |             node-stats |     253.559 |     97.4872 | -156.072 |      ms |

|                                      100th percentile latency |             node-stats |     255.108 |      98.339 | -156.769 |      ms |

|                                  50th percentile service time |             node-stats |     5.19543 |     5.00674 | -0.18869 |      ms |

|                                  90th percentile service time |             node-stats |     8.13047 |      6.6037 | -1.52677 |      ms |

|                                  99th percentile service time |             node-stats |     30.0458 |     18.2712 | -11.7745 |      ms |

|                                99.9th percentile service time |             node-stats |     50.1421 |     48.8116 | -1.33048 |      ms |

|                                 100th percentile service time |             node-stats |     61.5228 |      61.194 | -0.32886 |      ms |

|                                                    error rate |             node-stats |           0 |           0 |        0 |       % |

|                                                Min Throughput |                default |     20.5142 |     50.0066 |  29.4923 |   ops/s |

|                                             Median Throughput |                default |     21.2319 |     50.0222 |  28.7903 |   ops/s |

|                                                Max Throughput |                default |     22.7575 |     50.0492 |  27.2917 |   ops/s |

|                                       50th percentile latency |                default |     27516.9 |     10.6258 | -27506.3 |      ms |

|                                       90th percentile latency |                default |     34203.9 |     14.9461 |   -34189 |      ms |

|                                       99th percentile latency |                default |       35610 |     18.1433 | -35591.8 |      ms |

|                                     99.9th percentile latency |                default |     35781.3 |     21.3906 | -35759.9 |      ms |

|                                      100th percentile latency |                default |     35795.3 |     22.3396 | -35772.9 |      ms |

|                                  50th percentile service time |                default |      36.527 |     10.5573 | -25.9697 |      ms |

|                                  90th percentile service time |                default |     54.4873 |     14.8878 | -39.5995 |      ms |

|                                  99th percentile service time |                default |     72.8107 |     18.0845 | -54.7262 |      ms |

|                                99.9th percentile service time |                default |     100.272 |     21.3312 | -78.9411 |      ms |

|                                 100th percentile service time |                default |     126.244 |     22.2814 | -103.962 |      ms |

|                                                    error rate |                default |           0 |           0 |        0 |       % |

|                                                Min Throughput |                   term |     200.096 |     200.097 |  0.00156 |   ops/s |

|                                             Median Throughput |                   term |     200.143 |     200.133 | -0.00961 |   ops/s |

|                                                Max Throughput |                   term |     200.235 |     200.226 | -0.00932 |   ops/s |

|                                       50th percentile latency |                   term |     1.46572 |     1.51974 |  0.05402 |      ms |

|                                       90th percentile latency |                   term |     1.77302 |      1.6954 | -0.07762 |      ms |

|                                       99th percentile latency |                   term |     8.85099 |     6.66124 | -2.18975 |      ms |

|                                     99.9th percentile latency |                   term |     18.4768 |     15.2816 | -3.19514 |      ms |

|                                      100th percentile latency |                   term |     18.9609 |     16.8316 |  -2.1293 |      ms |

|                                  50th percentile service time |                   term |     1.40698 |     1.46063 |  0.05365 |      ms |

|                                  90th percentile service time |                   term |     1.66509 |     1.61522 | -0.04987 |      ms |

|                                  99th percentile service time |                   term |     3.72446 |     4.10225 |  0.37779 |      ms |

|                                99.9th percentile service time |                   term |     18.4195 |     15.2238 | -3.19562 |      ms |

|                                 100th percentile service time |                   term |     18.9031 |     16.7731 | -2.13002 |      ms |

|                                                    error rate |                   term |           0 |           0 |        0 |       % |

|                                                Min Throughput |                 phrase |      200.07 |     200.005 | -0.06471 |   ops/s |

|                                             Median Throughput |                 phrase |     200.101 |      200.12 |  0.01843 |   ops/s |

|                                                Max Throughput |                 phrase |      200.16 |     200.188 |  0.02767 |   ops/s |

|                                       50th percentile latency |                 phrase |     2.01647 |     2.15299 |  0.13652 |      ms |

|                                       90th percentile latency |                 phrase |     2.59113 |     3.71056 |  1.11943 |      ms |

|                                       99th percentile latency |                 phrase |     12.1538 |     15.0728 |  2.91896 |      ms |

|                                     99.9th percentile latency |                 phrase |     18.0263 |     17.9697 | -0.05664 |      ms |

|                                      100th percentile latency |                 phrase |      18.099 |     20.9373 |  2.83827 |      ms |

|                                  50th percentile service time |                 phrase |     1.95619 |      2.0853 |  0.12911 |      ms |

|                                  90th percentile service time |                 phrase |     2.34294 |     2.72552 |  0.38257 |      ms |

|                                  99th percentile service time |                 phrase |     11.1538 |     14.7404 |   3.5866 |      ms |

|                                99.9th percentile service time |                 phrase |     17.9697 |      16.492 | -1.47776 |      ms |

|                                 100th percentile service time |                 phrase |     18.0413 |     20.8794 |  2.83803 |      ms |

|                                                    error rate |                 phrase |           0 |           0 |        0 |       % |

|                                                Min Throughput |   country_agg_uncached |     3.99704 |     3.94474 |  -0.0523 |   ops/s |

|                                             Median Throughput |   country_agg_uncached |     4.00116 |     3.98724 | -0.01391 |   ops/s |

|                                                Max Throughput |   country_agg_uncached |     4.00148 |      4.0017 |  0.00022 |   ops/s |

|                                       50th percentile latency |   country_agg_uncached |       232.6 |     453.766 |  221.165 |      ms |

|                                       90th percentile latency |   country_agg_uncached |     253.871 |     769.082 |  515.211 |      ms |

|                                       99th percentile latency |   country_agg_uncached |      289.22 |     957.694 |  668.474 |      ms |

|                                      100th percentile latency |   country_agg_uncached |     295.102 |     984.625 |  689.523 |      ms |

|                                  50th percentile service time |   country_agg_uncached |     231.177 |     223.603 | -7.57404 |      ms |

|                                  90th percentile service time |   country_agg_uncached |     244.644 |     256.647 |  12.0031 |      ms |

|                                  99th percentile service time |   country_agg_uncached |     288.192 |     373.593 |   85.401 |      ms |

|                                 100th percentile service time |   country_agg_uncached |       289.1 |     412.185 |  123.085 |      ms |

|                                                    error rate |   country_agg_uncached |           0 |           0 |        0 |       % |

|                                                Min Throughput |     country_agg_cached |     100.059 |     100.034 | -0.02513 |   ops/s |

|                                             Median Throughput |     country_agg_cached |     100.087 |     100.085 | -0.00213 |   ops/s |

|                                                Max Throughput |     country_agg_cached |     100.166 |     100.137 |  -0.0295 |   ops/s |

|                                       50th percentile latency |     country_agg_cached |     1.68623 |     1.75755 |  0.07132 |      ms |

|                                       90th percentile latency |     country_agg_cached |     1.86272 |     1.98545 |  0.12273 |      ms |

|                                       99th percentile latency |     country_agg_cached |     4.05259 |     3.68271 | -0.36988 |      ms |

|                                     99.9th percentile latency |     country_agg_cached |     13.5019 |      7.5676 | -5.93429 |      ms |

|                                      100th percentile latency |     country_agg_cached |     13.5373 |      14.721 |  1.18367 |      ms |

|                                  50th percentile service time |     country_agg_cached |     1.62764 |     1.69877 |  0.07113 |      ms |

|                                  90th percentile service time |     country_agg_cached |     1.80298 |     1.92259 |  0.11961 |      ms |

|                                  99th percentile service time |     country_agg_cached |     3.43389 |      3.6158 |   0.1819 |      ms |

|                                99.9th percentile service time |     country_agg_cached |     13.4422 |     7.50826 |  -5.9339 |      ms |

|                                 100th percentile service time |     country_agg_cached |      13.478 |     14.6624 |  1.18443 |      ms |

|                                                    error rate |     country_agg_cached |           0 |           0 |        0 |       % |

|                                                Min Throughput |                 scroll |     20.0398 |     20.0412 |  0.00146 | pages/s |

|                                             Median Throughput |                 scroll |     20.0511 |     20.0527 |  0.00155 | pages/s |

|                                                Max Throughput |                 scroll |     20.0658 |     20.0653 | -0.00052 | pages/s |

|                                       50th percentile latency |                 scroll |     457.139 |     438.089 |   -19.05 |      ms |

|                                       90th percentile latency |                 scroll |     471.132 |     460.156 | -10.9755 |      ms |

|                                       99th percentile latency |                 scroll |     526.526 |     517.941 | -8.58478 |      ms |

|                                      100th percentile latency |                 scroll |     562.743 |     558.949 | -3.79432 |      ms |

|                                  50th percentile service time |                 scroll |     456.373 |     437.256 | -19.1169 |      ms |

|                                  90th percentile service time |                 scroll |     470.612 |     459.327 | -11.2854 |      ms |

|                                  99th percentile service time |                 scroll |     525.718 |     517.183 | -8.53449 |      ms |

|                                 100th percentile service time |                 scroll |     561.943 |      558.15 | -3.79347 |      ms |

|                                                    error rate |                 scroll |           0 |           0 |        0 |       % |

|                                                Min Throughput |             expression |     1.29111 |     1.39902 |  0.10791 |   ops/s |

|                                             Median Throughput |             expression |     1.29715 |     1.40569 |  0.10854 |   ops/s |

|                                                Max Throughput |             expression |      1.2997 |     1.40721 |  0.10751 |   ops/s |

|                                       50th percentile latency |             expression |     68389.3 |     53493.4 | -14895.9 |      ms |

|                                       90th percentile latency |             expression |     78950.3 |     61703.9 | -17246.4 |      ms |

|                                       99th percentile latency |             expression |     81327.2 |       63532 | -17795.3 |      ms |

|                                      100th percentile latency |             expression |     81575.7 |     63687.5 | -17888.2 |      ms |

|                                  50th percentile service time |             expression |     755.102 |     696.336 | -58.7669 |      ms |

|                                  90th percentile service time |             expression |      789.85 |      732.37 | -57.4797 |      ms |

|                                  99th percentile service time |             expression |     862.083 |     791.284 | -70.7997 |      ms |

|                                 100th percentile service time |             expression |     987.782 |      900.99 | -86.7925 |      ms |

|                                                    error rate |             expression |           0 |           0 |        0 |       % |

|                                       50th percentile latency |            large_terms |      912286 |      906044 | -6241.74 |      ms |

|                                       90th percentile latency |            large_terms | 1.05671e+06 | 1.04709e+06 | -9622.98 |      ms |

|                                       99th percentile latency |            large_terms | 1.09033e+06 | 1.07876e+06 | -11568.7 |      ms |

|                                      100th percentile latency |            large_terms | 1.09366e+06 | 1.08199e+06 | -11672.9 |      ms |

|                                  50th percentile service time |            large_terms |     4277.11 |     4201.18 | -75.9265 |      ms |

|                                  90th percentile service time |            large_terms |      4803.6 |     4756.67 | -46.9299 |      ms |

|                                  99th percentile service time |            large_terms |     4927.98 |     5243.67 |  315.686 |      ms |

|                                 100th percentile service time |            large_terms |     4976.14 |     5258.64 |  282.505 |      ms |

|                                                    error rate |            large_terms |         100 |         100 |        0 |       % |

|                                                Min Throughput |   large_filtered_terms |    0.590362 |    0.604571 |  0.01421 |   ops/s |

|                                             Median Throughput |   large_filtered_terms |    0.591796 |    0.607424 |  0.01563 |   ops/s |

|                                                Max Throughput |   large_filtered_terms |    0.593124 |    0.610402 |  0.01728 |   ops/s |

|                                       50th percentile latency |   large_filtered_terms |      256845 |      245773 | -11072.5 |      ms |

|                                       90th percentile latency |   large_filtered_terms |      297226 |      283055 | -14171.2 |      ms |

|                                       99th percentile latency |   large_filtered_terms |      306211 |      292309 | -13902.7 |      ms |

|                                      100th percentile latency |   large_filtered_terms |      307108 |      293178 |   -13930 |      ms |

|                                  50th percentile service time |   large_filtered_terms |     1700.61 |     1561.13 | -139.483 |      ms |

|                                  90th percentile service time |   large_filtered_terms |     1843.11 |     1729.85 | -113.259 |      ms |

|                                  99th percentile service time |   large_filtered_terms |     2739.02 |     2606.56 | -132.464 |      ms |

|                                 100th percentile service time |   large_filtered_terms |     2768.78 |     2639.79 | -128.991 |      ms |

|                                                    error rate |   large_filtered_terms |           0 |           0 |        0 |       % |

|                                                Min Throughput | large_prohibited_terms |    0.615361 |     0.64378 |  0.02842 |   ops/s |

|                                             Median Throughput | large_prohibited_terms |    0.617968 |    0.645034 |  0.02707 |   ops/s |

|                                                Max Throughput | large_prohibited_terms |    0.619079 |    0.646092 |  0.02701 |   ops/s |

|                                       50th percentile latency | large_prohibited_terms |      238360 |      222051 | -16308.7 |      ms |

|                                       90th percentile latency | large_prohibited_terms |      276451 |      256500 | -19951.5 |      ms |

|                                       99th percentile latency | large_prohibited_terms |      284501 |      265220 | -19281.3 |      ms |

|                                      100th percentile latency | large_prohibited_terms |      285289 |      266069 | -19220.2 |      ms |

|                                  50th percentile service time | large_prohibited_terms |     1634.98 |     1515.93 |  -119.05 |      ms |

|                                  90th percentile service time | large_prohibited_terms |      1736.8 |     1609.41 | -127.387 |      ms |

|                                  99th percentile service time | large_prohibited_terms |     2288.69 |     2611.93 |  323.244 |      ms |

|                                 100th percentile service time | large_prohibited_terms |     2332.06 |      2671.6 |  339.543 |      ms |

|                                                    error rate | large_prohibited_terms |           0 |           0 |        0 |       % |



--------------------------------

[INFO] SUCCESS (took 16 seconds)

--------------------------------













标签:latency,service,esrally,压测,index,percentile,elasticsearch,ms,time
来源: https://blog.51cto.com/lee90/2456926