<div dir="ltr">Hi,<div><br></div><div>doing some tests to compare performance I&#39;ve found some weird results. I&#39;ve seen this in different tests, but probably the more clear an easier to reproduce is to use smallfile tool to create files.</div><div><br></div>The test command is:<br><br><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><font face="monospace, monospace"># python smallfile_cli.py --operation create --files-per-dir 100 --file-size 32768 --threads 16 --files 256 --top &lt;mountpoint&gt; --stonewall no</font></blockquote><div><br></div><div>I&#39;ve run this test 5 times sequentially using the same initial conditions (at least this is what I think): bricks cleared, all gluster processes stopped, volume destroyed and recreated, caches emptied.</div><div><br></div><div>This is the data I&#39;ve obtained for each execution:</div><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><font face="monospace, monospace">Time  Â  Â us  Â  Â  sy  Â  Â ni  Â  Â id  Â  Â wa  Â  Â hi  Â  Â si  Â  Â st  Â  Â read  Â  Â  Â  write  Â  Â  use<br></font><font face="monospace, monospace"> 435 Â  1.80  Â  3.70  Â 0.00  81.62  11.06  Â 0.00  Â 0.00  Â 0.00  Â 32.931  Â 608715.575  Â 97.632<br></font><font face="monospace, monospace"> 450 Â  1.67  Â  3.62  Â 0.00  80.67  12.19  Â 0.00  Â 0.00  Â 0.00  Â 30.989  Â 589078.308  Â 97.714<br></font><font face="monospace, monospace"> 425 Â  1.74  Â  3.75  Â 0.00  81.85  10.76  Â 0.00  Â 0.00  Â 0.00  Â 37.588  Â 622034.812  Â 97.706<br></font><font face="monospace, monospace"> 320 Â  2.47  Â  5.06  Â 0.00  82.84  Â 7.75  Â 0.00  Â 0.00  Â 0.00  Â 46.406  Â 828637.359  Â 96.891<br></font><font face="monospace, monospace"> 365 Â  2.19  Â  4.44  Â 0.00  84.45  Â 7.12  Â 0.00  Â 0.00  Â 0.00  Â 45.822  Â 734566.685  Â 97.466</font></blockquote><br><div>Time is in seconds. us, sy, ni, id, wa, hi, si and st are the CPU times, as reported by top. read and write are the disk throughput in KiB/s. use is the disk usage percentage.</div><div><br></div><div>Based on this we can see that there&#39;s a big difference between the best and the worst cases. But it seems more relevant that when it performed better, in fact disk utilization and CPU wait time were a bit lower.</div><div><br></div>Disk is a NVMe and I used a recent commit from master (2b86da69). Volume type is a replica 3 with 3 bricks.<div><br></div><div>I&#39;m not sure what can be causing this. Any idea ? can anyone try to reproduce it to see if it&#39;s a problem in my environment or it&#39;s a common problem ?</div><div><br></div><div>Thanks,</div><div><br></div><div>Xavi</div></div>