<div dir="ltr">Hi,<div><br></div><div>Can you send us the following details:</div><div>1. gluster volume info</div><div>2. What client you are using to run this?</div><div><br></div><div>Thanks,</div><div>Nithya</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 12 March 2018 at 18:16, Andreas Ericsson <span dir="ltr">&lt;<a href="mailto:andreas.ericsson@findity.com" target="_blank">andreas.ericsson@findity.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Heya fellas.<div><br></div><div>I&#39;ve been struggling quite a lot to get glusterfs to perform even halfdecently with a write-intensive workload. Testnumbers are from gluster 3.10.7.</div><div><br></div><div>We store a bunch of small files in a doubly-tiered sha1 hash fanout directory structure. The directories themselves aren&#39;t overly full. Most of the data we write to gluster is &quot;write once, read probably never&quot;, so 99% of all operations are of the write variety.</div><div><br></div><div>The network between servers is sound. 10gb network cards run over a 10gb (doh) switch. iperf reports 9.86Gbit/sec. ping reports a latency of 0.1 - 0.2 ms. There is no firewall, no packet inspection and no nothing between the servers, and the 10gb switch is the only path between the two machines, so traffic isn&#39;t going over some 2mbit wifi by accident.</div><div><br></div><div>Our main storage has always been really slow (write speed of roughly 1.5MiB/s), but I had long attributed that to the extremely slow disks we use to back it, so now that we&#39;re expanding I set up a new gluster cluster with state of the art NVMe SSD drives to boost performance. However, performance only hopped up to around 2.1MiB/s. Perplexed, I tried it first with a 3-node cluster using 2GB ramdrives, which got me up to 2.4MiB/s. My last resort was to use a single node running on ramdisk, just to 100% exclude any network shenanigans, but the write performance stayed at an absolutely abysmal 3MiB/s.</div><div><br></div><div>Writing straight to (the same) ramdisk gives me &quot;normal&quot; ramdisk speed (I don&#39;t actually remember the numbers, but my test that took 2 minutes with gluster completed before I had time to blink). Writing straight to the backing SSD drives gives me a throughput of 96MiB/sec.</div><div><br></div><div>The test itself writes 8494 files that I simply took randomly from our production environment, comprising a total of 63.4MiB (so average file size is just under 8k. Most are actually close to 4k though, with the occasional 2-or-so MB file in there.</div><div><br></div><div>I have googled and read a *lot* of performance-tuning guides, but the 3MiB/sec on single-node ramdisk seems to be far beyond the crippling one can cause by misconfiguration of a single system.</div><div><br></div><div>With this in mind; What sort of write performance can one reasonably hope to get with gluster? Assume a 3-node cluster running on top of (small) ramdisks on a fast and stable network. Is it just a bad fit for our workload?</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>/Andreas</div></font></span></div>
<br>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br></blockquote></div><br></div>