<div dir="ltr"><div>Hi,</div><div><br></div><div>I am getting very slow throughput in the glusterfs (dead slow...even SATA is better) ... i am using all SSD in my environment.....</div><div><br></div><div>I have the following setup :-</div><div>A. 4* host machine with Centos 7(Glusterfs 3.6.2 | Distributed Replicated | replica=2)</div><div>B. Each server has 24 SSD as bricks…(Without HW Raid | JBOD)</div><div>C. Each server has 2 Additional ssd for OS…</div><div>D. Network 2*10G with bonding…(2*E5 CPU and 64GB RAM)</div><div><br></div><div>Note :- Performance/Throughput slower then Normal SATA 7200 RPM…even i am using all SSD in my ENV..</div><div><br></div><div>Gluster Volume options :-</div><div><br></div><div>+++++++++++++++</div><div>Options Reconfigured:</div><div>performance.nfs.write-behind-window-size: 1024MB</div><div>performance.io-thread-count: 32</div><div>performance.cache-size: 1024MB</div><div>cluster.quorum-type: auto</div><div>cluster.server-quorum-type: server</div><div>diagnostics.count-fop-hits: on</div><div>diagnostics.latency-measurement: on</div><div>nfs.disable: on</div><div>user.cifs: enable</div><div>auth.allow: *</div><div>performance.quick-read: off</div><div>performance.read-ahead: off</div><div>performance.io-cache: off</div><div>performance.stat-prefetch: off</div><div>cluster.eager-lock: enable</div><div>network.remote-dio: enable</div><div>storage.owner-uid: 36</div><div>storage.owner-gid: 36</div><div>server.allow-insecure: on</div><div>network.ping-timeout: 0</div><div>diagnostics.brick-log-level: INFO</div><div>+++++++++++++++++++</div><div><br></div><div>Test with SATA and Glusterfs SSD….</div><div>———————</div><div>Dell EQL (SATA disk 7200 RPM)</div><div>—-</div><div>[root@mirror ~]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync</div><div>4096+0 records in</div><div>4096+0 records out</div><div>268435456 bytes (268 MB) copied, 20.7763 s, 12.9 MB/s</div><div>[root@mirror ~]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync</div><div>4096+0 records in</div><div>4096+0 records out</div><div>268435456 bytes (268 MB) copied, 23.5947 s, 11.4 MB/s</div><div><br></div><div>GlsuterFS SSD</div><div>—</div><div>[root@sv-VPN1 ~]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync</div><div>4096+0 records in</div><div>4096+0 records out</div><div>268435456 bytes (268 MB) copied, 66.2572 s, 4.1 MB/s</div><div>[root@sv-VPN1 ~]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync</div><div>4096+0 records in</div><div>4096+0 records out</div><div>268435456 bytes (268 MB) copied, 62.6922 s, 4.3 MB/s</div><div>————————</div><div><br></div><div>Please let me know what i should do to improve the performance of my glusterfs…</div><div><br></div><div>Thanks,</div><div>Punit Dambiwal</div></div>