<div dir="ltr"><div><div><div>Hi all, <br><br></div>I have a gluster volume used to host several VMs (managed through oVirt). <br></div><div>The volume is a replica 3 with arbiter and the 3 servers use 1 Gbit network for the storage.</div><div><br></div><div>When testing with dd (dd if=/dev/zero of=testfile bs=1G count=1 oflag=direct) out of the volume (e.g. writing at /root/) the performance of the dd is reported to be ~ 700MB/s, which is quite decent. When testing the dd on the gluster volume I get ~ 43 MB/s which way lower from the previous. When testing with dd the gluster volume, the network traffic was not exceeding 450 Mbps on the network interface. I would expect to reach near 900 Mbps considering that there is 1 Gbit of bandwidth available. This results having VMs with very slow performance (especially on their write operations). <br></div><div><br></div><div>The full details of the volume are below. Any advise on what can be tweaked will be highly appreciated. <br></div></div><div><br></div><div>Volume Name: vms<br>Type: Replicate<br>Volume ID: 4513340d-7919-498b-bfe0-d836b5cea40b<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 1 x (2 + 1) = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: gluster0:/gluster/vms/brick<br>Brick2: gluster1:/gluster/vms/brick<br>Brick3: gluster2:/gluster/vms/brick (arbiter)<br>Options Reconfigured:<br>cluster.granular-entry-heal: enable<br>performance.strict-o-direct: on<br>network.ping-timeout: 30<br>storage.owner-gid: 36<br>storage.owner-uid: 36<br>user.cifs: off<br>features.shard: on<br>cluster.shd-wait-qlength: 10000<br>cluster.shd-max-threads: 8<br>cluster.locking-scheme: granular<br>cluster.data-self-heal-algorithm: full<br>cluster.server-quorum-type: server<br>cluster.quorum-type: auto<br>cluster.eager-lock: enable<br>network.remote-dio: off<br>performance.low-prio-threads: 32<br>performance.stat-prefetch: off<br>performance.io-cache: off<br>performance.read-ahead: off<br>performance.quick-read: off<br>transport.address-family: inet<br>performance.readdir-ahead: on<br>nfs.disable: on<br>nfs.export-volumes: on<br></div><div><br></div><div><br></div><div>Thanx, <br></div><div>Alex<br></div></div>