<div dir="ltr"><div>No. It&#39;s just that in the internal testing that was done here, increasing the thread count beyond 4 did not improve the performance any further.<br><br></div>-Krutika<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 20, 2017 at 11:30 PM, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Dear Krutika,<br></div><div><br></div><div>Sorry for asking so naively but can you tell me on what factor do you base that the client and server event-threads parameters for a volume should be set to 4?<br></div><div><br></div><div>Is this metric for example based on the number of cores a GlusterFS server has?<br></div><div><br></div><div>I am asking because I saw my GlusterFS volumes are set to 2 and would like to set these  parameters to something meaningful for performance tuning. My setup is a two node replica with GlusterFS 3.8.11.<br></div><div><br></div><div>Best regards,<br></div><div>M.<br></div><div class="HOEnZb"><div class="h5"><div class="m_4360220813142048501protonmail_signature_block m_4360220813142048501protonmail_signature_block-empty"><div class="m_4360220813142048501protonmail_signature_block-user m_4360220813142048501protonmail_signature_block-empty"><div><br></div></div><div class="m_4360220813142048501protonmail_signature_block-proton m_4360220813142048501protonmail_signature_block-empty"><br></div></div><div><br></div><blockquote type="cite" class="m_4360220813142048501protonmail_quote"><div>-------- Original Message --------<br></div><div>Subject: Re: [Gluster-users] [ovirt-users]  Very poor GlusterFS performance<br></div><div>Local Time: June 20, 2017 12:23 PM<br></div><div>UTC Time: June 20, 2017 10:23 AM<br></div><div>From: <a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a><br></div><div>To: Lindsay Mathieson &lt;<a href="mailto:lindsay.mathieson@gmail.com" target="_blank">lindsay.mathieson@gmail.com</a>&gt;<br></div><div>gluster-users &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;, oVirt users &lt;<a href="mailto:users@ovirt.org" target="_blank">users@ovirt.org</a>&gt;<br></div><div><br></div><div dir="ltr"><div><div><div><div><div><div><div><div><div><div>Couple of things:<br></div></div><div>1. Like Darrell suggested, you should enable stat-prefetch and increase client and server event threads to 4.<br></div></div><div># gluster volume set &lt;VOL&gt; performance.stat-prefetch on<br></div></div><div># gluster volume set &lt;VOL&gt; client.event-threads 4<br></div></div><div># gluster volume set &lt;VOL&gt; server.event-threads 4<br></div><div><br></div></div><div>2. Also glusterfs-3.10.1 and above has a shard performance bug fix - <a href="https://review.gluster.org/#/c/16966/" rel="noreferrer nofollow noopener" target="_blank">https://review.gluster.org/#/<wbr>c/16966/</a><br></div></div><div><br></div></div><div>With these two changes, we saw great improvement in performance in our internal testing.<br></div><div><br></div></div><div>Do you mind trying these two options above?<br></div></div><div>-Krutika<br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On Tue, Jun 20, 2017 at 1:00 PM, Lindsay Mathieson <span dir="ltr">&lt;<a href="mailto:lindsay.mathieson@gmail.com" rel="noreferrer nofollow noopener" target="_blank">lindsay.mathieson@gmail.com</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Have you tried with:<br></div><div><br></div><div>performance.strict-o-direct : off<br></div><div>performance.strict-write-order<wbr>ing : off<br></div></div><div>They can be changed dynamically.<br></div><div><br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div><div class="m_4360220813142048501h5">On 20 June 2017 at 17:21, Sahina Bose <span dir="ltr">&lt;<a href="mailto:sabose@redhat.com" rel="noreferrer nofollow noopener" target="_blank">sabose@redhat.com</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_4360220813142048501h5"><div dir="ltr"><div>[Adding gluster-users]<br></div><div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On Mon, Jun 19, 2017 at 8:16 PM, Chris Boot <span dir="ltr">&lt;<a href="mailto:bootc@bootc.net" rel="noreferrer nofollow noopener" target="_blank">bootc@bootc.net</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Hi folks,<br></div><div> <br></div><div> I have 3x servers in a &quot;hyper-converged&quot; oVirt 4.1.2 + GlusterFS 3.10<br></div><div> configuration. My VMs run off a replica 3 arbiter 1 volume comprised of<br></div><div> 6 bricks, which themselves live on two SSDs in each of the servers (one<br></div><div> brick per SSD). The bricks are XFS on LVM thin volumes straight onto the<br></div><div> SSDs. Connectivity is 10G Ethernet.<br></div><div> <br></div><div> Performance within the VMs is pretty terrible. I experience very low<br></div><div> throughput and random IO is really bad: it feels like a latency issue.<br></div><div> On my oVirt nodes the SSDs are not generally very busy. The 10G network<br></div><div> seems to run without errors (iperf3 gives bandwidth measurements of &gt;=<br></div><div> 9.20 Gbits/sec between the three servers).<br></div><div> <br></div><div> To put this into perspective: I was getting better behaviour from NFS4<br></div><div> on a gigabit connection than I am with GlusterFS on 10G: that doesn&#39;t<br></div><div> feel right at all.<br></div><div> <br></div><div> My volume configuration looks like this:<br></div><div> <br></div><div> Volume Name: vmssd<br></div><div> Type: Distributed-Replicate<br></div><div> Volume ID: d5a5ddd1-a140-4e0d-b514-701cfe<wbr>464853<br></div><div> Status: Started<br></div><div> Snapshot Count: 0<br></div><div> Number of Bricks: 2 x (2 + 1) = 6<br></div><div> Transport-type: tcp<br></div><div> Bricks:<br></div><div> Brick1: ovirt3:/gluster/ssd0_vmssd/bri<wbr>ck<br></div><div> Brick2: ovirt1:/gluster/ssd0_vmssd/bri<wbr>ck<br></div><div> Brick3: ovirt2:/gluster/ssd0_vmssd/bri<wbr>ck (arbiter)<br></div><div> Brick4: ovirt3:/gluster/ssd1_vmssd/bri<wbr>ck<br></div><div> Brick5: ovirt1:/gluster/ssd1_vmssd/bri<wbr>ck<br></div><div> Brick6: ovirt2:/gluster/ssd1_vmssd/bri<wbr>ck (arbiter)<br></div><div> Options Reconfigured:<br></div><div> nfs.disable: on<br></div><div> transport.address-family: inet6<br></div><div> performance.quick-read: off<br></div><div> performance.read-ahead: off<br></div><div> performance.io-cache: off<br></div><div> performance.stat-prefetch: off<br></div><div> performance.low-prio-threads: 32<br></div><div> network.remote-dio: off<br></div><div> cluster.eager-lock: enable<br></div><div> cluster.quorum-type: auto<br></div><div> cluster.server-quorum-type: server<br></div><div> cluster.data-self-heal-algorit<wbr>hm: full<br></div><div> cluster.locking-scheme: granular<br></div><div> cluster.shd-max-threads: 8<br></div><div> cluster.shd-wait-qlength: 10000<br></div><div> features.shard: on<br></div><div> user.cifs: off<br></div><div> storage.owner-uid: 36<br></div><div> storage.owner-gid: 36<br></div><div> features.shard-block-size: 128MB<br></div><div> performance.strict-o-direct: on<br></div><div> network.ping-timeout: 30<br></div><div> cluster.granular-entry-heal: enable<br></div><div> <br></div><div> I would really appreciate some guidance on this to try to improve things<br></div><div> because at this rate I will need to reconsider using GlusterFS altogether.<br></div></blockquote><div><div><br></div></div><div><div>Could you provide the gluster volume profile output while you&#39;re running your I/O tests.<br></div></div><div># gluster volume profile &lt;volname&gt; start <br></div><div><div>to start profiling<br></div></div><div><div># gluster volume profile &lt;volname&gt; info<br></div></div><div>for the profile output.<br></div><div> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><br></div><div>Cheers,<br></div><div> Chris<span class="m_4360220813142048501m_-1770172042832856435HOEnZb"><span class="m_4360220813142048501colour" style="color:#888888"><br> <span class="m_4360220813142048501m_-1770172042832856435m_337741932814777898HOEnZb"><span class="m_4360220813142048501colour" style="color:#888888"><br> --<br> Chris Boot<br> <a href="mailto:bootc@bootc.net" rel="noreferrer nofollow noopener" target="_blank">bootc@bootc.net</a><br> ______________________________<wbr>_________________<br> Users mailing list<br> <a href="mailto:Users@ovirt.org" rel="noreferrer nofollow noopener" target="_blank">Users@ovirt.org</a><br> <a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer nofollow noopener" target="_blank">http://lists.ovirt.org/mailman<wbr>/listinfo/users</a></span></span></span></span></div></blockquote></div><div><br></div></div></div></div><div><br></div></div></div><div>______________________________<wbr>_________________<br></div><div> Gluster-users mailing list<br></div><div> <a href="mailto:Gluster-users@gluster.org" rel="noreferrer nofollow noopener" target="_blank">Gluster-users@gluster.org</a><br></div><div> <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer nofollow noopener" target="_blank">http://lists.gluster.org/mailm<wbr>an/listinfo/gluster-users</a><span class="m_4360220813142048501HOEnZb"><span class="m_4360220813142048501colour" style="color:#888888"></span></span><br></div></blockquote></div><span class="m_4360220813142048501HOEnZb"><span class="m_4360220813142048501colour" style="color:#888888"><div><br></div><div><br></div><div><br></div><div>-- <br></div><div class="m_4360220813142048501m_-1770172042832856435gmail_signature" data-smartmail="gmail_signature">Lindsay<br></div></span></span></div><div><br></div><div>______________________________<wbr>_________________<br></div><div> Users mailing list<br></div><div> <a href="mailto:Users@ovirt.org" rel="noreferrer nofollow noopener" target="_blank">Users@ovirt.org</a><br></div><div> <a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer nofollow noopener" target="_blank">http://lists.ovirt.org/mailman<wbr>/listinfo/users</a><br></div><div> <br></div></blockquote></div></div></blockquote><div><br></div></div></div></blockquote></div><br></div>