<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, May 5, 2017 at 7:21 PM, Serkan Çoban <span dir="ltr">&lt;<a href="mailto:cobanserkan@gmail.com" target="_blank">cobanserkan@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">In our use case every node has 26 bricks. I am using 60 nodes, one 9PB<br>
volume with 16+4 EC configuration, each brick in a sub-volume is on<br>
different host.<br>
We put 15-20k 2GB files every day into 10-15 folders. So it is 1500K<br>
files/folder. Our gluster version is 3.7.11.<br>
Heal speed in this environment is 8-10MB/sec/brick.<br>
<br>
I did some tests for parallel self heal feature with version 3.9, two<br>
servers 26 bricks each, 8+2 and 16+4 EC configuration.<br>
This was a small test environment and the results are as I said 8+2 is<br>
2x faster then 16+4 with parallel self heal threads set to 2/4.<br>
In 1-2 months our new servers arriving, I will do detailed tests for<br>
heal performance for 8+2 and 16+4 and inform you the results.<br></blockquote><div><br></div><div>In that case I still don&#39;t know why this is the case. Thanks for the inputs. I will also try to find out how long a 2GB file takes in 8+2 vs 16+4 and see if there is something I need to look closely.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
On Fri, May 5, 2017 at 2:54 PM, Pranith Kumar Karampuri<br>
<div class="HOEnZb"><div class="h5">&lt;<a href="mailto:pkarampu@redhat.com">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt; On Fri, May 5, 2017 at 5:19 PM, Pranith Kumar Karampuri<br>
&gt; &lt;<a href="mailto:pkarampu@redhat.com">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Fri, May 5, 2017 at 2:38 PM, Serkan Çoban &lt;<a href="mailto:cobanserkan@gmail.com">cobanserkan@gmail.com</a>&gt;<br>
&gt;&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; It is the over all time, 8TB data disk healed 2x faster in 8+2<br>
&gt;&gt;&gt; configuration.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Wow, that is counter intuitive for me. I will need to explore about this<br>
&gt;&gt; to find out why that could be. Thanks a lot for this feedback!<br>
&gt;<br>
&gt;<br>
&gt; From memory I remember you said you have a lot of small files hosted on the<br>
&gt; volume, right? It could be because of the bug<br>
&gt; <a href="https://review.gluster.org/17151" rel="noreferrer" target="_blank">https://review.gluster.org/<wbr>17151</a> is fixing. That is the only reason I could<br>
&gt; guess right now. We will try to test this kind of case if you could give us<br>
&gt; a bit more details about average file-size/depth of directories etc to<br>
&gt; simulate similar looking directory structure.<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Fri, May 5, 2017 at 10:00 AM, Pranith Kumar Karampuri<br>
&gt;&gt;&gt; &lt;<a href="mailto:pkarampu@redhat.com">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; On Fri, May 5, 2017 at 11:42 AM, Serkan Çoban &lt;<a href="mailto:cobanserkan@gmail.com">cobanserkan@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Healing gets slower as you increase m in m+n configuration.<br>
&gt;&gt;&gt; &gt;&gt; We are using 16+4 configuration without any problems other then heal<br>
&gt;&gt;&gt; &gt;&gt; speed.<br>
&gt;&gt;&gt; &gt;&gt; I tested heal speed with 8+2 and 16+4 on 3.9.0 and see that heals on<br>
&gt;&gt;&gt; &gt;&gt; 8+2 is faster by 2x.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; As you increase number of nodes that are participating in an EC set<br>
&gt;&gt;&gt; &gt; number<br>
&gt;&gt;&gt; &gt; of parallel heals increase. Is the heal speed you saw improved per file<br>
&gt;&gt;&gt; &gt; or<br>
&gt;&gt;&gt; &gt; the over all time it took to heal the data?<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; On Fri, May 5, 2017 at 9:04 AM, Ashish Pandey &lt;<a href="mailto:aspandey@redhat.com">aspandey@redhat.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; 8+2 and 8+3 configurations are not the limitation but just<br>
&gt;&gt;&gt; &gt;&gt; &gt; suggestions.<br>
&gt;&gt;&gt; &gt;&gt; &gt; You can create 16+3 volume without any issue.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Ashish<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; ______________________________<wbr>__<br>
&gt;&gt;&gt; &gt;&gt; &gt; From: &quot;Alastair Neil&quot; &lt;<a href="mailto:ajneil.tech@gmail.com">ajneil.tech@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; To: &quot;gluster-users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Sent: Friday, May 5, 2017 2:23:32 AM<br>
&gt;&gt;&gt; &gt;&gt; &gt; Subject: [Gluster-users] disperse volume brick counts limits in RHES<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Hi<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; we are deploying a large (24node/45brick) cluster and noted that the<br>
&gt;&gt;&gt; &gt;&gt; &gt; RHES<br>
&gt;&gt;&gt; &gt;&gt; &gt; guidelines limit the number of data bricks in a disperse set to 8.<br>
&gt;&gt;&gt; &gt;&gt; &gt; Is<br>
&gt;&gt;&gt; &gt;&gt; &gt; there<br>
&gt;&gt;&gt; &gt;&gt; &gt; any reason for this.  I am aware that you want this to be a power of<br>
&gt;&gt;&gt; &gt;&gt; &gt; 2,<br>
&gt;&gt;&gt; &gt;&gt; &gt; but<br>
&gt;&gt;&gt; &gt;&gt; &gt; as we have a large number of nodes we were planning on going with<br>
&gt;&gt;&gt; &gt;&gt; &gt; 16+3.<br>
&gt;&gt;&gt; &gt;&gt; &gt; Dropping to 8+2 or 8+3 will be a real waste for us.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Thanks,<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Alastair<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt; &gt;&gt; &gt; Gluster-users mailing list<br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt; &gt;&gt; &gt; Gluster-users mailing list<br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt; &gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt; &gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt; &gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; &gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; --<br>
&gt;&gt;&gt; &gt; Pranith<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Pranith<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Pranith<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Pranith<br></div></div>
</div></div>