<div dir="ltr"><div>I can ask our other engineer but I don&#39;t have those figues.<br><br></div>-Alastair<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On 30 June 2017 at 13:52, Serkan Çoban <span dir="ltr">&lt;<a href="mailto:cobanserkan@gmail.com" target="_blank">cobanserkan@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Did you test healing by increasing disperse.shd-max-threads?<br>
What is your heal times per brick now?<br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, Jun 30, 2017 at 8:01 PM, Alastair Neil &lt;<a href="mailto:ajneil.tech@gmail.com">ajneil.tech@gmail.com</a>&gt; wrote:<br>
&gt; We are using 3.10 and have a 7 PB cluster.  We decided against 16+3 as the<br>
&gt; rebuild time are bottlenecked by matrix operations which scale as the square<br>
&gt; of the number of data stripes.  There are some savings because of larger<br>
&gt; data chunks but we ended up using 8+3 and heal times are about half compared<br>
&gt; to 16+3.<br>
&gt;<br>
&gt; -Alastair<br>
&gt;<br>
&gt; On 30 June 2017 at 02:22, Serkan Çoban &lt;<a href="mailto:cobanserkan@gmail.com">cobanserkan@gmail.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; &gt;Thanks for the reply. We will mainly use this for archival - near-cold<br>
&gt;&gt; &gt; storage.<br>
&gt;&gt; Archival usage is good for EC<br>
&gt;&gt;<br>
&gt;&gt; &gt;Anything, from your experience, to keep in mind while planning large<br>
&gt;&gt; &gt; installations?<br>
&gt;&gt; I am using 3.7.11 and only problem is slow rebuild time when a disk<br>
&gt;&gt; fails. It takes 8 days to heal a 8TB disk.(This might be related with<br>
&gt;&gt; my EC configuration 16+4)<br>
&gt;&gt; 3.9+ versions has some improvements about this but I cannot test them<br>
&gt;&gt; yet...<br>
&gt;&gt;<br>
&gt;&gt; On Thu, Jun 29, 2017 at 2:49 PM, jkiebzak &lt;<a href="mailto:jkiebzak@gmail.com">jkiebzak@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Thanks for the reply. We will mainly use this for archival - near-cold<br>
&gt;&gt; &gt; storage.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Anything, from your experience, to keep in mind while planning large<br>
&gt;&gt; &gt; installations?<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Sent from my Verizon, Samsung Galaxy smartphone<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; -------- Original message --------<br>
&gt;&gt; &gt; From: Serkan Çoban &lt;<a href="mailto:cobanserkan@gmail.com">cobanserkan@gmail.com</a>&gt;<br>
&gt;&gt; &gt; Date: 6/29/17 4:39 AM (GMT-05:00)<br>
&gt;&gt; &gt; To: Jason Kiebzak &lt;<a href="mailto:jkiebzak@gmail.com">jkiebzak@gmail.com</a>&gt;<br>
&gt;&gt; &gt; Cc: Gluster Users &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt;&gt; &gt; Subject: Re: [Gluster-users] Multi petabyte gluster<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I am currently using 10PB single volume without problems. 40PB is on<br>
&gt;&gt; &gt; the way. EC is working fine.<br>
&gt;&gt; &gt; You need to plan ahead with large installations like this. Do complete<br>
&gt;&gt; &gt; workload tests and make sure your use case is suitable for EC.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On Wed, Jun 28, 2017 at 11:18 PM, Jason Kiebzak &lt;<a href="mailto:jkiebzak@gmail.com">jkiebzak@gmail.com</a>&gt;<br>
&gt;&gt; &gt; wrote:<br>
&gt;&gt; &gt;&gt; Has anyone scaled to a multi petabyte gluster setup? How well does<br>
&gt;&gt; &gt;&gt; erasure<br>
&gt;&gt; &gt;&gt; code do with such a large setup?<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Thanks<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt; &gt;&gt; Gluster-users mailing list<br>
&gt;&gt; &gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt; &gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt;<br>
&gt;<br>
</div></div></blockquote></div><br></div>