<div dir="ltr">replied in line<br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 18, 2017 at 4:00 PM, Ashish Pandey <span dir="ltr">&lt;<a href="mailto:aspandey@redhat.com" target="_blank">aspandey@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:&quot;times new roman&quot;,&quot;new york&quot;,times,serif;font-size:12pt;color:rgb(0,0,0)"><div><br></div><div><br></div><div>Hi Amudhan,<br></div><div><br></div><div>In your case, was any IO going on while healing a file?<br></div></div></div></blockquote><div>yes, read and write process but write was not happening in failed brick set </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:&quot;times new roman&quot;,&quot;new york&quot;,times,serif;font-size:12pt;color:rgb(0,0,0)"><div></div><div>Were you writing on a file which was also getting healed by shd?  and you observed that this file is not healing?<br></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:&quot;times new roman&quot;,&quot;new york&quot;,times,serif;font-size:12pt;color:rgb(0,0,0)"><div>Or you just left the system after replace brick to complete the heal.<br></div></div></div></blockquote><div>after replacing disk heal started and was in progress,  when user randomly downloading files from mount point. one of the files was in disperse set where heal is going on. reading that file would have also trigerred heal but was slow and read speed from mount point was 400KB.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:&quot;times new roman&quot;,&quot;new york&quot;,times,serif;font-size:12pt;color:rgb(0,0,0)"><div></div><div><br></div><div>Ashish<br></div><div><br></div><hr id="gmail-m_-4407374095199285970zwchr"><div style="color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:helvetica,arial,sans-serif;font-size:12pt"><b>From: </b>&quot;Serkan Çoban&quot; &lt;<a href="mailto:cobanserkan@gmail.com" target="_blank">cobanserkan@gmail.com</a>&gt;<br><b>To: </b>&quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com" target="_blank">amudhan83@gmail.com</a>&gt;<br><b>Cc: </b>&quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Sent: </b>Tuesday, April 18, 2017 3:29:38 PM<br><b>Subject: </b>Re: [Gluster-users] How to Speed UP heal process in Glusterfs 3.10.1<div><div class="gmail-h5"><br><div><br></div><div dir="ltr"><div><div>&gt;I was asking about reading data in same disperse set like 8+2 disperse config if one disk is replaced and when heal is in process and when client reads data which is available in rest of the 9 disks.<br><div><br></div></div>My use case is write heavy, we barely read data, so I do not know if read speed degrades during heal. But I know write speed do not change during heal.<br><div><br></div></div>How big is your files? How many files on average in each directory?<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 18, 2017 at 11:36 AM, Amudhan P <span dir="ltr">&lt;<a href="mailto:amudhan83@gmail.com" target="_blank">amudhan83@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div>I actually used this (find /mnt/gluster -d -exec getfattr -h -n trusted.ec.heal {} \; &gt; /dev/null<br>) command on a specific folder to trigger heal but it was also not showing any difference in speed.<div><br></div><div>I was asking about reading data in same disperse set like 8+2 disperse config if one disk is replaced and when heal is in process and when client reads data which is available in rest of the 9 disks. </div><div><br></div><div>I am sure there was no bottleneck on network/disk IO in my case. </div><div><br></div><div><table style="border-collapse:collapse;width:583pt" class="gmail-m_-4407374095199285970mceItemTable" border="0" cellspacing="0" cellpadding="0" width="777"><colgroup><col style="width:583pt" width="777"> </colgroup><tbody><tr style="height:15pt"><td style="height:15pt;width:583pt" width="777" height="20">I have tested 3.10.1 heal with disperse.shd-max-threads = 4. heal completed data size of 27GB in 13M15s. so it works well in a test environment but production environment it differs.<br><div><br></div></td></tr><tr style="height:15pt"><td style="height:15pt" height="20"><br></td></tr></tbody></table><div><div class="gmail-m_-4407374095199285970h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 18, 2017 at 12:47 PM, Serkan Çoban <span dir="ltr">&lt;<a href="mailto:cobanserkan@gmail.com" target="_blank">cobanserkan@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">You can increase heal speed by running below command from a client:<br> find /mnt/gluster -d -exec getfattr -h -n trusted.ec.heal {} \; &gt; /dev/null<br> <br> You can write a script with different folders to make it parallel.<br> <br> In my case I see 6TB data was healed within 7-8 days with above command running.<br> <span class="gmail-m_-4407374095199285970m_7902750467696388854gmail-">&gt;did you face any issue in reading data from rest of the good bricks in the set. like slow read &lt; KB/s.<br> </span>No, nodes generally have balanced network/disk  IO during heal..<br> <br> You should make a detailed tests with non-prod cluster and try to find<br> optimum heal configuration for your use case..<br> Our new servers are on the way, in a couple of months I also will do<br> detailed tests with 3.10.x and parallel disperse heal, will post the<br> results here...<br><div class="gmail-m_-4407374095199285970m_7902750467696388854gmail-HOEnZb"><div class="gmail-m_-4407374095199285970m_7902750467696388854gmail-h5"><br> <br> On Tue, Apr 18, 2017 at 9:51 AM, Amudhan P &lt;<a href="mailto:amudhan83@gmail.com" target="_blank">amudhan83@gmail.com</a>&gt; wrote:<br> &gt; Serkan,<br> &gt;<br> &gt; I have initially changed shd-max-thread 1 to 2 saw a little difference and<br> &gt; changing it to 4 &amp; 8. doesn&#39;t make any difference.<br> &gt; disk write speed was about &lt;1MB and data passed in thru network for healing<br> &gt; node from other node were 4MB combined.<br> &gt;<br> &gt; Also, I tried ls -l from mount point to the folders and files which need to<br> &gt; be healed but have not seen any difference in performance.<br> &gt;<br> &gt; But after 3 days of heal process running disk write speed was increased to 9<br> &gt; - 11MB and data passed thru network for healing node from other node were<br> &gt; 40MB combined.<br> &gt;<br> &gt; Still 14GB of data to be healed when comparing to other disks in set.<br> &gt;<br> &gt; I saw in another thread you also had the issue with heal speed, did you face<br> &gt; any issue in reading data from rest of the good bricks in the set. like slow<br> &gt; read &lt; KB/s.<br> &gt;<br> &gt; On Mon, Apr 17, 2017 at 2:05 PM, Serkan Çoban &lt;<a href="mailto:cobanserkan@gmail.com" target="_blank">cobanserkan@gmail.com</a>&gt; wrote:<br> &gt;&gt;<br> &gt;&gt; Normally I see 8-10MB/sec/brick heal speed with gluster 3.7.11.<br> &gt;&gt; I tested parallel heal for disperse with version 3.9.0 and see that it<br> &gt;&gt; increase the heal speed to 20-40MB/sec<br> &gt;&gt; I tested with shd-max-threads 2,4,8 and saw that best performance<br> &gt;&gt; achieved with 2 or 4 threads.<br> &gt;&gt; you can try to start with 2 and test with 4 and 8 and compare the results?<br> &gt;<br> &gt;<br></div></div></blockquote></div><br></div></div></div></div></div></blockquote></div><br></div><br></div></div>______________________________<wbr>_________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a></div><div><br></div></div></div></blockquote></div><br></div></div>