<div dir="ltr"><div><div><div><div>Hi,<br><br></div>Sorry for the late response.<br></div>No, so eager-lock experiment was more to see if the implementation had any new bugs.<br></div>It doesn&#39;t look like it does. I think having it on would be the right thing to do. It will reduce the number of fops having to go over the network.<br><br></div><div>Coming to the performance drop, I compared the volume profile output for stripe and 32MB shard again.<br></div><div>The only thing that is striking is the number of xattrops and inodelks, which is only 2-4 for striped volume<br>whereas the number is much bigger in the case of sharded volume. This is unfortunately likely with sharding because<br></div><div>the optimizations eager-locking and delayed post-op will now only be applicable on a per-shard basis.<br></div><div>Larger the shard size, the better, to work around this issue.<br><br></div><div>Meanwhile, let me think about how we can get this fixed in code.<br><br></div><div>-Krutika<br></div><div><br><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 10, 2017 at 7:59 PM,  <span dir="ltr">&lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="TR"><div class="m_-6726325788092291032WordSection1"><p class="MsoNormal"><span>Hi Krutika,<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>May I kindly ping to you and ask that If you have any idea yet or figured out whats the issue may?<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>I am awaiting your reply with four eyes :)<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Apologies for the ping :)<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>-Gencer.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><div><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> <a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.<wbr>org</a> [mailto:<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@<wbr>gluster.org</a>] <b>On Behalf Of </b><a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Sent:</b> Thursday, July 6, 2017 11:06 AM</span></p><div><div class="h5"><br><b>To:</b> &#39;Krutika Dhananjay&#39; &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br><b>Cc:</b> &#39;gluster-user&#39; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></div></div><p></p></div></div><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span>Hi Krutika,<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>I also did one more test. I re-created another volume (single volume. Old one destroyed-deleted) then do 2 dd tests. One for 1GB other for 2GB. Both are 32MB shard and eager-lock off.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Samples:<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol start<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Starting volume profile on testvol has been successful<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# dd if=/dev/zero of=/testvol/dtestfil0xb bs=1G count=1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1073741824 bytes (1.1 GB, 1.0 GiB) copied, 12.2708 s, 87.5 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol info &gt; /32mb_shard_and_1gb_dd.log<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol stop<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Stopping volume profile on testvol has been successful<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol start<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Starting volume profile on testvol has been successful<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# dd if=/dev/zero of=/testvol/dtestfil0xb bs=1G count=2<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2+0 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2+0 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2147483648 bytes (2.1 GB, 2.0 GiB) copied, 23.5457 s, 91.2 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol info &gt; /32mb_shard_and_2gb_dd.log<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">sr:~# gluster volume profile testvol stop<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Stopping volume profile on testvol has been successful<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Also here is volume info:<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>sr:~# gluster volume info testvol<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Volume Name: testvol<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Type: Distributed-Replicate<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Volume ID: 3cc06d95-06e9-41f8-8b26-<wbr>e997886d7ba1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Status: Started<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Snapshot Count: 0<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Number of Bricks: 10 x 2 = 20<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Transport-type: tcp<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Bricks:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick1: sr-09-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick2: sr-10-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick3: sr-09-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick4: sr-10-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick5: sr-09-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick6: sr-10-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick7: sr-09-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick8: sr-10-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick9: sr-09-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick10: sr-10-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick11: sr-09-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick12: sr-10-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick13: sr-09-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick14: sr-10-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick15: sr-09-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick16: sr-10-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick17: sr-09-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick18: sr-10-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick19: sr-09-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Brick20: sr-10-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">Options Reconfigured:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">cluster.eager-lock: off<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">features.shard-block-size: 32MB<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">features.shard: on<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">transport.address-family: inet<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">nfs.disable: on<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>See attached results and sorry for the multiple e-mails. I just want to make sure that I provided correct results for the tests.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span>Gencer.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><div><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> <a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.<wbr>org</a> [<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">mailto:gluster-users-bounces@<wbr>gluster.org</a>] <b>On Behalf Of </b><a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Sent:</b> Thursday, July 6, 2017 10:34 AM<br><b>To:</b> &#39;Krutika Dhananjay&#39; &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br><b>Cc:</b> &#39;gluster-user&#39; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></span></p></div></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span>Krutika, I’m sorry I forgot to add logs. I attached them now.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span>Gencer.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><div><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> <a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.<wbr>org</a> [<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">mailto:gluster-users-bounces@<wbr>gluster.org</a>] <b>On Behalf Of </b><a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Sent:</b> Thursday, July 6, 2017 10:27 AM<br><b>To:</b> &#39;Krutika Dhananjay&#39; &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br><b>Cc:</b> &#39;gluster-user&#39; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></span></p></div></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span>Ki Krutika,<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>After that setting:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">$ dd if=/dev/zero of=/mnt/ddfile bs=1G count=1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1073741824 bytes (1.1 GB, 1.0 GiB) copied, 11.7351 s, 91.5 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">$ dd if=/dev/zero of=/mnt/ddfile2 bs=2G count=1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">0+1 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">0+1 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2147479552 bytes (2.1 GB, 2.0 GiB) copied, 23.7351 s, 90.5 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">$ dd if=/dev/zero of=/mnt/ddfile3  bs=1G count=1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1+0 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">1073741824 bytes (1.1 GB, 1.0 GiB) copied, 12.1202 s, 88.6 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">$ dd if=/dev/zero of=/mnt/ddfile4 bs=1G count=2<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2+0 records in<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2+0 records out<u></u><u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2147483648 bytes (2.1 GB, 2.0 GiB) copied, 24.7695 s, 86.7 MB/s<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>I see improvements (from 70-75mb to 90-100mb per second) after eager-lock off setting. Also, I monitoring the bandwidth between two nodes. I see up to 102MB/s.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Is there anything I can do to optimize more? Or is it last stop?<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Note: I deleted all files again and reformat then re-create volume with shard then mount it. Tried with 16MB, 32MB and 512MB shard sizes. Results are equal.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span>Gencer.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Krutika Dhananjay [<a href="mailto:kdhananj@redhat.com" target="_blank">mailto:kdhananj@redhat.com</a>] <br><b>Sent:</b> Thursday, July 6, 2017 3:30 AM<br><b>To:</b> <a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Cc:</b> gluster-user &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></span></p><p class="MsoNormal"><u></u> <u></u></p><div><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">What if you disabled eager lock and run your test again on the sharded configuration along with the profile output?<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt"># gluster volume set &lt;VOL&gt; cluster.eager-lock off<u></u><u></u></p></div><p class="MsoNormal">-Krutika<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Tue, Jul 4, 2017 at 9:03 PM, Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><div><div><p class="MsoNormal">Thanks. I think reusing the same volume was the cause of lack of IO distribution.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">The latest profile output looks much more realistic and in line with i would expect.<u></u><u></u></p></div><p class="MsoNormal">Let me analyse the numbers a bit and get back.<span class="m_-6726325788092291032hoenzb"><span style="color:#888888"><u></u><u></u></span></span></p><div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><span style="color:#888888">-Krutika<u></u><u></u></span></p></div></div></div><div><div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Tue, Jul 4, 2017 at 12:55 PM, &lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><div><p class="MsoNormal">Hi Krutika,<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Thank you so much for myour reply. Let me answer all:<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><ol start="1" type="1"><li class="MsoNormal" style="margin-left:0cm">I have no idea why it did not get distributed over all bricks.<u></u><u></u></li><li class="MsoNormal" style="margin-left:0cm">Hm.. This is really weird.<u></u><u></u></li></ol><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">And others;<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">No. I use only one volume. When I tested sharded and striped volumes, I manually stopped volume, deleted volume, purged data (data inside of bricks/disks) and re-create by using this command:<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">sudo gluster volume create testvol replica 2 sr-09-loc-50-14-18:/bricks/<wbr>brick1 sr-10-loc-50-14-18:/bricks/<wbr>brick1 sr-09-loc-50-14-18:/bricks/<wbr>brick2 sr-10-loc-50-14-18:/bricks/<wbr>brick2 sr-09-loc-50-14-18:/bricks/<wbr>brick3 sr-10-loc-50-14-18:/bricks/<wbr>brick3 sr-09-loc-50-14-18:/bricks/<wbr>brick4 sr-10-loc-50-14-18:/bricks/<wbr>brick4 sr-09-loc-50-14-18:/bricks/<wbr>brick5 sr-10-loc-50-14-18:/bricks/<wbr>brick5 sr-09-loc-50-14-18:/bricks/<wbr>brick6 sr-10-loc-50-14-18:/bricks/<wbr>brick6 sr-09-loc-50-14-18:/bricks/<wbr>brick7 sr-10-loc-50-14-18:/bricks/<wbr>brick7 sr-09-loc-50-14-18:/bricks/<wbr>brick8 sr-10-loc-50-14-18:/bricks/<wbr>brick8 sr-09-loc-50-14-18:/bricks/<wbr>brick9 sr-10-loc-50-14-18:/bricks/<wbr>brick9 sr-09-loc-50-14-18:/bricks/<wbr>brick10 sr-10-loc-50-14-18:/bricks/<wbr>brick10 force<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">and of course after that volume start executed. If shard enabled, I enable that feature BEFORE I start the sharded volume than mount.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I tried converting from one to another but then I saw documentation says clean voluje should be better. So I tried clean method. Still same performance.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Testfile grows from 1GB to 5GB. And tests are dd. See this example:<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">dd if=/dev/zero of=/mnt/testfile bs=1G count=5<u></u><u></u></p><p class="MsoNormal">5+0 records in<u></u><u></u></p><p class="MsoNormal">5+0 records out<u></u><u></u></p><p class="MsoNormal">5368709120 bytes (5.4 GB, 5.0 GiB) copied, 66.7978 s, 80.4 MB/s<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">&gt;&gt; dd if=/dev/zero of=/mnt/testfile bs=5G count=1<u></u><u></u></p><p class="MsoNormal">This also gives same result. (bs and count reversed)<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">And this example have generated a profile which I also attached to this e-mail.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Is there anything that I can try? I am open to all kind of suggestions.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Thanks,<u></u><u></u></p><p class="MsoNormal">Gencer.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Krutika Dhananjay [mailto:<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>] <br><b>Sent:</b> Tuesday, July 4, 2017 9:39 AM</span><u></u><u></u></p><div><div><p class="MsoNormal"><br><b>To:</b> <a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Cc:</b> gluster-user &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></p></div></div><div><div><p class="MsoNormal"> <u></u><u></u></p><div><div><div><div><div><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Hi Gencer,<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">I just checked the volume-profile attachments.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">Things that seem really odd to me as far as the sharded volume is concerned:<u></u><u></u></p></div><p class="MsoNormal">1. Only the replica pair having bricks 5 and 6 on both nodes 09 and 10 seems to have witnessed all the IO. No other bricks witnessed any write operations. This is unacceptable for a volume that has 8 other replica sets. Why didn&#39;t the shards get distributed across all of these sets?<u></u><u></u></p></div></div></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">2. For replica set consisting of bricks 5 and 6 of node 09, I see that the brick 5 is spending 99% of its time in FINODELK fop, when the fop that should have dominated its profile should have been in fact WRITE.<br><br>Could you throw some more light on your setup from gluster standpoint?<br>* For instance, are you using two different gluster volumes to gather these numbers - one distributed-replicated-striped and another distributed-replicated-<wbr>sharded? Or are you merely converting a single volume from one type to another?<u></u><u></u></p><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">* And if there are indeed two volumes, could you share both their `volume info` outputs to eliminate any confusion?<u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">* If there&#39;s just one volume, are you taking care to remove all data from the mount point of this volume before converting it?<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">* What is the size the test file grew to?<u></u><u></u></p></div><div><p class="MsoNormal">* These attached profiles are against dd runs? Or the file download test?<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">-Krutika<u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt"> <u></u><u></u></p></div></div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">On Mon, Jul 3, 2017 at 8:42 PM, &lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><div><p class="MsoNormal">Hi Krutika,<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Have you be able to look out my profiles? Do you have any clue, idea or suggestion?<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Thanks,<u></u><u></u></p><p class="MsoNormal">-Gencer<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Krutika Dhananjay [mailto:<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>] <br><b>Sent:</b> Friday, June 30, 2017 3:50 PM</span><u></u><u></u></p><div><div><p class="MsoNormal"><br><b>To:</b> <a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Cc:</b> gluster-user &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></p></div></div><div><div><p class="MsoNormal"> <u></u><u></u></p><div><div><div><div><div><div><div><div><div><div><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Just noticed that the way you have configured your brick order during volume-create makes both replicas of every set reside on the same machine.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">That apart, do you see any difference if you change shard-block-size to 512MB? Could you try that?<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">If it doesn&#39;t help, could you share the volume-profile output for both the tests (separate)?<u></u><u></u></p></div><p class="MsoNormal">Here&#39;s what you do:<u></u><u></u></p></div><p class="MsoNormal">1. Start profile before starting your test - it could be dd or it could be file download.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt"># gluster volume profile &lt;VOL&gt; start<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">2. Run your test - again either dd or file-download.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">3. Once the test has completed, run `gluster volume profile &lt;VOL&gt; info` and redirect its output to a tmp file.<u></u><u></u></p></div><p class="MsoNormal">4. Stop profile<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt"># gluster volume profile &lt;VOL&gt; stop<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">And attach the volume-profile output file that you saved at a temporary location in step 3.<u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">-Krutika<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">On Fri, Jun 30, 2017 at 5:33 PM, &lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><div><p class="MsoNormal">Hi Krutika,<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Sure, here is volume info:<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">root@sr-09-loc-50-14-18:/# gluster volume info testvol<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Volume Name: testvol<u></u><u></u></p><p class="MsoNormal">Type: Distributed-Replicate<u></u><u></u></p><p class="MsoNormal">Volume ID: 30426017-59d5-4091-b6bc-<wbr>279a905b704a<u></u><u></u></p><p class="MsoNormal">Status: Started<u></u><u></u></p><p class="MsoNormal">Snapshot Count: 0<u></u><u></u></p><p class="MsoNormal">Number of Bricks: 10 x 2 = 20<u></u><u></u></p><p class="MsoNormal">Transport-type: tcp<u></u><u></u></p><p class="MsoNormal">Bricks:<u></u><u></u></p><p class="MsoNormal">Brick1: sr-09-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></p><p class="MsoNormal">Brick2: sr-09-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></p><p class="MsoNormal">Brick3: sr-09-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></p><p class="MsoNormal">Brick4: sr-09-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></p><p class="MsoNormal">Brick5: sr-09-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></p><p class="MsoNormal">Brick6: sr-09-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></p><p class="MsoNormal">Brick7: sr-09-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></p><p class="MsoNormal">Brick8: sr-09-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></p><p class="MsoNormal">Brick9: sr-09-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></p><p class="MsoNormal">Brick10: sr-09-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></p><p class="MsoNormal">Brick11: sr-10-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></p><p class="MsoNormal">Brick12: sr-10-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></p><p class="MsoNormal">Brick13: sr-10-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></p><p class="MsoNormal">Brick14: sr-10-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></p><p class="MsoNormal">Brick15: sr-10-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></p><p class="MsoNormal">Brick16: sr-10-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></p><p class="MsoNormal">Brick17: sr-10-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></p><p class="MsoNormal">Brick18: sr-10-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></p><p class="MsoNormal">Brick19: sr-10-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></p><p class="MsoNormal">Brick20: sr-10-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></p><p class="MsoNormal">Options Reconfigured:<u></u><u></u></p><p class="MsoNormal">features.shard-block-size: 32MB<u></u><u></u></p><p class="MsoNormal">features.shard: on<u></u><u></u></p><p class="MsoNormal">transport.address-family: inet<u></u><u></u></p><p class="MsoNormal">nfs.disable: on<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">-Gencer.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Krutika Dhananjay [mailto:<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>] <br><b>Sent:</b> Friday, June 30, 2017 2:50 PM<br><b>To:</b> <a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Cc:</b> gluster-user &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS</span><u></u><u></u></p><div><div><p class="MsoNormal"> <u></u><u></u></p><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Could you please provide the volume-info output?<u></u><u></u></p></div><p class="MsoNormal">-Krutika<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">On Fri, Jun 30, 2017 at 4:23 PM, &lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0cm;margin-bottom:5.0pt"><div><div><div><div><p class="MsoNormal">Hi,<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I have an 2 nodes with 20 bricks in total (10+10).<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">First test: <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">2 Nodes with Distributed – Striped – Replicated (2 x 2)<u></u><u></u></p><p class="MsoNormal">10GbE Speed between nodes<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">“dd” performance: 400mb/s and higher<u></u><u></u></p><p class="MsoNormal">Downloading a large file from internet and directly to the gluster: 250-300mb/s<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Now same test without Stripe but with sharding. This results are same when I set shard size 4MB or 32MB. (Again 2x Replica here)<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Dd performance: 70mb/s<u></u><u></u></p><p class="MsoNormal">Download directly to the gluster performance : 60mb/s<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Now, If we do this test twice at the same time (two dd or two doewnload at the same time) it goes below 25/mb each or slower.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I thought sharding is at least equal or a little slower (maybe?) but these results are terribly slow.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I tried tuning (cache, window-size etc..). Nothing helps.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">GlusterFS 3.11 and Debian 9 used. Kernel also tuned. Disks are “xfs” and 4TB each.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Is there any tweak/tuning out there to make it fast?<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Or is this an expected behavior? If its, It is unacceptable. So slow. I cannot use this on production as it is terribly slow. <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">The reason behind I use shard instead of stripe is i would like to eleminate files that bigger than brick size.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Thanks,<u></u><u></u></p><p class="MsoNormal">Gencer.<u></u><u></u></p></div></div></div></div><p class="MsoNormal"><br>______________________________<wbr>_________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><u></u><u></u></p></blockquote></div><p class="MsoNormal"> <u></u><u></u></p></div></div></div></div></div></blockquote></div><p class="MsoNormal"> <u></u><u></u></p></div></div></div></div></div></blockquote></div><p class="MsoNormal"> <u></u><u></u></p></div></div></div></div></div></blockquote></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></blockquote></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></blockquote></div><br></div>