<div dir="ltr"><div><div><div><div><div><div><div><div><div><div><div>Just noticed that the way you have configured your brick order during volume-create makes both replicas of every set reside on the same machine.<br><br></div>That apart, do you see any difference if you change shard-block-size to 512MB? Could you try that?<br><br></div>If it doesn&#39;t help, could you share the volume-profile output for both the tests (separate)?<br><br></div>Here&#39;s what you do:<br></div>1. Start profile before starting your test - it could be dd or it could be file download.<br></div># gluster volume profile &lt;VOL&gt; start<br><br></div>2. Run your test - again either dd or file-download.<br><br></div>3. Once the test has completed, run `gluster volume profile &lt;VOL&gt; info` and redirect its output to a tmp file.<br><br></div>4. Stop profile<br></div># gluster volume profile &lt;VOL&gt; stop<br><br></div>And attach the volume-profile output file that you saved at a temporary location in step 3.<br><br></div>-Krutika<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jun 30, 2017 at 5:33 PM,  <span dir="ltr">&lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="TR"><div class="m_-5183369631683606481WordSection1"><p class="MsoNormal"><span>Hi </span>Krutika<span>,<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Sure, here is volume info:<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>root@sr-09-loc-50-14-18:/# gluster volume info testvol<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>Volume Name: testvol<u></u><u></u></span></p><p class="MsoNormal"><span>Type: Distributed-Replicate<u></u><u></u></span></p><p class="MsoNormal"><span>Volume ID: 30426017-59d5-4091-b6bc-<wbr>279a905b704a<u></u><u></u></span></p><p class="MsoNormal"><span>Status: Started<u></u><u></u></span></p><p class="MsoNormal"><span>Snapshot Count: 0<u></u><u></u></span></p><p class="MsoNormal"><span>Number of Bricks: 10 x 2 = 20<u></u><u></u></span></p><p class="MsoNormal"><span>Transport-type: tcp<u></u><u></u></span></p><p class="MsoNormal"><span>Bricks:<u></u><u></u></span></p><p class="MsoNormal"><span>Brick1: sr-09-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></span></p><p class="MsoNormal"><span>Brick2: sr-09-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></span></p><p class="MsoNormal"><span>Brick3: sr-09-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></span></p><p class="MsoNormal"><span>Brick4: sr-09-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></span></p><p class="MsoNormal"><span>Brick5: sr-09-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></span></p><p class="MsoNormal"><span>Brick6: sr-09-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></span></p><p class="MsoNormal"><span>Brick7: sr-09-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></span></p><p class="MsoNormal"><span>Brick8: sr-09-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></span></p><p class="MsoNormal"><span>Brick9: sr-09-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></span></p><p class="MsoNormal"><span>Brick10: sr-09-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></span></p><p class="MsoNormal"><span>Brick11: sr-10-loc-50-14-18:/bricks/<wbr>brick1<u></u><u></u></span></p><p class="MsoNormal"><span>Brick12: sr-10-loc-50-14-18:/bricks/<wbr>brick2<u></u><u></u></span></p><p class="MsoNormal"><span>Brick13: sr-10-loc-50-14-18:/bricks/<wbr>brick3<u></u><u></u></span></p><p class="MsoNormal"><span>Brick14: sr-10-loc-50-14-18:/bricks/<wbr>brick4<u></u><u></u></span></p><p class="MsoNormal"><span>Brick15: sr-10-loc-50-14-18:/bricks/<wbr>brick5<u></u><u></u></span></p><p class="MsoNormal"><span>Brick16: sr-10-loc-50-14-18:/bricks/<wbr>brick6<u></u><u></u></span></p><p class="MsoNormal"><span>Brick17: sr-10-loc-50-14-18:/bricks/<wbr>brick7<u></u><u></u></span></p><p class="MsoNormal"><span>Brick18: sr-10-loc-50-14-18:/bricks/<wbr>brick8<u></u><u></u></span></p><p class="MsoNormal"><span>Brick19: sr-10-loc-50-14-18:/bricks/<wbr>brick9<u></u><u></u></span></p><p class="MsoNormal"><span>Brick20: sr-10-loc-50-14-18:/bricks/<wbr>brick10<u></u><u></u></span></p><p class="MsoNormal"><span>Options Reconfigured:<u></u><u></u></span></p><p class="MsoNormal"><span>features.shard-block-size: 32MB<u></u><u></u></span></p><p class="MsoNormal"><span>features.shard: on<u></u><u></u></span></p><p class="MsoNormal"><span>transport.address-family: inet<u></u><u></u></span></p><p class="MsoNormal"><span>nfs.disable: on<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><span>-Gencer.<u></u><u></u></span></p><p class="MsoNormal"><span><u></u> <u></u></span></p><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Krutika Dhananjay [mailto:<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>] <br><b>Sent:</b> Friday, June 30, 2017 2:50 PM<br><b>To:</b> <a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a><br><b>Cc:</b> gluster-user &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Subject:</b> Re: [Gluster-users] Very slow performance on Sharded GlusterFS<u></u><u></u></span></p><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Could you please provide the volume-info output?<u></u><u></u></p></div><p class="MsoNormal">-Krutika<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Fri, Jun 30, 2017 at 4:23 PM, &lt;<a href="mailto:gencer@gencgiyen.com" target="_blank">gencer@gencgiyen.com</a>&gt; wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm"><div><div><div><div><p class="MsoNormal">Hi,<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I have an 2 nodes with 20 bricks in total (10+10).<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">First test: <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">2 Nodes with Distributed – Striped – Replicated (2 x 2)<u></u><u></u></p><p class="MsoNormal">10GbE Speed between nodes<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">“dd” performance: 400mb/s and higher<u></u><u></u></p><p class="MsoNormal">Downloading a large file from internet and directly to the gluster: 250-300mb/s<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Now same test without Stripe but with sharding. This results are same when I set shard size 4MB or 32MB. (Again 2x Replica here)<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Dd performance: 70mb/s<u></u><u></u></p><p class="MsoNormal">Download directly to the gluster performance : 60mb/s<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Now, If we do this test twice at the same time (two dd or two doewnload at the same time) it goes below 25/mb each or slower.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I thought sharding is at least equal or a little slower (maybe?) but these results are terribly slow.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">I tried tuning (cache, window-size etc..). Nothing helps.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">GlusterFS 3.11 and Debian 9 used. Kernel also tuned. Disks are “xfs” and 4TB each.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Is there any tweak/tuning out there to make it fast?<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Or is this an expected behavior? If its, It is unacceptable. So slow. I cannot use this on production as it is terribly slow. <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">The reason behind I use shard instead of stripe is i would like to eleminate files that bigger than brick size.<u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal">Thanks,<u></u><u></u></p><p class="MsoNormal">Gencer.<u></u><u></u></p></div></div></div></div><p class="MsoNormal"><br>______________________________<wbr>_________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><u></u><u></u></p></blockquote></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></blockquote></div><br></div>