
<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 1 March 2018 at 15:25, Jose V. CarriÃ³n <span dir="ltr">&lt;<a href="mailto:jocarbur@gmail.com" target="_blank">jocarbur@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I&#39;m sorry for my last incomplete message.<br><div class="gmail_quote"><div dir="ltr"><span class=""><br><div><span style="font-size:12.8px">Below the output of both volumes:</span></div><div><span style="font-size:12.8px"><br></span><div><div>[root@stor1t ~]# gluster volume rebalance volumedisk1 status</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Node Rebalanced-files Â  Â  Â  Â  Â size Â  Â  Â  scanned Â  Â  Â failures Â  Â  Â  skipped Â  Â  Â  Â  Â  Â  Â  status Â run time in h:m:s</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â --------- Â  Â  Â ----------- Â  ----------- Â  ----------- Â  ----------- Â  ----------- Â  Â  Â  Â  ------------ Â  Â  --------------</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â localhost Â  Â  Â  Â  Â  703964 Â  Â  16384.0PB Â  Â  Â  1475983 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:37:55</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor2data Â  Â  Â  Â  Â  704610 Â  Â  16384.0PB Â  Â  Â  1475199 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:31:30</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor3data Â  Â  Â  Â  Â  703964 Â  Â  16384.0PB Â  Â  Â  1475983 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:37:55</div><div>volume rebalance: volumedisk1: success</div><div><br></div><div>[root@stor1 ~]# gluster volume rebalance volumedisk0 status</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Node Rebalanced-files Â  Â  Â  Â  Â size Â  Â  Â  scanned Â  Â  Â failures Â  Â  Â  skipped Â  Â  Â  Â  Â  Â  Â  status Â run time in h:m:s</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â --------- Â  Â  Â ----------- Â  ----------- Â  ----------- Â  ----------- Â  ----------- Â  Â  Â  Â  ------------ Â  Â  --------------</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â localhost Â  Â  Â  Â  Â  411919 Â  Â  Â  Â  1.1GB Â  Â  Â  Â 718044 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:28:52</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor2data Â  Â  Â  Â  Â  435340 Â  Â  16384.0PB Â  Â  Â  Â 741287 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:26:01</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor3data Â  Â  Â  Â  Â  411919 Â  Â  Â  Â  1.1GB Â  Â  Â  Â 718044 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:28:52</div><div>volume rebalance: volumedisk0: success</div></div></div><div><br></div><div>And Â volumedisk1 rebalance logs finished saying:</div><div><div>[2018-02-13 03:47:48.703311] I [MSGID: 109028] [dht-rebalance.c:5053:gf_defra<wbr>g_status_get] 0-volumedisk1-dht: Rebalance is completed. Time taken is 232675.00 secs</div><div>[2018-02-13 03:47:48.703351] I [MSGID: 109028] [dht-rebalance.c:5057:gf_defra<wbr>g_status_get] 0-volumedisk1-dht: Files migrated: 703964, size: 14046969178073, lookups: 1475983, failures: 0, skipped: 0</div></div><div><br></div><div>Checking my logs the new stor3node and the rebalance task was executed on Â 2018-02-10 . From this date to now I have been storing new files.</div></span><div>The exact sequence of commands to add the new node was:</div><span class=""><div><br></div><div><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster peer probe stor3data</pre></div><div><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster volume add-brick volumedisk0 stor3data:/mnt/disk_b1/gluster<wbr>fs/vol0</pre></div></span><div><div class="m_-3290303129513016130gmail-h5"><div class="gmail_extra"><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster volume add-brick volumedisk0 stor3data:/mnt/disk_b2/gluster<wbr>fs/vol0</pre><div class="gmail_quote"><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px"><span style="color:rgb(240,240,240);font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;white-space:pre-wrap">gluster volume add-brick volumedisk1 stor3data:</span><font color="#f0f0f0" face="dejavu sans mono, liberation mono, bitstream vera mono, dejavu mono, monospace"><span style="font-size:11.7px;white-space:pre-wrap">/mnt/disk_c/<wbr>glusterfs/vol1</span></font></pre></div><div class="gmail_quote"><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px"><span style="color:rgb(240,240,240);font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;white-space:pre-wrap">gluster volume add-brick volumedisk1 stor3data:</span><font color="#f0f0f0" face="dejavu sans mono, liberation mono, bitstream vera mono, dejavu mono, monospace"><span style="font-size:11.7px;white-space:pre-wrap">/mnt/disk_d/<wbr>glusterfs/vol1</span></font></pre></div><div class="gmail_quote"><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster volume rebalance volumedisk0 start force<br></pre></div><div class="gmail_quote"><pre class="m_-3290303129513016130gmail-m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster volume rebalance volumedisk1 start force</pre></div><div class="gmail_quote">For some reason , could be unbalanced the assigned range of DHT for stor3data bricks ? Could be minor than stor1data and stor2data ? ,</div><div class="gmail_quote"><br></div><div class="gmail_quote">Any way to verify it ?Â </div><div class="gmail_quote"><br></div><div class="gmail_quote">Any way to modify/rebalance the DHT range between bricks Â in order to unify the DHT range per brick ?.</div><div class="gmail_quote"><br></div><div class="gmail_quote">Thanks a lot,</div><div class="gmail_quote"><br></div><div class="gmail_quote">Greetings.</div><span class="HOEnZb"><font color="#888888"><div class="gmail_quote"><br></div><div class="gmail_quote">Jose V.</div><div><br></div></font></span></div></div></div></div></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">2018-03-01 10:39 GMT+01:00 Jose V. CarriÃ³n <span dir="ltr">&lt;<a href="mailto:jocarbur@gmail.com" target="_blank">jocarbur@gmail.com</a>&gt;</span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span style="font-size:12.8px">Hi Nithya,</span><div><span style="font-size:12.8px">Below the output of both volumes:</span></div><div><span style="font-size:12.8px"><br></span><div><div>[root@stor1t ~]# gluster volume rebalance volumedisk1 status</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Node Rebalanced-files Â  Â  Â  Â  Â size Â  Â  Â  scanned Â  Â  Â failures Â  Â  Â  skipped Â  Â  Â  Â  Â  Â  Â  status Â run time in h:m:s</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â --------- Â  Â  Â ----------- Â  ----------- Â  ----------- Â  ----------- Â  ----------- Â  Â  Â  Â  ------------ Â  Â  --------------</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â localhost Â  Â  Â  Â  Â  703964 Â  Â  16384.0PB Â  Â  Â  1475983 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:37:55</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor2data Â  Â  Â  Â  Â  704610 Â  Â  16384.0PB Â  Â  Â  1475199 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:31:30</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor3data Â  Â  Â  Â  Â  703964 Â  Â  16384.0PB Â  Â  Â  1475983 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  64:37:55</div><div>volume rebalance: volumedisk1: success</div><div><br></div><div>[root@stor1 ~]# gluster volume rebalance volumedisk0 status</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Node Rebalanced-files Â  Â  Â  Â  Â size Â  Â  Â  scanned Â  Â  Â failures Â  Â  Â  skipped Â  Â  Â  Â  Â  Â  Â  status Â run time in h:m:s</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â --------- Â  Â  Â ----------- Â  ----------- Â  ----------- Â  ----------- Â  ----------- Â  Â  Â  Â  ------------ Â  Â  --------------</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â localhost Â  Â  Â  Â  Â  411919 Â  Â  Â  Â  1.1GB Â  Â  Â  Â 718044 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:28:52</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor2data Â  Â  Â  Â  Â  435340 Â  Â  16384.0PB Â  Â  Â  Â 741287 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:26:01</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â stor3data Â  Â  Â  Â  Â  411919 Â  Â  Â  Â  1.1GB Â  Â  Â  Â 718044 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â  0 Â  Â  Â  Â  Â  Â completed Â  Â  Â  Â 2:28:52</div><div>volume rebalance: volumedisk0: success</div></div></div><div><br></div><div>And Â volumedisk1 rebalance logs finished saying:</div><div><div>[2018-02-13 03:47:48.703311] I [MSGID: 109028] [dht-rebalance.c:5053:gf_defra<wbr>g_status_get] 0-volumedisk1-dht: Rebalance is completed. Time taken is 232675.00 secs</div><div>[2018-02-13 03:47:48.703351] I [MSGID: 109028] [dht-rebalance.c:5057:gf_defra<wbr>g_status_get] 0-volumedisk1-dht: Files migrated: 703964, size: 14046969178073, lookups: 1475983, failures: 0, skipped: 0</div></div><div><br></div><div>Checking my logs the new stor3node and the rebalance task was executed on Â 2018-02-10 . From this date to now I have been storing new files.</div><div>The sequence of commands to add the node was:</div><div><br></div><div><pre class="m_-3290303129513016130m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster peer probe stor3data</pre></div><div><pre class="m_-3290303129513016130m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)">gluster volume add-brick volumedisk0 stor3data:/mnt/disk_b1/gluster<wbr>fs/vol0<br></pre><pre class="m_-3290303129513016130m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)"><pre class="m_-3290303129513016130m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap">gluster volume add-brick volumedisk0 stor3data:/mnt/disk_b1/gluster<wbr>fs/vol0</pre></pre><pre class="m_-3290303129513016130m_1331594654924573053gmail-screen" style="box-sizing:border-box;overflow:auto;font-family:&quot;dejavu sans mono&quot;,&quot;liberation mono&quot;,&quot;bitstream vera mono&quot;,&quot;dejavu mono&quot;,monospace;font-size:0.9em;padding:15px;margin-top:1em;margin-bottom:1.8em;line-height:1.42857;word-break:normal;word-wrap:break-word;background:rgb(37,37,37);border:1px solid rgb(26,26,26);border-radius:0px;white-space:pre-wrap;color:rgb(240,240,240)"><br></pre></div><div><div class="m_-3290303129513016130h5"><div><br></div></div></div></div></blockquote></div></div></div></div></blockquote><div><br></div><div>While it is odd that both bricks on the third node show similar usage, I do not see a problem in the steps or the status. Can you keep an eye on this and let us know if this continues to be the case?</div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div class="m_-3290303129513016130h5"><div></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">2018-03-01 6:32 GMT+01:00 Nithya Balachandran <span dir="ltr">&lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt;</span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Jose,<br><div class="gmail_extra"><br><div class="gmail_quote"><span class="m_-3290303129513016130m_1331594654924573053gmail-">On 28 February 2018 at 22:31, Jose V. CarriÃ³n <span dir="ltr">&lt;<a href="mailto:jocarbur@gmail.com" target="_blank">jocarbur@gmail.com</a>&gt;</span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Nithya,<div><br></div><div><div class="m_-3290303129513016130m_1331594654924573053gmail-h5"><div>My initial setup was composed of 2 similar nodes: stor1data and stor2data. A month ago I expanded both volumes with a new node: stor3data (2 bricks per volume).</div><div>Of course, then to add the new peer with the bricks I did the &#39;balance force&#39; operation. This task finished successfully (you can see info below) and number of files on the 3 nodes were very similar .</div><div><br></div><div>For volumedisk1 I only have files of 500MB and they are continuosly written in sequential mode. The filename pattern of written files is:</div><div><br></div><div>run.node1.0000.rdÂ </div><div>run.node2.0000.rd Â </div><div><div>run.node1.0001.rdÂ </div><div>run.node2.0001.rd Â </div></div><div><div>run.node1.0002.rdÂ </div><div>run.node2.0002.rd Â </div></div><div>...........</div><div>...........</div><div><div>run.node1.X.rdÂ </div><div>run.node2.X.rd Â </div></div><div><br></div><div>( Â X ranging from 0000 to infinite )</div><div><br></div><div>Curiously stor1data and stor2data maintain similar ratios in bytes:</div><div><br></div><div>Filesystem Â  Â  Â  Â  Â  Â  Â 1K-blocks Â  Â  Â  Â Used Â  Â  Â  Â  Â  Â  Â  Available Â  Â  Use% Mounted on<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  52737613824 <a href="tel:(707)%20917-4264" value="+17079174264" target="_blank">17079174264</a> Â 35658439560 Â 33% /mnt/glusterfs/vol1 Â  -&gt; stor1data</div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  52737613824 17118810848 Â 35618802976 Â 33% /mnt/glusterfs/vol1 Â -&gt; Â stor2data<br></div><div><br></div><div>However the ratio on som3data differs too much (1TB):</div><div>Filesystem Â  Â  Â  Â  Â  1K-blocks Â  Â  Â  Â Used Â  Â  Â  Â  Â  Â  Â  Â Available Â  Â  Â  Use% Mounted on<br></div><div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  52737613824 15479191748 Â 37258422076 Â 30% /mnt/disk_c/glusterfs/vol1 -&gt; stor3data</div><div>/dev/sdd1 Â  Â  Â  Â  Â  Â  52737613824 15566398604 Â 37171215220 Â 30% /mnt/disk_d/glusterfs/vol1 -&gt; stor3data</div></div><div><br></div><div>Thinking in Â inodes:</div><div><div><br></div><div>Filesystem Â  Â  Â  Â  Â  Â  Â  Â Inodes Â  Â  Â  IUsed Â  Â  Â  IFree Â  Â  Â  Â  Â IUse% Mounted on</div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  5273970048 Â 851053 Â 5273118995 Â  Â 1% /mnt/glusterfs/vol1 -&gt; Â stor1data<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  5273970048 Â 849388 Â 5273120660 Â  Â 1% /mnt/glusterfs/vol1 -&gt; Â stor2data<br></div></div><div><div><br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  5273970048 Â 846877 Â 5273123171 Â  Â 1% /mnt/disk_c/glusterfs/vol1 -&gt; stor3data</div><div>/dev/sdd1 Â  Â  Â  Â  Â  Â  5273970048 Â 845250 Â 5273124798 Â  Â 1% /mnt/disk_d/glusterfs/vol1 -&gt; stor3data</div></div><div><br></div><div>851053 (stor1) - 845250 (stor3) =Â 5803 files of difference !</div></div></div></div></blockquote><div><br></div><div>The inode numbers are a little misleading here - gluster uses some to create its own internal files and directory structures. Based on the average file size, I think this would actually work out to a difference of around 2000 files.</div><span class="m_-3290303129513016130m_1331594654924573053gmail-"><div>Â </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div><div>In adition, correct me if I&#39;m wrong, Â stor3data should have 50% of probability to store a new file (even taking into account the algorithm of DHT with filename patterns)</div><div><br></div></div></blockquote></span><div>Theoretically yes , but again, it depends on the filenames and their hash distribution.</div><div><br></div><div>Please send us the output of :</div><div>gluster volume rebalance &lt;volname&gt; status</div><div><br></div><div>for the volume.</div><div><br></div><div>Regards,</div><div>Nithya</div><div><div class="m_-3290303129513016130m_1331594654924573053gmail-h5"><div>Â </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div></div><div>Thanks,</div><div>Greetings.</div><div><br></div><div>Jose V.</div><div><br></div><div><div>Status of volume: volumedisk0</div><div>Gluster process Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  TCP Port Â RDMA Port Â Online Â Pid</div><div>------------------------------<wbr>------------------------------<wbr>------------------</div><div>Brick stor1data:/mnt/glusterfs/vol0/<wbr>bri</div><div>ck1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49152 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  13533</div><div>Brick stor2data:/mnt/glusterfs/vol0/<wbr>bri</div><div>ck1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49152 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  13302</div><div>Brick stor3data:/mnt/disk_b1/gluster<wbr>fs/</div><div>vol0/brick1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49152 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  17371</div><div>Brick stor3data:/mnt/disk_b2/gluster<wbr>fs/</div><div>vol0/brick1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49153 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  17391</div><div>NFS Server on localhost Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>NFS Server on stor3data Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>NFS Server on stor2data Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>Â </div><div>Task Status of Volume volumedisk0</div><div>------------------------------<wbr>------------------------------<wbr>------------------</div><div>Task Â  Â  Â  Â  Â  Â  Â  Â  : Rebalance Â  Â  Â  Â  Â Â </div><div>ID Â  Â  Â  Â  Â  Â  Â  Â  Â  : 7f5328cb-ed25-4627-9196-fb3e29<wbr>e0e4ca</div><div>Status Â  Â  Â  Â  Â  Â  Â  : completed Â  Â  Â  Â  Â Â </div><div>Â </div><div>Status of volume: volumedisk1</div><div>Gluster process Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  TCP Port Â RDMA Port Â Online Â Pid</div><div>------------------------------<wbr>------------------------------<wbr>------------------</div><div>Brick stor1data:/mnt/glusterfs/vol1/<wbr>bri</div><div>ck1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49153 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  13579</div><div>Brick stor2data:/mnt/glusterfs/vol1/<wbr>bri</div><div>ck1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  49153 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  13344</div><div>Brick stor3data:/mnt/disk_c/glusterf<wbr>s/v</div><div>ol1/brick1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 49154 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  17439</div><div>Brick stor3data:/mnt/disk_d/glusterf<wbr>s/v</div><div>ol1/brick1 Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 49155 Â  Â  0 Â  Â  Â  Â  Â Y Â  Â  Â  17459</div><div>NFS Server on localhost Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>NFS Server on stor3data Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>NFS Server on stor2data Â  Â  Â  Â  Â  Â  Â  Â  N/A Â  Â  Â  N/A Â  Â  Â  Â N Â  Â  Â  N/A Â </div><div>Â </div><div>Task Status of Volume volumedisk1</div><div>------------------------------<wbr>------------------------------<wbr>------------------</div><div>Task Â  Â  Â  Â  Â  Â  Â  Â  : Rebalance Â  Â  Â  Â  Â Â </div><div>ID Â  Â  Â  Â  Â  Â  Â  Â  Â  : d0048704-beeb-4a6a-ae94-7e7916<wbr>423fd3</div><div>Status Â  Â  Â  Â  Â  Â  Â  : completedÂ </div></div><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760h5"><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">2018-02-28 15:40 GMT+01:00 Nithya Balachandran <span dir="ltr">&lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt;</span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Jose,<br><div class="gmail_extra"><br><div class="gmail_quote"><span class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-">On 28 February 2018 at 18:28, Jose V. CarriÃ³n <span dir="ltr">&lt;<a href="mailto:jocarbur@gmail.com" target="_blank">jocarbur@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Nithya,<div><br></div><div>I applied the workarround for this bug and now df shows the right size:</div><div><span><div><br></div></span></div></div></blockquote></span><div>That is good to hear.</div><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-h5"><div><br></div><div>Â </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><span><div></div><div>[root@stor1 ~]# df -h</div><div>Filesystem Â  Â  Â  Â  Â  Â Size Â Used Avail Use% Mounted on</div></span><div>/dev/sdb1 Â  Â  Â  Â  Â  Â  Â 26T Â 1,1T Â  25T Â  4% /mnt/glusterfs/vol0<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  16T Â  34T Â 33% /mnt/glusterfs/vol1</div><div>stor1data:/volumedisk0</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  101T Â 3,3T Â  97T Â  4% /volumedisk0</div><div>stor1data:/volumedisk1</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  197T Â  61T Â 136T Â 31% /volumedisk1</div></div><div><br></div><div><div><br></div><div>[root@stor2 ~]# df -h</div><span><div>Filesystem Â  Â  Â  Â  Â  Â Size Â Used Avail Use% Mounted on</div></span><div>/dev/sdb1 Â  Â  Â  Â  Â  Â  Â 26T Â 1,1T Â  25T Â  4% /mnt/glusterfs/vol0<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  16T Â  34T Â 33% /mnt/glusterfs/vol1</div><div>stor2data:/volumedisk0</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  101T Â 3,3T Â  97T Â  4% /volumedisk0</div><div>stor2data:/volumedisk1</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  197T Â  61T Â 136T Â 31% /volumedisk1</div></div><div><br></div><div><br></div><div><div>[root@stor3 ~]# df -h</div><span><div>Filesystem Â  Â  Â  Â  Â  Â Size Â Used Avail Use% Mounted on</div></span><div>/dev/sdb1 Â  Â  Â  Â  Â  Â  Â 25T Â 638G Â  24T Â  3% /mnt/disk_b1/glusterfs/vol0<br></div><div>/dev/sdb2 Â  Â  Â  Â  Â  Â  Â 25T Â 654G Â  24T Â  3% /mnt/disk_b2/glusterfs/vol0</div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  15T Â  35T Â 30% /mnt/disk_c/glusterfs/vol1</div><div>/dev/sdd1 Â  Â  Â  Â  Â  Â  Â 50T Â  15T Â  35T Â 30% /mnt/disk_d/glusterfs/vol1</div><div>stor3data:/volumedisk0</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  101T Â 3,3T Â  97T Â  4% /volumedisk0</div><div>stor3data:/volumedisk1</div><div>Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  197T Â  61T Â 136T Â 31% /volumedisk1</div></div><div><br></div><div><br></div><div>However I&#39;m concerned because, as you can see, the volumedisk0 on stor3data is composed by 2 bricks on thesame disk but on different partitions (/dev/sdb1 and /dev/sdb2).</div><div>After to aplly the workarround, the Â shared-brick-count parameter was setted to 1 in all the bricks and all the servers (see below). Could be this an issue ?</div><div><br></div></div></blockquote></div></div><div>No, this is correct. The shared-brick-count will be &gt; 1 only if multiple bricks share the same partition.</div><span class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-"><div><br></div><div>Â </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div></div><div>Also, I can check that stor3data is now unbalanced respect stor1data and stor2data. The three nodes have the same size of brick but stor3data bricks have used 1TB less than stor1data and stor2data:</div></div></blockquote><div><br></div><div><br></div></span><div>This does not necessarily indicate a problem. The distribution need not be exactly equal and depends on the filenames. Can you provide more information on the kind of dataset (how many files, sizes etc) on this volume? Did you create the volume with all 4 bricks or add some later?</div><div><br></div><div>Regards,</div><div>Nithya</div><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-h5"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div><div><div><div>stor1data:<br></div><div><div>/dev/sdb1 Â  Â  Â  Â  Â  Â  Â 26T Â 1,1T Â  25T Â  4% /mnt/glusterfs/vol0<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  16T Â  34T Â 33% /mnt/glusterfs/vol1</div></div><div><br></div><div><div>stor2data bricks:</div></div><div><div>/dev/sdb1 Â  Â  Â  Â  Â  Â  Â 26T Â 1,1T Â  25T Â  4% /mnt/glusterfs/vol0<br></div><div>/dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  16T Â  34T Â 33% /mnt/glusterfs/vol1</div></div><div><br></div><div>stor3data bricks:</div></div><div><div>Â  /dev/sdb1 Â  Â  Â  Â  Â  Â  Â 25T Â 638G Â  24T Â  3% /mnt/disk_b1/glusterfs/vol0<br></div><div>Â  /dev/sdb2 Â  Â  Â  Â  Â  Â  Â 25T Â 654G Â  24T Â  3% /mnt/disk_b2/glusterfs/vol0</div></div><div>Â  Â dev/sdc1 Â  Â  Â  Â  Â  Â  Â 50T Â  15T Â  35T Â 30% /mnt/disk_c/glusterfs/vol1<br></div><div>Â  Â /dev/sdd1 Â  Â  Â  Â  Â  Â  50T Â  15T Â  35T Â 30% /mnt/disk_d/glusterfs/vol1</div></div><div><span><div><br></div><div><br></div><div>[root@stor1 ~]# grep -n &quot;share&quot; /var/lib/glusterd/vols/volumed<wbr>isk1/*</div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1</div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 1</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 0</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span></div><div><br></div><div><div>[root@stor2 ~]# grep -n &quot;share&quot; /var/lib/glusterd/vols/volumed<wbr>isk1/*</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 0</div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1</div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 1</div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span></div><div><br></div><div><div>[root@stor3t ~]# grep -n &quot;share&quot; /var/lib/glusterd/vols/volumed<wbr>isk1/*</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1<br></div><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 1</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3: Â  Â option shared-brick-count 0</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol:3: Â  Â option shared-brick-count 1</div><span><div>/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3: Â  Â option shared-brick-count 0</div></span></div><div><br></div><div class="gmail_extra">Thaks for your help,</div><div class="gmail_extra">Greetings.</div><span class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-m_5857708467870841856HOEnZb"><font color="#888888"><div class="gmail_extra"><br></div><div class="gmail_extra">Jose V.</div></font></span><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-m_5857708467870841856h5"><div class="gmail_extra"><br></div><div class="gmail_extra"><br><div class="gmail_quote">2018-02-28 5:07 GMT+01:00 Nithya Balachandran <span dir="ltr">&lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt;</span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Jose,<div><br></div><div>There is a known issue with gluster 3.12.x builds (see [1]) so you may be running into this.</div><div><br></div><div>The &quot;<span style="font-size:12.8px">shared-brick-count&quot; values seem fine onÂ </span><span style="font-size:12.8px">stor1. Please send us &quot;</span><span style="font-size:12.8px">grep -n &quot;share&quot; /var/lib/glusterd/vols/</span><span style="font-size:12.8px">volumed<wbr>isk1/*&quot; resultsÂ </span><span style="font-size:12.8px">for the other nodes so we can check if they are the cause.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Regards,</span></div><div><span style="font-size:12.8px">Nithya</span></div><div><br></div><div><br></div><div><br></div><div>[1]Â <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1517260" target="_blank">https://bugzilla.redhat.co<wbr>m/show_bug.cgi?id=1517260</a></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-m_5857708467870841856m_3174327891829646280h5">On 28 February 2018 at 03:03, Jose V. CarriÃ³n <span dir="ltr">&lt;<a href="mailto:jocarbur@gmail.com" target="_blank">jocarbur@gmail.com</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div class="m_-3290303129513016130m_1331594654924573053gmail-m_5618488662493539760m_-7779132382128053870gmail-m_5857708467870841856m_3174327891829646280h5"><div dir="ltr"><p>Hi, <br>

</p>

<p>Some days ago all my glusterfs configuration was working fine. Today I 

realized that the total size reported by df command was changed and is 

smaller than the aggregated capacity of all the bricks in the volume.</p>

<p>I checked that all the volumes status are fine, all the glusterd 

daemons are running, there is no error in logs,Â  however df shows a bad 

total size.<br>

</p>

<p>My configuration for one volume: volumedisk1</p>

[root@stor1 ~]# gluster volume status volumedisk1Â  detail<br>

<p>Status of volume: volumedisk1<br>

------------------------------<wbr>------------------------------<wbr>------------------<br>

BrickÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : Brick stor1data:/mnt/glusterfs/vol1/<wbr>brick1<br>

TCP PortÂ Â Â Â Â Â Â Â Â Â Â Â  : 49153Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

RDMA PortÂ Â Â Â Â Â Â Â Â Â Â  : 0Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

OnlineÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : YÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

PidÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : 13579Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

File SystemÂ Â Â Â Â Â Â Â Â  : xfsÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

DeviceÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : /dev/sdc1Â Â Â Â Â Â Â Â Â Â  <br>

Mount OptionsÂ Â Â Â Â Â Â  : rw,noatimeÂ Â Â Â Â Â Â Â Â  <br>

Inode SizeÂ Â Â Â Â Â Â Â Â Â  : 512Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Disk Space FreeÂ Â Â Â Â  : 35.0TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Total Disk SpaceÂ Â Â Â  : 49.1TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Inode CountÂ Â Â Â Â Â Â Â Â  : 5273970048Â Â Â Â Â Â Â Â Â  <br>

Free InodesÂ Â Â Â Â Â Â Â Â  : 5273123069Â Â Â Â Â Â Â Â Â  <br>

------------------------------<wbr>------------------------------<wbr>------------------<br>

BrickÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : Brick stor2data:/mnt/glusterfs/vol1/<wbr>brick1<br>

TCP PortÂ Â Â Â Â Â Â Â Â Â Â Â  : 49153Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

RDMA PortÂ Â Â Â Â Â Â Â Â Â Â  : 0Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

OnlineÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : YÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

PidÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : 13344Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

File SystemÂ Â Â Â Â Â Â Â Â  : xfsÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

DeviceÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : /dev/sdc1Â Â Â Â Â Â Â Â Â Â  <br>

Mount OptionsÂ Â Â Â Â Â Â  : rw,noatimeÂ Â Â Â Â Â Â Â Â  <br>

Inode SizeÂ Â Â Â Â Â Â Â Â Â  : 512Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Disk Space FreeÂ Â Â Â Â  : 35.0TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Total Disk SpaceÂ Â Â Â  : 49.1TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Inode CountÂ Â Â Â Â Â Â Â Â  : 5273970048Â Â Â Â Â Â Â Â Â  <br>

Free InodesÂ Â Â Â Â Â Â Â Â  : 5273124718Â Â Â Â Â Â Â Â Â  <br>

------------------------------<wbr>------------------------------<wbr>------------------<br>

BrickÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : Brick stor3data:/mnt/disk_c/glusterf<wbr>s/vol1/brick1<br>

TCP PortÂ Â Â Â Â Â Â Â Â Â Â Â  : 49154Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

RDMA PortÂ Â Â Â Â Â Â Â Â Â Â  : 0Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

OnlineÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : YÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

PidÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : 17439Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

File SystemÂ Â Â Â Â Â Â Â Â  : xfsÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

DeviceÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : /dev/sdc1Â Â Â Â Â Â Â Â Â Â  <br>

Mount OptionsÂ Â Â Â Â Â Â  : rw,noatimeÂ Â Â Â Â Â Â Â Â  <br>

Inode SizeÂ Â Â Â Â Â Â Â Â Â  : 512Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Disk Space FreeÂ Â Â Â Â  : 35.7TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Total Disk SpaceÂ Â Â Â  : 49.1TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Inode CountÂ Â Â Â Â Â Â Â Â  : 5273970048Â Â Â Â Â Â Â Â Â  <br>

Free InodesÂ Â Â Â Â Â Â Â Â  : 5273125437Â Â Â Â Â Â Â Â Â  <br>

------------------------------<wbr>------------------------------<wbr>------------------<br>

BrickÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : Brick stor3data:/mnt/disk_d/glusterf<wbr>s/vol1/brick1<br>

TCP PortÂ Â Â Â Â Â Â Â Â Â Â Â  : 49155Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

RDMA PortÂ Â Â Â Â Â Â Â Â Â Â  : 0Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

OnlineÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : YÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

PidÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  : 17459Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

File SystemÂ Â Â Â Â Â Â Â Â  : xfsÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

DeviceÂ Â Â Â Â Â Â Â Â Â Â Â Â Â  : /dev/sdd1Â Â Â Â Â Â Â Â Â Â  <br>

Mount OptionsÂ Â Â Â Â Â Â  : rw,noatimeÂ Â Â Â Â Â Â Â Â  <br>

Inode SizeÂ Â Â Â Â Â Â Â Â Â  : 512Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Disk Space FreeÂ Â Â Â Â  : 35.6TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Total Disk SpaceÂ Â Â Â  : 49.1TBÂ Â Â Â Â Â Â Â Â Â Â Â Â  <br>

Inode CountÂ Â Â Â Â Â Â Â Â  : 5273970048Â Â Â Â Â Â Â Â Â  <br>

Free InodesÂ Â Â Â Â Â Â Â Â  : 5273127036Â Â Â Â Â Â Â Â Â  <br>

Â </p>

<p>Then full size for volumedisk1 should be: 49.1TB + 49.1TB + 49.1TB +49.1TB = <b>196,4 TBÂ  </b>but df shows:<br>

</p>

<p>[root@stor1 ~]# df -h<br>

FilesystemÂ Â Â Â Â Â Â Â Â Â Â  SizeÂ  Used Avail Use% Mounted on<br>

/dev/sda2Â Â Â Â Â Â Â Â Â Â Â Â Â  48GÂ Â  21GÂ Â  25GÂ  46% /<br>

tmpfsÂ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  32GÂ Â  80KÂ Â  32GÂ Â  1% /dev/shm<br>

/dev/sda1Â Â Â Â Â Â Â Â Â Â Â Â  190MÂ Â  62MÂ  119MÂ  35% /boot<br>

/dev/sda4Â Â Â Â Â Â Â Â Â Â Â Â  395GÂ  251GÂ  124GÂ  68% /data<br>

/dev/sdb1Â Â Â Â Â Â Â Â Â Â Â Â Â  26TÂ  601GÂ Â  25TÂ Â  3% /mnt/glusterfs/vol0<br>

/dev/sdc1Â Â Â Â Â Â Â Â Â Â Â Â Â  50TÂ Â  15TÂ Â  36TÂ  29% /mnt/glusterfs/vol1<br>

stor1data:/volumedisk0<br>

Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  76TÂ  1,6TÂ Â  74TÂ Â  3% /volumedisk0<br>

stor1data:/volumedisk1<br>

Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â  <b>148T</b>Â Â  42TÂ  106TÂ  29% /volumedisk1</p>

<p>Exactly 1 brick minus: 196,4 TB - 49,1TB = 148TB<br>

</p>

<p>It&#39;s a production system so I hope you can help me.<br>

</p>

<p>Thanks in advance.</p>

<p>Jose V.</p>

<p><br>

</p>

<p>Below some other data of my configuration:<br>

</p>

<p>[root@stor1 ~]# gluster volume info<br>

Â <br>

Volume Name: volumedisk0<br>

Type: Distribute<br>

Volume ID: 0ee52d94-1131-4061-bcef-bd8cf8<wbr>98da10<br>

Status: Started<br>

Snapshot Count: 0<br>

Number of Bricks: 4<br>

Transport-type: tcp<br>

Bricks:<br>

Brick1: stor1data:/mnt/glusterfs/vol0/<wbr>brick1<br>

Brick2: stor2data:/mnt/glusterfs/vol0/<wbr>brick1<br>

Brick3: stor3data:/mnt/disk_b1/gluster<wbr>fs/vol0/brick1<br>

Brick4: stor3data:/mnt/disk_b2/gluster<wbr>fs/vol0/brick1<br>

Options Reconfigured:<br>

performance.cache-size: 4GB<br>

cluster.min-free-disk: 1%<br>

performance.io-thread-count: 16<br>

performance.readdir-ahead: on<br>

Â <br>

Volume Name: volumedisk1<br>

Type: Distribute<br>

Volume ID: 591b7098-800e-4954-82a9-6b6d81<wbr>c9e0a2<br>

Status: Started<br>

Snapshot Count: 0<br>

Number of Bricks: 4<br>

Transport-type: tcp<br>

Bricks:<br>

Brick1: stor1data:/mnt/glusterfs/vol1/<wbr>brick1<br>

Brick2: stor2data:/mnt/glusterfs/vol1/<wbr>brick1<br>

Brick3: stor3data:/mnt/disk_c/glusterf<wbr>s/vol1/brick1<br>

Brick4: stor3data:/mnt/disk_d/glusterf<wbr>s/vol1/brick1<br>

Options Reconfigured:<br>

cluster.min-free-inodes: 6%<br>

performance.cache-size: 4GB<br>

cluster.min-free-disk: 1%<br>

performance.io-thread-count: 16<br>

performance.readdir-ahead: on</p>

<p>[root@stor1 ~]# grep -n &quot;share&quot; /var/lib/glusterd/vols/volumed<wbr>isk1/*<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol:3:Â <wbr>Â Â  option shared-brick-count 1<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor1data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3:Â Â Â  option shared-brick-count 1<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol:3:Â <wbr>Â Â  option shared-brick-count 0<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor2data.mnt<wbr>-glusterfs-vol1-brick1.vol.rpm<wbr>save:3:Â Â Â  option shared-brick-count 0<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol:3:Â Â Â  option shared-brick-count 0<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_c-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3:Â Â Â 

 option shared-brick-count 0<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol:3:Â Â Â  option shared-brick-count 0<br>

/var/lib/glusterd/vols/volumed<wbr>isk1/volumedisk1.stor3data.mnt<wbr>-disk_d-glusterfs-vol1-brick1.<wbr>vol.rpmsave:3:Â Â Â 

 option shared-brick-count 0<br>

</p>

<p><br>

</p></div>

<br></div></div>______________________________<wbr>_________________<br>

Gluster-users mailing list<br>

<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>

<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailm<wbr>an/listinfo/gluster-users</a><br></blockquote></div><br></div>

</blockquote></div><br></div></div></div></div>

</blockquote></div></div></div><br></div></div>

</blockquote></div><br></div></div></div></div>

</blockquote></div></div></div><br></div></div>

</blockquote></div><br></div></div></div></div>

</blockquote></div><br></div>

</div></div></blockquote></div><br></div></div>