<html><head></head><body><div class="ydpfa37b52byahoo-style-wrap" style="font-family:courier new, courier, monaco, monospace, sans-serif;font-size:16px;"><div></div>
        <div dir="ltr" data-setdir="false">When you run '<span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;">gluster vol rebalance tank status' do you still see "in progress" ?</span></span></div><div dir="ltr" data-setdir="false"><span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;"><br></span></span></div><div dir="ltr" data-setdir="false"><span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;">As far as I know , you should run this command only once and there is no need to run it on both nodes.</span></span></div><div dir="ltr" data-setdir="false"><span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;"><br></span></span></div><div dir="ltr" data-setdir="false"><span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;">Best Regards,</span></span></div><div dir="ltr" data-setdir="false"><span><span style="font-family: Helvetica Neue, Helvetica, Arial, sans-serif;">Strahil Nikolov</span></span></div><div><br></div>
        
        </div><div id="ydp10285554yahoo_quoted_7589484398" class="ydp10285554yahoo_quoted">
            <div style="font-family:'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:13px;color:#26282a;">
                
                <div>
                    В събота, 31 август 2019 г., 20:29:06 ч. Гринуич+3, Herb Burnswell &lt;herbert.burnswell@gmail.com&gt; написа:
                </div>
                <div><br></div>
                <div><br></div>
                <div><div id="ydp10285554yiv8253325369"><div><div dir="ltr">Thank you for the reply.<div><br clear="none"></div><div>I started a rebalance with force on serverA as suggested.&nbsp; Now I see 'activity' on that node:</div><div><br clear="none"></div><div># gluster vol rebalance tank status<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Node Rebalanced-files &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;size &nbsp; &nbsp; &nbsp; scanned &nbsp; &nbsp; &nbsp;failures &nbsp; &nbsp; &nbsp; skipped &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; status &nbsp;run time in h:m:s<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;--------- &nbsp; &nbsp; &nbsp;----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; &nbsp; &nbsp; &nbsp; ------------ &nbsp; &nbsp; --------------<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6143 &nbsp; &nbsp; &nbsp; &nbsp; 6.1GB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9542 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;in progress &nbsp; &nbsp; &nbsp; &nbsp;0:4:5<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;serverB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp;0Bytes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 7 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;in progress &nbsp; &nbsp; &nbsp; &nbsp;0:4:5<br clear="none">volume rebalance: tank: success<br clear="none"></div><div><br clear="none"></div><div>But I am not seeing any activity on serverB.&nbsp; Is this expected?&nbsp; Does the rebalance need to run on each node even though it says both nodes are 'in progress'?</div><div><br clear="none"></div><div>Thanks,</div><div><br clear="none"></div><div>HB</div></div><br clear="none"><div class="ydp10285554yiv8253325369yqt9027495030" id="ydp10285554yiv8253325369yqt30898"><div class="ydp10285554yiv8253325369gmail_quote"><div class="ydp10285554yiv8253325369gmail_attr" dir="ltr">On Sat, Aug 31, 2019 at 4:18 AM Strahil &lt;<a shape="rect" href="mailto:hunter86_bg@yahoo.com" rel="nofollow" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:<br clear="none"></div><blockquote class="ydp10285554yiv8253325369gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex;"><p dir="ltr">The rebalance status show 0 Bytes.</p>
<p dir="ltr">Maybe you should try with the 'gluster volume rebalance &lt;VOLNAME&gt; start force' ?</p>
<p dir="ltr">Best Regards,<br clear="none">
Strahil Nikolov</p>
<p dir="ltr">Source: <a shape="rect" href="https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#rebalancing-volumes" rel="nofollow" target="_blank">https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#rebalancing-volumes</a></p>
<div class="ydp10285554yiv8253325369gmail-m_6576207768150789355quote">On Aug 30, 2019 20:04, Herb Burnswell &lt;<a shape="rect" href="mailto:herbert.burnswell@gmail.com" rel="nofollow" target="_blank">herbert.burnswell@gmail.com</a>&gt; wrote:<br clear="none"><blockquote class="ydp10285554yiv8253325369gmail-m_6576207768150789355quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex;"><div dir="ltr">All,<div><br clear="none"></div><div>RHEL 7.5</div><div>Gluster 3.8.15</div><div>2 Nodes: serverA &amp; serverB</div><div><br clear="none"></div><div>I am not deeply knowledgeable about Gluster and it's administration but we have a 2 node cluster that's been running for about a year and a half.&nbsp; All has worked fine to date.&nbsp; Our main volume has consisted of two 60TB bricks on each of the cluster nodes.&nbsp; As we reached capacity on the volume we needed to expand.&nbsp; So, we've added four new 60TB bricks to each of the cluster nodes.&nbsp; The bricks are now seen, and the total size of the volume is as expected:</div><div><br clear="none"></div><div># gluster vol status tank<br clear="none">Status of volume: tank<br clear="none">Gluster process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid<br clear="none">------------------------------------------------------------------------------<br clear="none">Brick serverA:/gluster_bricks/data1 &nbsp; &nbsp; &nbsp; 49162 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 20318<br clear="none">Brick serverB:/gluster_bricks/data1 &nbsp; &nbsp; &nbsp; 49166 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 3432 <br clear="none">Brick serverA:/gluster_bricks/data2 &nbsp; &nbsp; &nbsp; 49163 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 20323<br clear="none">Brick serverB:/gluster_bricks/data2 &nbsp; &nbsp; &nbsp; 49167 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 3435 <br clear="none">Brick serverA:/gluster_bricks/data3 &nbsp; &nbsp; &nbsp; 49164 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 4625 <br clear="none">Brick serverA:/gluster_bricks/data4 &nbsp; &nbsp; &nbsp; 49165 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 4644 <br clear="none">Brick serverA:/gluster_bricks/data5 &nbsp; &nbsp; &nbsp; 49166 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 5088 <br clear="none">Brick serverA:/gluster_bricks/data6 &nbsp; &nbsp; &nbsp; 49167 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 5128 <br clear="none">Brick serverB:/gluster_bricks/data3 &nbsp; &nbsp; &nbsp; 49168 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 22314<br clear="none">Brick serverB:/gluster_bricks/data4 &nbsp; &nbsp; &nbsp; 49169 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 22345<br clear="none">Brick serverB:/gluster_bricks/data5 &nbsp; &nbsp; &nbsp; 49170 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 22889<br clear="none">Brick serverB:/gluster_bricks/data6 &nbsp; &nbsp; &nbsp; 49171 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 22932<br clear="none">Self-heal Daemon on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 22981<br clear="none">Self-heal Daemon on <a shape="rect" href="http://serverA.example.com" rel="nofollow" target="_blank">serverA.example.com</a> &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 6202&nbsp;<br clear="none"></div><div><br clear="none"></div><div>After adding the bricks we ran a rebalance from serverA as:</div><div><br clear="none"></div><div>#&nbsp;gluster volume rebalance tank start</div><div><br clear="none"></div><div>The rebalance completed:</div><div><br clear="none"></div><div># gluster volume rebalance tank status<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Node Rebalanced-files &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;size &nbsp; &nbsp; &nbsp; scanned &nbsp; &nbsp; &nbsp;failures &nbsp; &nbsp; &nbsp; skipped &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; status &nbsp;run time in h:m:s<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;--------- &nbsp; &nbsp; &nbsp;----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; &nbsp; &nbsp; &nbsp; ------------ &nbsp; &nbsp; --------------<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp;0Bytes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;completed &nbsp; &nbsp; &nbsp; &nbsp;3:7:10<br clear="none">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<a shape="rect" href="http://serverA.example.com" rel="nofollow" target="_blank">serverA.example.com</a> &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp;0Bytes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;completed &nbsp; &nbsp; &nbsp; &nbsp;0:0:0<br clear="none">volume rebalance: tank: success<br clear="none"></div><div><br clear="none"></div><div>However, when I run a df, the two original bricks still show all of the consumed space (this is the same on both nodes):</div><div><br clear="none"></div><div># df -hP<br clear="none">Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Size &nbsp;Used Avail Use% Mounted on<br clear="none">/dev/mapper/vg0-root &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5.0G &nbsp;625M &nbsp;4.4G &nbsp;13% /<br clear="none">devtmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;32G &nbsp; &nbsp; 0 &nbsp; 32G &nbsp; 0% /dev<br clear="none">tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32G &nbsp; &nbsp; 0 &nbsp; 32G &nbsp; 0% /dev/shm<br clear="none">tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32G &nbsp; 67M &nbsp; 32G &nbsp; 1% /run<br clear="none">tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32G &nbsp; &nbsp; 0 &nbsp; 32G &nbsp; 0% /sys/fs/cgroup<br clear="none">/dev/mapper/vg0-usr &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20G &nbsp;3.6G &nbsp; 17G &nbsp;18% /usr<br clear="none">/dev/md126 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1014M &nbsp;228M &nbsp;787M &nbsp;23% /boot<br clear="none">/dev/mapper/vg0-home &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5.0G &nbsp; 37M &nbsp;5.0G &nbsp; 1% /home<br clear="none">/dev/mapper/vg0-opt &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5.0G &nbsp; 37M &nbsp;5.0G &nbsp; 1% /opt<br clear="none">/dev/mapper/vg0-tmp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5.0G &nbsp; 33M &nbsp;5.0G &nbsp; 1% /tmp<br clear="none">/dev/mapper/vg0-var &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20G &nbsp;2.6G &nbsp; 18G &nbsp;13% /var<br clear="none">/dev/mapper/gluster_vg-gluster_lv1_data &nbsp; 60T &nbsp; 59T &nbsp;1.1T &nbsp;99% /gluster_bricks/data1<br clear="none">/dev/mapper/gluster_vg-gluster_lv2_data &nbsp; 60T &nbsp; 58T &nbsp;1.3T &nbsp;98% /gluster_bricks/data2<br clear="none">/dev/mapper/gluster_vg-gluster_lv3_data &nbsp; 60T &nbsp;451M &nbsp; 60T &nbsp; 1% /gluster_bricks/data3<br clear="none">/dev/mapper/gluster_vg-gluster_lv4_data &nbsp; 60T &nbsp;451M &nbsp; 60T &nbsp; 1% /gluster_bricks/data4<br clear="none">/dev/mapper/gluster_vg-gluster_lv5_data &nbsp; 60T &nbsp;451M &nbsp; 60T &nbsp; 1% /gluster_bricks/data5<br clear="none">/dev/mapper/gluster_vg-gluster_lv6_data &nbsp; 60T &nbsp;451M &nbsp; 60T &nbsp; 1% /gluster_bricks/data6<br clear="none">localhost:/tank &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;355T &nbsp;116T &nbsp;239T &nbsp;33% /mnt/tank<br clear="none"></div><div><br clear="none"></div><div>We were thinking that the used space would be distributed across the now 6 bricks after rebalance.&nbsp; Is that not what a rebalance does?&nbsp; Is this expected behavior?</div><div><br clear="none"></div><div>Can anyone provide some guidance as to what the behavior here and if there is anything that we need to do at this point?</div><div><br clear="none"></div><div>Thanks in advance,</div><div><br clear="none"></div><div>HB</div></div>
</blockquote></div></blockquote></div></div>
</div></div><div class="ydp10285554yqt9027495030" id="ydp10285554yqt35619">_______________________________________________<br clear="none">Gluster-users mailing list<br clear="none"><a shape="rect" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br clear="none"><a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a></div></div>
            </div>
        </div></body></html>