<div dir="ltr">Hi Thomas,<br>Thank you for your response. Adding the required info below:<br><br><blockquote style="margin:0 0 0 40px;border:none;padding:0px">Volume Name: data<br>Type: Distribute<br>Volume ID: 75410231-bb25-4f14-bcde-caf18fce1d31<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 35<br>Transport-type: tcp<br>Bricks:<br>Brick1: 10.132.1.12:/data/data<br>Brick2: 10.132.1.12:/data1/data<br>Brick3: 10.132.1.12:/data2/data<br>Brick4: 10.132.1.12:/data3/data<br>Brick5: 10.132.1.13:/data/data<br>Brick6: 10.132.1.13:/data1/data<br>Brick7: 10.132.1.13:/data2/data<br>Brick8: 10.132.1.13:/data3/data<br>Brick9: 10.132.1.14:/data3/data<br>Brick10: 10.132.1.14:/data2/data<br>Brick11: 10.132.1.14:/data1/data<br>Brick12: 10.132.1.14:/data/data<br>Brick13: 10.132.1.15:/data/data<br>Brick14: 10.132.1.15:/data1/data<br>Brick15: 10.132.1.15:/data2/data<br>Brick16: 10.132.1.15:/data3/data<br>Brick17: 10.132.1.16:/data/data<br>Brick18: 10.132.1.16:/data1/data<br>Brick19: 10.132.1.16:/data2/data<br>Brick20: 10.132.1.16:/data3/data<br>Brick21: 10.132.1.17:/data3/data<br>Brick22: 10.132.1.17:/data2/data<br>Brick23: 10.132.1.17:/data1/data<br>Brick24: 10.132.1.17:/data/data<br>Brick25: 10.132.1.18:/data/data<br>Brick26: 10.132.1.18:/data1/data<br>Brick27: 10.132.1.18:/data2/data<br>Brick28: 10.132.1.18:/data3/data<br>Brick29: 10.132.1.19:/data3/data<br>Brick30: 10.132.1.19:/data2/data<br>Brick31: 10.132.1.19:/data1/data<br>Brick32: 10.132.1.19:/data/data<br>Brick33: 10.132.0.19:/data1/data<br>Brick34: 10.132.0.19:/data2/data<br>Brick35: 10.132.0.19:/data/data<br>Options Reconfigured:<br>performance.cache-refresh-timeout: 60<br>performance.cache-size: 8GB<br>transport.address-family: inet<br>nfs.disable: on<br>performance.client-io-threads: on<br>storage.health-check-interval: 60<br>server.keepalive-time: 60<br>client.keepalive-time: 60<br>network.ping-timeout: 90</blockquote>server.event-threads: 2<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Nov 12, 2021 at 1:08 PM Thomas Bätzler <<a href="mailto:t.baetzler@bringe.com">t.baetzler@bringe.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="DE" style="overflow-wrap: break-word;"><div class="gmail-m_4967135393891527520WordSection1"><p class="MsoNormal"><span lang="EN-US">Hello Shreyansh Shah,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">How is your gluster set up? I think it would be very helpful for our understanding of your setup to see the output of “gluster v info all” annotated with brick sizes.<br><br>Otherwise, how could anybody answer your questions?<br><br><u></u><u></u></span></p><p class="MsoNormal">Best regards,<u></u><u></u></p><p class="MsoNormal">i.A. Thomas Bätzler<u></u><u></u></p><p class="MsoNormal">-- <u></u><u></u></p><p class="MsoNormal">BRINGE Informationstechnik GmbH<u></u><u></u></p><p class="MsoNormal">Zur Seeplatte 12<u></u><u></u></p><p class="MsoNormal">D-76228 Karlsruhe<u></u><u></u></p><p class="MsoNormal">Germany<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Fon: +49 721 94246-0<u></u><u></u></p><p class="MsoNormal">Fon: +49 171 5438457<u></u><u></u></p><p class="MsoNormal">Fax: +49 721 94246-66<u></u><u></u></p><p class="MsoNormal">Web: <a href="http://www.bringe.de/" target="_blank"><span style="color:rgb(5,99,193)">http://www.bringe.de/</span></a><u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Geschäftsführer: Dipl.-Ing. (FH) Martin Bringe<u></u><u></u></p><p class="MsoNormal">Ust.Id: DE812936645, HRB 108943 Mannheim<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0cm 0cm"><p class="MsoNormal"><b>Von:</b> Gluster-users <<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.org</a>> <b>Im Auftrag von </b>Shreyansh Shah<br><b>Gesendet:</b> Freitag, 12. November 2021 07:31<br><b>An:</b> gluster-users <<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>><br><b>Betreff:</b> [Gluster-users] Rebalance Issues<u></u><u></u></p></div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal" style="margin-bottom:12pt">Hi All,<br><br>I have a distributed glusterfs 5.10 setup with 8 nodes and each of them having 1 TB disk and 3 disk of 4TB each (so total 22 TB per node).<br>Recently I added  a new node with 3 additional disks (1 x 10TB + 2 x 8TB). Post this I ran rebalance and it does not seem to complete successfully (adding result of gluster volume rebalance data status below). On a few nodes it shows failed and on the node it is showing as completed the rebalance is not even.<br><br><u></u><u></u></p><blockquote style="margin-left:30pt;margin-right:0cm"><p class="MsoNormal">root@gluster6-new:~# gluster v rebalance data status<br>                                    Node Rebalanced-files          size       scanned      failures       skipped               status  run time in h:m:s<br>                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------<br>                               localhost            22836         2.4TB        136149             1         27664          in progress       14:48:56<br>                             10.132.1.15               80         5.0MB          1134             3           121               failed        1:08:33<br>                             10.132.1.14            18573         2.5TB        137827            20         31278          in progress       14:48:56<br>                             10.132.1.12              607        61.3MB          1667             5            60               failed        1:08:33<br>      gluster4.c.storage-186813.internal            26479         2.8TB        148402            14         38271          in progress       14:48:56<br>                             10.132.1.18               86         6.4MB          1094             5            70               failed        1:08:33<br>                             10.132.1.17            21953         2.6TB        131573             4         26818          in progress       14:48:56<br>                             10.132.1.16               56        45.0MB          1203             5           111               failed        1:08:33<br>                             10.132.0.19             3108         1.9TB        224707             2        160148            completed       13:56:31<br>Estimated time left for rebalance to complete :       22:04:28<u></u><u></u></p></blockquote><p class="MsoNormal"><br>Adding 'df -h'  output for the node that has been marked as completed in the above status command, the data does not seem to be evenly balanced.<u></u><u></u></p><blockquote style="margin-left:30pt;margin-right:0cm"><p class="MsoNormal">root@gluster-9:~$ df -h /data*<br>Filesystem      Size  Used Avail Use% Mounted on<br>/dev/bcache0     10T  8.9T  1.1T  90% /data<br>/dev/bcache1    8.0T  5.0T  3.0T  63% /data1<br>/dev/bcache2    8.0T  5.0T  3.0T  63% /data2<u></u><u></u></p></blockquote><p class="MsoNormal"><br clear="all"><u></u><u></u></p><div><p class="MsoNormal" style="margin-bottom:12pt"><br>I would appreciate any help to identify the issues here:<u></u><u></u></p></div><div><p class="MsoNormal">1. Failures during rebalance.<br>2. Im-balance in data size post gluster rebalance command.<u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12pt">3. Another thing I would like to mention is that we had to re-balance twice as in the initial run one of the new disks on the new node (10 TB), got 100% full. Any thoughts as to why this could happen during rebalance? The disks on the new node were completely blank disks before rebalance.<br>4. Does glusterfs rebalance data based on percentage used or absolute free disk space available?<br><br>I can share more details/logs if required. Thanks.<br><br><u></u><u></u></p></div><p class="MsoNormal">-- <u></u><u></u></p><div><div><div><div><div><div><div><p class="MsoNormal"><span style="font-family:Arial,sans-serif">Regards,<br>Shreyansh Shah</span><u></u><u></u></p><div><p class="MsoNormal"><b><span style="color:rgb(11,83,148)">Alpha</span><span style="color:rgb(102,102,102)">Grep</span><span style="color:black"> Securities Pvt. Ltd.</span></b><u></u><u></u></p></div></div></div></div></div></div></div></div></div></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><font face="arial, helvetica, sans-serif">Regards,<br>Shreyansh Shah</font><br><div style="margin:0in 0in 0.0001pt"><font><b><font color="#0b5394">Alpha</font><font color="#666666">Grep</font><font color="#000000"> Securities Pvt. Ltd.</font></b></font></div></div></div></div></div></div></div></div>