<div dir="ltr">Hi,<br>We are running a gluster 9.3 volume with 47 bricks across 13 nodes. We are noticing uneven data distribution across the bricks. Some bricks are 100% utilised whereas some are < 85%. Due to this, data write randomly fails with error <span style="color:rgb(29,28,29);font-family:Monaco,Menlo,Consolas,"Courier New",monospace;font-size:12px;font-variant-ligatures:none">OSError(28, 'No space left on device') </span>even when the volume has sufficient space on other bricks. We expect the glusterfs process to automatically sync and maintain equal data distribution across the bricks.<br><br>This is the volume info:<br><blockquote style="margin:0 0 0 40px;border:none;padding:0px">root@nas-5:~# gluster v info<br> <br>Volume Name: datavol<br>Type: Distribute<br>Volume ID: b4b52b4b-0ea0-4eeb-a359-5a0573d4f83a<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 47<br>Transport-type: tcp<br>Bricks:<br>Brick1: 10.132.2.101:/data/data<br>Brick2: 10.132.2.101:/data1/data<br>Brick3: 10.132.2.101:/data2/data<br>Brick4: 10.132.2.101:/data3/data<br>Brick5: 10.132.2.102:/data/data<br>Brick6: 10.132.2.102:/data1/data<br>Brick7: 10.132.2.102:/data2/data<br>Brick8: 10.132.2.102:/data3/data<br>Brick9: 10.132.2.103:/data/data<br>Brick10: 10.132.2.103:/data1/data<br>Brick11: 10.132.2.103:/data2/data<br>Brick12: 10.132.2.103:/data3/data<br>Brick13: 10.132.2.104:/data/data<br>Brick14: 10.132.2.104:/data3/data<br>Brick15: 10.132.2.105:/data1/data<br>Brick16: 10.132.2.105:/data2/data<br>Brick17: 10.132.2.106:/data/data<br>Brick18: 10.132.2.106:/data1/data<br>Brick19: 10.132.2.106:/data2/data<br>Brick20: 10.132.2.107:/data/data<br>Brick21: 10.132.2.107:/data1/data<br>Brick22: 10.132.2.107:/data2/data<br>Brick23: 10.132.2.108:/data/data<br>Brick24: 10.132.2.108:/data1/data<br>Brick25: 10.132.2.108:/data2/data<br>Brick26: 10.132.2.109:/data/data<br>Brick27: 10.132.2.109:/data1/data<br>Brick28: 10.132.2.109:/data2/data<br>Brick29: 10.132.2.110:/data/data<br>Brick30: 10.132.2.110:/data1/data<br>Brick31: 10.132.2.111:/data/data<br>Brick32: 10.132.2.111:/data1/data<br>Brick33: 10.132.2.111:/data2/data<br>Brick34: 10.132.2.112:/data/data<br>Brick35: 10.132.2.112:/data1/data<br>Brick36: 10.132.2.112:/data2/data<br>Brick37: 10.132.2.113:/data/data<br>Brick38: 10.132.2.113:/data1/data<br>Brick39: 10.132.2.113:/data2/data<br>Brick40: 10.132.2.108:/data3/data<br>Brick41: 10.132.2.107:/data3/data<br>Brick42: 10.132.2.106:/data3/data<br>Brick43: 10.132.2.105:/data3/data<br>Brick44: 10.132.2.110:/data2/data<br>Brick45: 10.132.2.105:/data/data<br>Brick46: 10.132.2.104:/data1/data<br>Brick47: 10.132.2.104:/data2/data<br>Options Reconfigured:<br>performance.client-io-threads: on<br>cluster.min-free-disk: 2%<br>performance.cache-refresh-timeout: 60<br>client.event-threads: 4<br>server.event-threads: 4<br>network.ping-timeout: 90<br>storage.health-check-interval: 60<br>storage.health-check-timeout: 60<br>performance.io-cache-size: 8GB<br>storage.fips-mode-rchecksum: on<br>transport.address-family: inet<br>nfs.disable: on<br>root@nas-5:~# glusterfs --version<br>glusterfs 9.3<br>Repository revision: git://<a href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a><br>Copyright (c) 2006-2016 Red Hat, Inc. <<a href="https://www.gluster.org/">https://www.gluster.org/</a>><br>GlusterFS comes with ABSOLUTELY NO WARRANTY.<br>It is licensed to you under your choice of the GNU Lesser<br>General Public License, version 3 or any later version (LGPLv3<br>or later), or the GNU General Public License, version 2 (GPLv2),<br>in all cases as published by the Free Software Foundation.<br>root@nas-5:~# </blockquote><br><br>This is the disk usage distribution when the write failed:<br><b>Node 1:</b><br>/dev/bcache1    9.7T  8.5T  1.2T  88% /data<br>/dev/bcache3    3.9T  3.3T  563G  86% /data1<br>/dev/bcache0    3.9T  3.3T  560G  86% /data2<br>/dev/bcache2    3.9T  3.5T  395G  90% /data3<br><b>Node 2:</b><br>/dev/bcache0    9.7T  8.5T  1.2T  88% /data<br>/dev/bcache1    3.9T  3.5T  421G  90% /data1<br>/dev/bcache2    3.9T  3.6T  330G  92% /data2<br>/dev/bcache3    3.9T  3.4T  513G  87% /data3<br><b>Node 3:</b><br>/dev/bcache0    9.7T  8.8T  882G  92% /data<br>/dev/bcache1    3.9T  3.6T  335G  92% /data1<br>/dev/bcache2    3.9T  3.4T  532G  87% /data2<br>/dev/bcache3    3.9T  3.3T  564G  86% /data3<br><b>Node 4:</b><br>/dev/bcache0    9.7T  8.7T  982G  91% /data<br>/dev/bcache1    3.9T  3.5T  424G  90% /data1<br>/dev/bcache2    3.9T  3.4T  549G  87% /data2<br>/dev/bcache3    3.9T  3.6T  344G  92% /data3<br><b>Node 5:</b><br>/dev/bcache0    9.7T  8.5T  1.3T  88% /data<br>/dev/bcache1    3.9T  3.6T  288G  93% /data1<br>/dev/bcache2    3.9T  3.4T  470G  89% /data2<br>/dev/bcache3    9.9T  9.8T  101G 100% /data3<br><b>Node 6:</b><br>/dev/bcache0    9.7T  8.2T  1.5T  86% /data<br>/dev/bcache1    3.9T  3.4T  526G  87% /data1<br>/dev/bcache2    3.9T  3.5T  431G  90% /data2<br>/dev/bcache3    9.9T  8.9T  1.1T  90% /data3<br><b>Node 7:</b><br>/dev/bcache0    9.7T  8.9T  783G  93% /data<br>/dev/bcache1    3.9T  3.3T  561G  86% /data1<br>/dev/bcache2    3.9T  3.5T  360G  91% /data2<br>/dev/bcache3    9.9T  8.7T  1.2T  89% /data3<br><b>Node 8:</b><br>/dev/bcache0    9.7T  8.7T  994G  90% /data<br>/dev/bcache1    3.9T  3.3T  645G  84% /data1<br>/dev/bcache2    3.9T  3.4T  519G  87% /data2<br>/dev/bcache3    9.9T  9.0T  868G  92% /data3<br><b>Node 9:</b><br>/dev/bcache0     10T  8.6T  1.4T  87% /data<br>/dev/bcache1    8.0T  6.7T  1.4T  84% /data1<br>/dev/bcache2    8.0T  6.8T  1.3T  85% /data2<br><b>Node 10:</b><br>/dev/bcache0     10T  8.8T  1.3T  88% /data<br>/dev/bcache1    8.0T  6.6T  1.4T  83% /data1<br>/dev/bcache2    8.0T  7.0T  990G  88% /data2<br><b>Node 11:</b><br>/dev/bcache0     10T  8.1T  1.9T  82% /data<br>/dev/bcache1     10T  8.5T  1.5T  86% /data1<br>/dev/bcache2     10T  8.4T  1.6T  85% /data2<br><b>Node 12:</b><br>/dev/bcache0     10T  8.4T  1.6T  85% /data<br>/dev/bcache1     10T  8.4T  1.6T  85% /data1<br>/dev/bcache2     10T  8.2T  1.8T  83% /data2<br><b>Node 13:</b><br>/dev/bcache1     10T  8.7T  1.3T  88% /data1<br>/dev/bcache2     10T  8.8T  1.2T  88% /data2<br>/dev/bcache0     10T  8.6T  1.5T  86% /data<br><br><br><br><span style="color:rgb(29,28,29);font-family:Monaco,Menlo,Consolas,"Courier New",monospace;font-size:12px;font-variant-ligatures:none"><br></span><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font face="arial, helvetica, sans-serif">Regards,<br>Shreyansh Shah</font><br><div style="margin:0in 0in 0.0001pt"><font><font color="#0b5394" style="font-weight:bold">Alpha</font><font color="#666666" style="font-weight:bold">Grep</font><font color="#000000"><b> Securities Pvt. Ltd.</b><br></font></font></div></div></div></div></div></div>