cluster.min-free-disk & cluster.min-free-inodes could be bloxking you.<div id="yMail_cursorElementTracker_1626096881463"><br></div><div id="yMail_cursorElementTracker_1626096881668">Best Regards,</div><div id="yMail_cursorElementTracker_1626096885013">Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Mon, Jul 12, 2021 at 16:28, Diego Zuccato</div><div><diego.zuccato@unibo.it> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> Il 06/07/2021 18:28, Dan Thomson ha scritto:<br clear="none"><br clear="none">Hi.<br clear="none"><br clear="none">Maybe you're hitting the "reserved space for root" (usually 5%): when <br clear="none">you try to write from the server directly to the brick, you're mos <br clear="none">probably doing it from root and you use the reserved space. When you try <br clear="none">writing from a client you're likely using a normal user and get the "no <br clear="none">space left".<br clear="none">Another possible issue to watch out for, is exhaustion of inodes (I've <br clear="none">been bitten by it for arbiter bricks partition).<br clear="none"><br clear="none">HIH,<br clear="none">Diego<br clear="none"><br clear="none">> Hi gluster users,<br clear="none">> <br clear="none">> I'm having an issue that I'm hoping to get some help with on a<br clear="none">> dispersed volume (EC: 2x(4+2)) that's causing me some headaches. This is<br clear="none">> on a cluster running Gluster 6.9 on CentOS 7.<br clear="none">> <br clear="none">> At some point in the last week, writes to one of my bricks have started<br clear="none">> failing due to an "No Space Left on Device" error:<br clear="none">> <br clear="none">> [2021-07-06 16:08:57.261307] E [MSGID: 115067] <br clear="none">> [server-rpc-fops_v2.c:1373:server4_writev_cbk] 0-gluster-01-server: <br clear="none">> 1853436561: WRITEV -2 (f2d6f2f8-4fd7-4692-bd60-23124897be54), client: <br clear="none">> CTX_ID:648a7383-46c8-4ed7-a921-acafc90bec1a-GRAPH_ID:4-PID:19471-HOST:rhevh08.mgmt.triumf.ca-PC_NAME:gluster-01-client-5-RECON_NO:-5, <br clear="none">> error-xlator: gluster-01-posix [No space left on device]<br clear="none">> <br clear="none">> The disk is quite full (listed as 100% on the server), but does have<br clear="none">> some writable room left:<br clear="none">> <br clear="none">> /dev/mapper/vg--brick1-brick1                                                            <br clear="none">> 11T   11T   97G 100% /data/glusterfs/gluster-01/brick1<br clear="none">> <br clear="none">> however, I'm not sure if the amount of disk space used on the physical<br clear="none">> drive is the true cause of the "No Space Left on Device" errors anyway.<br clear="none">> I can still manually write to this brick outside of Gluster, so it seems<br clear="none">> like the operating system isn't preventing the writes from happening.<br clear="none">> <br clear="none">> During my investigation, I noticed that one .glusterfs paths on the problem<br clear="none">> server is using up much more space than it is on the other servers. I can't<br clear="none">> quite figure out why that might be, or how that happened. I'm wondering<br clear="none">> if there's any advice on what the cause might've been.<br clear="none">> <br clear="none">> I had done some package updates on this server with the issue and not on <br clear="none">> the<br clear="none">> other servers. This included the kernel version, but didn't include the <br clear="none">> Gluster<br clear="none">> packages. So possibly this, or the reboot to load the new kernel may<br clear="none">> have caused a problem. I have scripts on my gluster machines to nicely kill<br clear="none">> all of the brick processes before rebooting, so I'm not leaning towards<br clear="none">> an abrupt shutdown being the cause, but it's a possibility.<br clear="none">> <br clear="none">> I'm also looking for advice on how to safely remove the problem file and<br clear="none">> rebuild it from the other Gluster peers. I've seen some documentation on<br clear="none">> this, but I'm a little nervous about corrupting the volume if I<br clear="none">> misunderstand the process. I'm not free to take the volume or cluster <br clear="none">> down and<br clear="none">> do maintenance at this point, but that might be something I'll have to <br clear="none">> consider<br clear="none">> if it's my only option.<br clear="none">> <br clear="none">> For reference, here's the comparison of the same path that seems to be<br clear="none">> taking up extra space on one of the hosts:<br clear="none">> <br clear="none">> 1: 26G     /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> 2: 26G     /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> 3: 26G     /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> 4: 26G     /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> 5: 26G     /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> 6: 3.0T    /data/gluster-01/brick1/vol/.glusterfs/99/56<br clear="none">> <br clear="none">> Any and all advice is appreciated.<br clear="none">> <br clear="none">> Thanks!<br clear="none">> -- <br clear="none">> <br clear="none">> Daniel Thomson<br clear="none">> DevOps Engineer<br clear="none">> t +1 604 222 7428<br clear="none">> <a shape="rect" ymailto="mailto:dthomson@triumf.ca" href="mailto:dthomson@triumf.ca">dthomson@triumf.ca</a><br clear="none">> TRIUMF Canada's particle accelerator centre<br clear="none">> www.triumf.ca @TRIUMFLab<br clear="none">> 4004 Wesbrook Mall<br clear="none">> Vancouver BC V6T 2A3 Canada<br clear="none">> <br clear="none">> ________<br clear="none">> <br clear="none">> <br clear="none">> <br clear="none">> Community Meeting Calendar:<br clear="none">> <br clear="none">> Schedule -<br clear="none">> Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br clear="none">> Bridge: <a shape="rect" href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br clear="none">> Gluster-users mailing list<br clear="none">> <a shape="rect" ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br clear="none">> <a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none">> <br clear="none"><br clear="none"><br clear="none">-- <br clear="none">Diego Zuccato<br clear="none">DIFA - Dip. di Fisica e Astronomia<br clear="none">Servizi Informatici<br clear="none">Alma Mater Studiorum - Università di Bologna<br clear="none">V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br clear="none">tel.: +39 051 20 95786<div class="yqt0676345314" id="yqtfd76009"><br clear="none">________<br clear="none"><br clear="none"><br clear="none"><br clear="none">Community Meeting Calendar:<br clear="none"><br clear="none">Schedule -<br clear="none">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br clear="none">Bridge: <a shape="rect" href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br clear="none">Gluster-users mailing list<br clear="none"><a shape="rect" ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br clear="none"><a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none"></div> </div> </blockquote></div>