<div dir="ltr"><div>I don't think the issue is on gluster side, it seems the issue is on kernel side (possible deadlock in fuse_reverse_inval_entry) </div><div><a href="https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=bda9a71980e083699a0360963c0135657b73f47a">https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=bda9a71980e083699a0360963c0135657b73f47a</a></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 2, 2023 at 5:48 PM Hu Bert <<a href="mailto:revirii@googlemail.com">revirii@googlemail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Good morning,<br>
<br>
we've recently had some strange message in /var/log/syslog.<br>
<br>
System:<br>
debian bullseye, kernel 5.10.0-21-amd64 and 5.10.0-22-amd64<br>
gluster 10.3<br>
<br>
The message look like:<br>
<br>
Apr 27 13:30:18 piggy kernel: [24287.715229] INFO: task<br>
glfs_fusenoti:2787 blocked for more than 120 seconds.<br>
Apr 27 13:30:18 piggy kernel: [24287.715327]       Not tainted<br>
5.10.0-22-amd64 #1 Debian 5.10.178-3<br>
Apr 27 13:30:18 piggy kernel: [24287.715419] "echo 0 ><br>
/proc/sys/kernel/hung_task_timeout_secs" disables this message.<br>
Apr 27 13:30:18 piggy kernel: [24287.715575] task:glfs_fusenoti<br>
state:D stack:    0 pid: 2787 ppid:     1 flags:0x00000000<br>
Apr 27 13:30:18 piggy kernel: [24287.715734] Call Trace:<br>
Apr 27 13:30:18 piggy kernel: [24287.715847]  __schedule+0x282/0x870<br>
Apr 27 13:30:18 piggy kernel: [24287.715959]  schedule+0x46/0xb0<br>
Apr 27 13:30:18 piggy kernel: [24287.716073]<br>
rwsem_down_write_slowpath+0x257/0x4d0<br>
Apr 27 13:30:18 piggy kernel: [24287.716194]<br>
fuse_reverse_inval_entry+0x3b/0x1e0 [fuse]<br>
<br>
etc. Full excerpt here: <a href="https://pastebin.com/6gDHgh16" rel="noreferrer" target="_blank">https://pastebin.com/6gDHgh16</a><br>
<br>
This may cause our application to "hang". In the latest release i read<br>
something about fuse:<br>
<a href="https://docs.gluster.org/en/latest/release-notes/10.4/" rel="noreferrer" target="_blank">https://docs.gluster.org/en/latest/release-notes/10.4/</a><br>
"Fix fuse concurrency problems"<br>
<br>
but i checked the tickets and wasn't able to find something.<br>
<br>
However, i upgraded gluster client 10.3 -> 10.4, hoping that this<br>
fixes the hang-issue.<br>
<br>
Has anyone seen these messages before?<br>
<br>
<br>
Best regards,<br>
Hubert<br>
-------<br>
<br>
Community Meeting Calendar:<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@gluster.org" target="_blank">Gluster-devel@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-devel" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-devel</a><br>
<br>
</blockquote></div>