Check the file attributes on all bricks:<div><br></div><div>getfattr -d -e hex -m. /data/brick/gw-runqueues/<path to file><br> <br><br>Best Regards,</div><div>Strahil Nikolov</div><div><br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Thu, May 26, 2022 at 16:05, Kingsley Tart</div><div><gluster@gluster.dogwind.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">Hi,<br></div><div dir="ltr"><br></div><div dir="ltr">I've got a strange issue where on all clients I've tested on (tested on<br></div><div dir="ltr">4) I have "transport endpoint is not connected" on two files in a<br></div><div dir="ltr">directory, whereas other files can be read fine.<br></div><div dir="ltr"><br></div><div dir="ltr">Any ideas?<br></div><div dir="ltr"><br></div><div dir="ltr">On one of the servers (all same version):<br></div><div dir="ltr"><br></div><div dir="ltr"># gluster --version<br></div><div dir="ltr">glusterfs 9.1<br></div><div dir="ltr"><br></div><div dir="ltr">On one of the clients (same thing with all of them) - problem with<br></div><div dir="ltr">files "gw3" and "gw11":<br></div><div dir="ltr"><br></div><div dir="ltr">[<a ymailto="mailto:root@gw6" href="mailto:root@gw6">root@gw6</a> btl]# cd /mnt/runqueues/runners/<br></div><div dir="ltr">[<a ymailto="mailto:root@gw6" href="mailto:root@gw6">root@gw6</a> runners]# ls -la<br></div><div dir="ltr">ls: cannot access gw11: Transport endpoint is not connected<br></div><div dir="ltr">ls: cannot access gw3: Transport endpoint is not connected<br></div><div dir="ltr">total 8<br></div><div dir="ltr">drwxr-xr-x  2 root root 4096 May 26 09:48 .<br></div><div dir="ltr">drwxr-xr-x 13 root root 4096 Apr 12  2021 ..<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw1<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw10<br></div><div dir="ltr">-?????????  ? ?    ?       ?            ? gw11<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw2<br></div><div dir="ltr">-?????????  ? ?    ?       ?            ? gw3<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw4<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw6<br></div><div dir="ltr">-rw-r--r--  1 root root    0 May 26 09:49 gw7<br></div><div dir="ltr">[<a ymailto="mailto:root@gw6" href="mailto:root@gw6">root@gw6</a> runners]# cat *<br></div><div dir="ltr">cat: gw11: Transport endpoint is not connected<br></div><div dir="ltr">cat: gw3: Transport endpoint is not connected<br></div><div dir="ltr">[<a ymailto="mailto:root@gw6" href="mailto:root@gw6">root@gw6</a> runners]#<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Querying on a server shows those two problematic files:<br></div><div dir="ltr"><br></div><div dir="ltr"># gluster volume heal gw-runqueues info<br></div><div dir="ltr">Brick gluster9a:/data/brick/gw-runqueues<br></div><div dir="ltr">/runners<br></div><div dir="ltr">/runners/gw11<br></div><div dir="ltr">/runners/gw3<br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 3<br></div><div dir="ltr"><br></div><div dir="ltr">Brick gluster9b:/data/brick/gw-runqueues<br></div><div dir="ltr">/runners<br></div><div dir="ltr">/runners/gw11<br></div><div dir="ltr">/runners/gw3<br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 3<br></div><div dir="ltr"><br></div><div dir="ltr">Brick gluster9c:/data/brick/gw-runqueues<br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 0<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">However several hours later there's no obvious change. The servers have<br></div><div dir="ltr">hardly any load and the volume is tiny. From a client:<br></div><div dir="ltr"><br></div><div dir="ltr"># find /mnt/runqueues | wc -l<br></div><div dir="ltr">35<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">glfsheal-gw-runqueues.log from server gluster9a:<br></div><div dir="ltr"><a href="https://pastebin.com/7mPszBBM" target="_blank">https://pastebin.com/7mPszBBM</a><br></div><div dir="ltr"><br></div><div dir="ltr">glfsheal-gw-runqueues.log from server gluster9b:<br></div><div dir="ltr"><a href="https://pastebin.com/rxXs5Tcv" target="_blank">https://pastebin.com/rxXs5Tcv</a><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Any pointers would be much appreciated!<br></div><div dir="ltr"><br></div><div dir="ltr">Cheers,<br></div><div dir="ltr">Kingsley.<br></div><div dir="ltr"><br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div>