Have you checked which files are those and what attributes are having.<div><br></div><div>Usually I use method2 (don't forget to mounr the volume on another location with the aux-gfid-mount  option) to find the path to the brick: <a id="linkextractor__1663185054922" data-yahoo-extracted-link="true" href="https://docs.gluster.org/en/main/Troubleshooting/gfid-to-path/">https://docs.gluster.org/en/main/Troubleshooting/gfid-to-path/</a></div><div><br></div><div>Then check the attributes (check on all nodes):<br> getfattr -d -m . -e hex </brick/path/to/file></div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov </div><div> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;">  </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">Hi folks,<br></div><div dir="ltr"><br></div><div dir="ltr">my gluster volume isn't fully healing. We had an outage couple days ago <br></div><div dir="ltr">and all other files got healed successfully. Now - days later - i can <br></div><div dir="ltr">see there are still two gfid's per node remaining in healing list.<br></div><div dir="ltr"><br></div><div dir="ltr"><a ymailto="mailto:root@storage-001" href="mailto:root@storage-001">root@storage-001</a>~# for i in `gluster volume list`; do gluster volume <br></div><div dir="ltr">heal $i info; done<br></div><div dir="ltr">Brick storage-003.mydomain.com:/mnt/bricks/g-volume-myvolume<br></div><div dir="ltr"><gfid:612ebae7-3df2-467f-aa02-47d9e3bafc1a><br></div><div dir="ltr"><gfid:876597cd-702a-49ec-a9ed-46d21f90f754><br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 2<br></div><div dir="ltr"><br></div><div dir="ltr">Brick storage-002.mydomain.com:/mnt/bricks/g-volume-myvolume<br></div><div dir="ltr"><gfid:a4babc5a-bd5a-4429-b65e-758651d5727c><br></div><div dir="ltr"><gfid:48791313-e5e7-44df-bf99-3ebc8d4cf5d5><br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 2<br></div><div dir="ltr"><br></div><div dir="ltr">Brick storage-001.mydomain.com:/mnt/bricks/g-volume-myvolume<br></div><div dir="ltr"><gfid:a4babc5a-bd5a-4429-b65e-758651d5727c><br></div><div dir="ltr"><gfid:48791313-e5e7-44df-bf99-3ebc8d4cf5d5><br></div><div dir="ltr">Status: Connected<br></div><div dir="ltr">Number of entries: 2<br></div><div dir="ltr"><br></div><div dir="ltr">In the log i can see that the glustershd process is invoked to heal the <br></div><div dir="ltr">reamining files but fails with "remote operation failed".<br></div><div dir="ltr">[2022-09-14 10:56:50.007978 +0000] I [MSGID: 108026] <br></div><div dir="ltr">[afr-self-heal-entry.c:1053:afr_selfheal_entry_do] <br></div><div dir="ltr">0-g-volume-myvolume-replicate-0: performing entry selfheal on <br></div><div dir="ltr">48791313-e5e7-44df-bf99-3ebc8d4cf5d5<br></div><div dir="ltr">[2022-09-14 10:56:50.008428 +0000] I [MSGID: 108026] <br></div><div dir="ltr">[afr-self-heal-entry.c:1053:afr_selfheal_entry_do] <br></div><div dir="ltr">0-g-volume-myvolume-replicate-0: performing entry selfheal on <br></div><div dir="ltr">a4babc5a-bd5a-4429-b65e-758651d5727c<br></div><div dir="ltr">[2022-09-14 10:56:50.015005 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-2: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:50.015007 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-3: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:50.015138 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-4: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:50.614082 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-2: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:50.614108 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-3: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:50.614099 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-4: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:51.619623 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-2: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:51.619630 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-3: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr">[2022-09-14 10:56:51.619632 +0000] E [MSGID: 114031] <br></div><div dir="ltr">[client-rpc-fops_v2.c:214:client4_0_mkdir_cbk] <br></div><div dir="ltr">0-g-volume-myvolume-client-4: remote operation failed. [{path=(null)}, <br></div><div dir="ltr">{errno=22}, {error=Invalid argument}]<br></div><div dir="ltr"><br></div><div dir="ltr">The gluster is running with opversion 90000 on CentOS. There are no <br></div><div dir="ltr">entries in split brain.<br></div><div dir="ltr"><br></div><div dir="ltr">How can i get these files finally healed?<br></div><div dir="ltr"><br></div><div dir="ltr">Thanks in advance.<br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div>