<div dir="ltr">Hi Strahil,Diego,<div><br></div><div>Thanks for your help. Moving the folder on the Arbiter and touching the directory on another node solved the issue.</div><div><br></div><div>Much appreciated</div><div>David</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 23 Feb 2023 at 13:29, Diego Zuccato <<a href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">IIUC that should be it.<br>
But I think you also should remove the gfid file corresponding to the <br>
removed folder.<br>
<br>
I created a simple batch to convert GFID to path inside brick (I've had <br>
to manually remove quite a lot of files and folders... every big rm -rf <br>
leaves something behind, sometimes directories that appear empty but <br>
that aren't clean on all the bricks, other times plain broken <br>
directories/files that give IO errors).<br>
The script is as simple as:<br>
-8<--<br>
#!/bin/bash<br>
# convert gfid to path inside brick.<br>
<br>
# gfid should be like b14d99e4-4477-4ffb-aca7-835cfa1c9b2a but even 32 <br>
hex chars gets accepted<br>
# (that's what getfattr -d -m . -e hex path/to/file reports under <br>
'trusted.gfid')<br>
GFID=$1<br>
<br>
if [[ "$GFID" =~ ^/ ]]; then<br>
  Â  Â  Â  echo "Paths not yet supported (TODO)"<br>
  Â  Â  Â  exit<br>
fi<br>
<br>
if [[ "$GFID" =~ ^[0-9a-f]* ]]; then<br>
  Â  Â  Â  GFID=$(echo $GFID|sed <br>
's/^\(.\{8\}\)\(.\{4\}\)\(.\{4\}\)\(.\{4\}\)\(.\{12\}\)/\1-\2-\3-\4-\5/')<br>
fi<br>
echo .glusterfs/$(echo $GFID| sed 's!^\(..\)\(..\)!\1/\2/\1\2!')<br>
-8<--<br>
<br>
Just call it with the hex gfid (trusted.gfid=0x...) without the 0x prefix.<br>
<br>
HIH<br>
<br>
Diego<br>
<br>
Il 23/02/2023 13:48, David Dolan ha scritto:<br>
> Just to confirm I've got this correct?<br>
> <br>
> So I'll move the directory with the different gfid on the Arbiter brick <br>
> to somewhere else<br>
> I then touch this directory on another brick(software is not sensitive <br>
> to atime update)<br>
> <br>
> I guess the healing should then take place automatically?<br>
> <br>
> Thanks<br>
> David<br>
> <br>
> On Thu, 23 Feb 2023 at 11:01, Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a> <br>
> <mailto:<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>>> wrote:<br>
> <br>
>  Â  Â Move away the file located onthe arbiter brick as it has different<br>
>  Â  Â gfid and touch it(only if the software that consumes it is NOT<br>
>  Â  Â sensitive to atime modification).<br>
> <br>
>  Â  Â Best Regards,<br>
>  Â  Â Strahil Nikolov<br>
> <br>
>  Â  Â  Â  Â On Wed, Feb 22, 2023 at 13:09, David Dolan<br>
>  Â  Â  Â  Â <<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a> <mailto:<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a>>> wrote:<br>
>  Â  Â  Â  Â Hi Strahil,<br>
> <br>
>  Â  Â  Â  Â The output in my previous email showed the directory the file is<br>
>  Â  Â  Â  Â located in with a different GFID on the Arbiter node compared<br>
>  Â  Â  Â  Â with the bricks on the other nodes.<br>
> <br>
>  Â  Â  Â  Â Based on that, do you know what my next step should be?<br>
> <br>
>  Â  Â  Â  Â Thanks<br>
>  Â  Â  Â  Â David<br>
> <br>
> <br>
>  Â  Â  Â  Â On Wed, 15 Feb 2023 at 09:21, David Dolan <<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a><br>
>  Â  Â  Â  Â <mailto:<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a>>> wrote:<br>
> <br>
>  Â  Â  Â  Â  Â  Â sorry I didn't receive the previous email.<br>
>  Â  Â  Â  Â  Â  Â I've run the command on all 3 nodes(bricks). See below. The<br>
>  Â  Â  Â  Â  Â  Â directory only has one file.<br>
>  Â  Â  Â  Â  Â  Â On the Arbiter, the file doesn't exist and the directory the<br>
>  Â  Â  Â  Â  Â  Â file should be in has a different GFID than the bricks on<br>
>  Â  Â  Â  Â  Â  Â the other nodes<br>
> <br>
>  Â  Â  Â  Â  Â  Â Node 1 Brick<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1/subdir2/file<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x7b1aa40dd1e64b7b8aac7fc6bcbc9e9b<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1/subdir2<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0xdc99ac0db85d4b1c8a6af57a71bbe22c<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x2aa1fe9e65094e6188fc91a6d16dd2c4<br>
> <br>
>  Â  Â  Â  Â  Â  Â Node 2 Brick<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1/subdir2/file<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x7b1aa40dd1e64b7b8aac7fc6bcbc9e9b<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1/subdir2<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0xdc99ac0db85d4b1c8a6af57a71bbe22c<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x2aa1fe9e65094e6188fc91a6d16dd2c4<br>
> <br>
>  Â  Â  Â  Â  Â  Â Node 3 Brick (Arbiter)<br>
>  Â  Â  Â  Â  Â  Â Path to file doesn't exist<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1/subdir2<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x51cca97ac2974ceb9322fe21e6f8ea91<br>
>  Â  Â  Â  Â  Â  Â getfattr -d -m . -e hex /path_on_brick/subdir1<br>
>  Â  Â  Â  Â  Â  Â trusted.gfid=0x2aa1fe9e65094e6188fc91a6d16dd2c4<br>
> <br>
>  Â  Â  Â  Â  Â  Â Thanks<br>
>  Â  Â  Â  Â  Â  Â David<br>
> <br>
>  Â  Â  Â  Â  Â  Â On Tue, 14 Feb 2023 at 20:38, Strahil Nikolov<br>
>  Â  Â  Â  Â  Â  Â <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a> <mailto:<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>>> wrote:<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â I guess you didn't receive my last e-mail.<br>
>  Â  Â  Â  Â  Â  Â  Â  Â Use getfattr and identify if the gfid mismatch. If yes,<br>
>  Â  Â  Â  Â  Â  Â  Â  Â move away the mismatched one.<br>
>  Â  Â  Â  Â  Â  Â  Â  Â In order a dir to heal, you have to fix all files inside<br>
>  Â  Â  Â  Â  Â  Â  Â  Â it before it can be healed.<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â Best Regards,<br>
>  Â  Â  Â  Â  Â  Â  Â  Â Strahil Nikolov<br>
>  Â  Â  Â  Â  Â  Â  Â  Â Ð’ Ð²Ñ‚орник, 14 Ñ„евруари 2023 Ð³., 14:04:31 Ñ‡. Ð“ринуич+2,<br>
>  Â  Â  Â  Â  Â  Â  Â  Â David Dolan <<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â <mailto:<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a>>> Ð½Ð°Ð¿Ð¸ÑÐ°:<br>
> <br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â I've touched the directory one level above the directory<br>
>  Â  Â  Â  Â  Â  Â  Â  Â with the I\O issue as the one above that is the one<br>
>  Â  Â  Â  Â  Â  Â  Â  Â showing as dirty.<br>
>  Â  Â  Â  Â  Â  Â  Â  Â It hasn't healed. Should the self heal daemon<br>
>  Â  Â  Â  Â  Â  Â  Â  Â automatically kick in here?<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â Is there anything else I can do?<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â Thanks<br>
>  Â  Â  Â  Â  Â  Â  Â  Â David<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â On Tue, 14 Feb 2023 at 07:03, Strahil Nikolov<br>
>  Â  Â  Â  Â  Â  Â  Â  Â <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a> <mailto:<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>>><br>
>  Â  Â  Â  Â  Â  Â  Â  Â wrote:<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â You can always mount it locally on any of the<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â gluster nodes.<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Best Regards,<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Strahil Nikolov<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â On Mon, Feb 13, 2023 at 18:13, David Dolan<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <mailto:<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a>>> wrote:<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â HI Strahil,<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Thanks for that. It's the first time I've been<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â in this position, so I'm learning as I go along.<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Unfortunately I can't go into the directory on<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â the client side as I get an input/output error<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Input/output error<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â d????????? ? ? Â  Â  Â ? Â  Â  Â  Â ? Â  Â  Â  Â  Â  Â ? 01<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Thanks<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â David<br>
> <br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â On Sun, 12 Feb 2023 at 20:29, Strahil Nikolov<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <mailto:<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>>> wrote:<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Setting blame on client-1 and client-2 will<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â make a bigger mess.<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Can't you touch the affected file from the<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â FUSE mount point ?<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Best Regards,<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Strahil Nikolov<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â On Tue, Feb 7, 2023 at 14:42, David Dolan<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <mailto:<a href="mailto:daithidolan@gmail.com" target="_blank">daithidolan@gmail.com</a>>> wrote:<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Hi All.<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Hoping you can help me with a healing<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â problem. I have one file which didn't<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â self heal.<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â it looks to be a problem with a<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â directory in the path as one node says<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â it's dirty. I have a replica volume with<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â arbiter<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â This is what the 3 nodes say. One brick<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â on each<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Node1getfattr -d -m . -e hex /path/to/dir | grep afrgetfattr: Removing leading '/' from absolute path namestrusted.afr.volume-client-2=0x000000000000000000000001trusted.afr.dirty=0x000000000000000000000000Node2getfattr -d -m . -e hex /path/to/dir | grep afrgetfattr: Removing leading '/' from absolute path namestrusted.afr.volume-client-2=0x000000000000000000000001trusted.afr.dirty=0x000000000000000000000000Node3(Arbiter)getfattr -d -m . -e hex /path/to/dir | grep afrgetfattr: Removing leading '/' from absolute path namestrusted.afr.dirty=0x000000000000000000000001<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Since Node3(the arbiter) sees it as<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â dirty and it looks like Node 1 and Node<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 2 have good copies, I was thinking of<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â running the following on Node1 which I<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â believe would tell Node 2 and Node 3 to<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â sync from Node 1<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â I'd then kick off a heal on the volume<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â setfattr -n trusted.afr.volume-client-1 -v 0x000000010000000000000000 /path/to/dirsetfattr -n trusted.afr.volume-client-2 -v 0x000000010000000000000000 /path/to/dir<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â client-0 is node 1, client-1 is node2<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â and client-2 is node 3. I've verified<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â the hard links with gfid are in the<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â xattrop directory<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Is this the correct way to heal and<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â resolve the issue?<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Thanks<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â David<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â ________<br>
> <br>
> <br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Community Meeting Calendar:<br>
> <br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Schedule -<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Every 2nd and 4th Tuesday at 14:30 IST /<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â 09:00 UTC<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Bridge:<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <<a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â Gluster-users mailing list<br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <mailto:<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>><br>
>  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a> <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br>
> <br>
> <br>
> ________<br>
> <br>
> <br>
> <br>
> Community Meeting Calendar:<br>
> <br>
> Schedule -<br>
> Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
> Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
> Gluster-users mailing list<br>
> <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
> <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
<br>
-- <br>
Diego Zuccato<br>
DIFA - Dip. di Fisica e Astronomia<br>
Servizi Informatici<br>
Alma Mater Studiorum - Università di Bologna<br>
V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br>
tel.: +39 051 20 95786<br>
</blockquote></div>