Make a backup from all bricks. Based on the info 2 of the bricks have the same copy while brickC has another copy (gfid mismatch).<div><br></div><div>I would use mtime to identify the latest version and use that, but I have no clue what kind of application you have.</div><div><br></div><div>Usually, It's not recommended to manipulate bricks directly, but in this case it might be necessary. The simplest way is to move the file on brick C (the only one that is different) away, but if you need exactly that one, you can rsync/scp it to the other 2 bricks.</div><div><br></div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Fri, May 27, 2022 at 11:45, Kingsley Tart</div><div><gluster@gluster.dogwind.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div id="yiv7892629150"><div><div>Hi, thanks.</div><div><br clear="none"></div><div>OK that's interesting. Picking one of the files, on bricks A and B I see this (and all of the values are identical between bricks A and B):</div><div><br clear="none"></div><pre>trusted.afr.dirty=0x000000000000000000000000</pre><pre>trusted.afr.gw-runqueues-client-2=0x000000010000000200000000</pre><pre>trusted.gfid=0xa40bb83ff3784ae09c997d272296a7a9</pre><pre>trusted.gfid2path.06eddbe9be9c7c75=0x30323665396561652d613661662d346365642d623863632d6261353037333339646364372f677733</pre><pre>trusted.glusterfs.mdata=0x01000000000000000000000000628ec57700000000007168bb00000000628ec576000000000000000000000000628ec5760000000000000000</pre><div><br clear="none"></div><div>and on brick C I see this:</div><div><br clear="none"></div><pre>trusted.gfid=0xd73992aee03e4021824b1baced973df3</pre><pre>trusted.gfid2path.06eddbe9be9c7c75=0x30323665396561652d613661662d346365642d623863632d6261353037333339646364372f677733</pre><pre>trusted.glusterfs.mdata=0x01000000000000000000000000628ec5230000000030136ca000000000628ec523000000000000000000000000628ec5230000000000000000</pre><div><br clear="none"></div><div>So brick C is missing the trusted.afr attributes and the trusted.gfid and mdata differ.</div><div><br clear="none"></div><div>What do I need to do to fix this?</div><div><br clear="none"></div><div>Cheers,</div><div>Kingsley.</div><div><br clear="none"></div><div>On Fri, 2022-05-27 at 03:59 +0000, Strahil Nikolov wrote:</div><blockquote type="cite" style="margin:0 0 0 .8ex;border-left:2px #729fcf solid;padding-left:1ex;"><div>Check the file attributes on all bricks:</div><div><br clear="none"></div><div>getfattr -d -e hex -m. /data/brick/gw-runqueues/<path to file></div><div><br clear="none"></div><div><br clear="none"></div><div>Best Regards,</div><div>Strahil Nikolov</div><div><br clear="none"></div><blockquote type="cite" style="margin:0 0 0 .8ex;border-left:2px #729fcf solid;padding-left:1ex;"><div>On Thu, May 26, 2022 at 16:05, Kingsley Tart</div><div><<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:gluster@gluster.dogwind.com" target="_blank" href="mailto:gluster@gluster.dogwind.com">gluster@gluster.dogwind.com</a>> wrote:</div><div>Hi,</div><div><br clear="none"></div><div>I've got a strange issue where on all clients I've tested on (tested on</div><div>4) I have "transport endpoint is not connected" on two files in a</div><div>directory, whereas other files can be read fine.</div><div><br clear="none"></div><div>Any ideas?</div><div><br clear="none"></div><div>On one of the servers (all same version):</div><div><br clear="none"></div><div># gluster --version</div><div>glusterfs 9.1</div><div><br clear="none"></div><div>On one of the clients (same thing with all of them) - problem with</div><div>files "gw3" and "gw11":</div><div><br clear="none"></div><div>[<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:root@gw6" target="_blank" href="mailto:root@gw6">root@gw6</a> btl]# cd /mnt/runqueues/runners/</div><div>[<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:root@gw6" target="_blank" href="mailto:root@gw6">root@gw6</a> runners]# ls -la</div><div>ls: cannot access gw11: Transport endpoint is not connected</div><div>ls: cannot access gw3: Transport endpoint is not connected</div><div>total 8</div><div>drwxr-xr-x  2 root root 4096 May 26 09:48 .</div><div>drwxr-xr-x 13 root root 4096 Apr 12  2021 ..</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw1</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw10</div><div>-?????????  ? ?    ?      ?            ? gw11</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw2</div><div>-?????????  ? ?    ?      ?            ? gw3</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw4</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw6</div><div>-rw-r--r--  1 root root    0 May 26 09:49 gw7</div><div>[<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:root@gw6" target="_blank" href="mailto:root@gw6">root@gw6</a> runners]# cat *</div><div>cat: gw11: Transport endpoint is not connected</div><div>cat: gw3: Transport endpoint is not connected</div><div>[<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:root@gw6" target="_blank" href="mailto:root@gw6">root@gw6</a> runners]#</div><div><br clear="none"></div><div><br clear="none"></div><div>Querying on a server shows those two problematic files:</div><div><br clear="none"></div><div># gluster volume heal gw-runqueues info</div><div>Brick gluster9a:/data/brick/gw-runqueues</div><div>/runners</div><div>/runners/gw11</div><div>/runners/gw3</div><div>Status: Connected</div><div>Number of entries: 3</div><div><br clear="none"></div><div>Brick gluster9b:/data/brick/gw-runqueues</div><div>/runners</div><div>/runners/gw11</div><div>/runners/gw3</div><div>Status: Connected</div><div>Number of entries: 3</div><div><br clear="none"></div><div>Brick gluster9c:/data/brick/gw-runqueues</div><div>Status: Connected</div><div>Number of entries: 0</div><div><br clear="none"></div><div><br clear="none"></div><div>However several hours later there's no obvious change. The servers have</div><div>hardly any load and the volume is tiny. From a client:</div><div><br clear="none"></div><div># find /mnt/runqueues | wc -l</div><div>35</div><div><br clear="none"></div><div><br clear="none"></div><div>glfsheal-gw-runqueues.log from server gluster9a:</div><div><a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://pastebin.com/7mPszBBM">https://pastebin.com/7mPszBBM</a></div><div><br clear="none"></div><div>glfsheal-gw-runqueues.log from server gluster9b:</div><div><a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://pastebin.com/rxXs5Tcv">https://pastebin.com/rxXs5Tcv</a></div><div><br clear="none"></div><div><br clear="none"></div><div>Any pointers would be much appreciated!</div><div><br clear="none"></div><div>Cheers,</div><div>Kingsley.</div><div><br clear="none"></div><div>________</div><div><br clear="none"></div><div><br clear="none"></div><div><br clear="none"></div><div>Community Meeting Calendar:</div><div><br clear="none"></div><div>Schedule -</div><div>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC</div><div>Bridge: <a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://meet.google.com/cpu-eiue-hvk">https://meet.google.com/cpu-eiue-hvk</a></div><div>Gluster-users mailing list</div><div><a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:Gluster-users@gluster.org" target="_blank" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a></div><div><a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://lists.gluster.org/mailman/listinfo/gluster-users">https://lists.gluster.org/mailman/listinfo/gluster-users</a></div></blockquote><div id="yiv7892629150yqtfd82774" class="yiv7892629150yqt7401867512"><div><br clear="none"></div><div>________</div><div><br clear="none"></div><div><br clear="none"></div><div><br clear="none"></div><div>Community Meeting Calendar:</div><div><br clear="none"></div><div>Schedule -</div><div>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC</div><div>Bridge: <a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://meet.google.com/cpu-eiue-hvk">https://meet.google.com/cpu-eiue-hvk</a></div><div>Gluster-users mailing list</div><div><a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:Gluster-users@gluster.org" target="_blank" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a></div><div><a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://lists.gluster.org/mailman/listinfo/gluster-users">https://lists.gluster.org/mailman/listinfo/gluster-users</a></div></div></blockquote></div></div> </div> </blockquote></div>