If you refer to /<path_to_brick>/.glusterfs/<gfid_first_2_characters>/<gfid_second_2_characters>/gfid - it' s a hard link to the file on the brick.<div>Directories in the .glusterfs are just symbolic links.</div><div><br></div><div>Can you clarify what you are planing to delete ?</div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov </div><div> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Wed, Aug 17, 2022 at 14:35, Ilias Chasapakis forumZFD</div><div><chasapakis@forumZFD.de> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div id="yiv5583267061">
  
    
  
  <div>
    <p>Hi Thomas,</p>
    <p>Thanks again for your replies and patience :)</p>
    <p>We have also offline backups of the files.<br>
    </p>
    <p>So, just to verify I understood this correctly, deletion of a
      .glusterfs-gfid file doesn't inherently include the risk of the
      loss of the complete brick, right?</p>
    <p>I saw you already applied this for your purposes so it worked for
      you... But just as a confirmation. Of course it is fully
      understood that the operational risk is on our side.<br>
    </p>
    <p>It is just an "information-wise" question :)<br>
    </p>
    <p>Best regards<br>
      Ilias<br>
    </p>
    <div class="yiv5583267061moz-cite-prefix">Am 17.08.22 um 12:47 schrieb Thomas
      Bätzler:<br>
    </div>
    <blockquote type="cite">
      
      
      <style> _filtered {} _filtered {} _filtered {} _filtered {} _filtered {} _filtered {}#yiv5583267061 p.yiv5583267061MsoNormal, #yiv5583267061 li.yiv5583267061MsoNormal, #yiv5583267061 div.yiv5583267061MsoNormal
        {margin:0cm;font-size:11.0pt;font-family:"Calibri", sans-serif;}#yiv5583267061 a:link, #yiv5583267061 span.yiv5583267061MsoHyperlink
        {color:blue;text-decoration:underline;}#yiv5583267061 pre
        {margin:0cm;font-size:10.0pt;font-family:"Courier New";}#yiv5583267061 span.yiv5583267061HTMLVorformatiertZchn
        {font-family:"Consolas", serif;}#yiv5583267061 span.yiv5583267061E-MailFormatvorlage21
        {font-family:"Calibri", sans-serif;color:windowtext;}#yiv5583267061 .yiv5583267061MsoChpDefault
        {font-size:10.0pt;}#yiv5583267061 div.yiv5583267061WordSection1
        {}</style>
      <div class="yiv5583267061WordSection1">
        <p class="yiv5583267061MsoNormal"><span lang="EN-US">Hello Ilias,<br>
            <br>
            Please note that you can and should backup all of the
            file(s) involved in the split-brain by accessing them over
            the brick root instead of the gluster mount. That is also
            the reason why you’re not in danger of a failure cascade
            wiping out our data.</span></p> 
        <p class="yiv5583267061MsoNormal"><span lang="EN-US">  </span></p> 
        <p class="yiv5583267061MsoNormal"><span lang="EN-US">Be careful when
            replacing bricks, though. You want that heal to go in the
            right direction </span><span style="font-family:UI sans-serif;" lang="EN-US">😉</span><span lang="EN-US"></span></p> 
        <p class="yiv5583267061MsoNormal"><span lang="EN-US">  </span></p> 
        <div>
          <p class="yiv5583267061MsoNormal">Mit freundlichen Grüßen,</p> 
          <p class="yiv5583267061MsoNormal">i.A. Thomas Bätzler</p> 
          <p class="yiv5583267061MsoNormal">-- </p> 
          <p class="yiv5583267061MsoNormal">BRINGE Informationstechnik GmbH</p> 
          <p class="yiv5583267061MsoNormal">Zur Seeplatte 12</p> 
          <p class="yiv5583267061MsoNormal">D-76228 Karlsruhe</p> 
          <p class="yiv5583267061MsoNormal">Germany</p> 
          <p class="yiv5583267061MsoNormal">  </p> 
          <p class="yiv5583267061MsoNormal">Fon: +49 721 94246-0</p> 
          <p class="yiv5583267061MsoNormal">Fon: +49 171 5438457</p> 
          <p class="yiv5583267061MsoNormal">Fax: +49 721 94246-66</p> 
          <p class="yiv5583267061MsoNormal">Web: <a rel="nofollow noopener noreferrer" target="_blank" href="http://www.bringe.de/"><span style="color:#0563C1;">http://www.bringe.de/</span></a></p> 
          <p class="yiv5583267061MsoNormal">  </p> 
          <p class="yiv5583267061MsoNormal">Geschäftsführer: Dipl.-Ing. (FH) Martin
            Bringe</p> 
          <p class="yiv5583267061MsoNormal">Ust.Id: DE812936645, HRB 108943 Mannheim</p> 
        </div>
        <p class="yiv5583267061MsoNormal">  </p> 
        <div>
          <div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm;">
            <p class="yiv5583267061MsoNormal"><b>Von:</b> Gluster-users
              <a rel="nofollow noopener noreferrer" ymailto="mailto:gluster-users-bounces@gluster.org" target="_blank" href="mailto:gluster-users-bounces@gluster.org" class="yiv5583267061moz-txt-link-rfc2396E"><gluster-users-bounces@gluster.org></a> <b>Im Auftrag
                von </b>Ilias Chasapakis forumZFD<br>
              <b>Gesendet:</b> Mittwoch, 17. August 2022 11:18<br>
              <b>An:</b> <a rel="nofollow noopener noreferrer" ymailto="mailto:gluster-users@gluster.org" target="_blank" href="mailto:gluster-users@gluster.org" class="yiv5583267061moz-txt-link-abbreviated">gluster-users@gluster.org</a><br>
              <b>Betreff:</b> Re: [Gluster-users] Directory in split
              brain does not heal - Gfs 9.2</p> 
          </div>
        </div>
        <p class="yiv5583267061MsoNormal">  </p> 
        <p>Thanks for the suggestions. My question is if the risk is
          actually related to only losing the file/dir or actually
          creating inconsistencies that span through the bricks and
          "break everything".<br>
          Of course we have to take action anyway for this not to spread
          (as we already now have a second entry that developed an
          "unhealable" directory split-brain) so it is just a question
          of evaluation before acting.</p> 
        <div>
          <p class="yiv5583267061MsoNormal">Am 12.08.22 um 18:12 schrieb Thomas
            Bätzler:</p> 
        </div>
        <blockquote style="margin-top:5.0pt;margin-bottom:5.0pt;">
          <div>
            <p class="yiv5583267061MsoNormal">Am 12.08.2022 um 17:12 schrieb Ilias
              Chasapakis forumZFD:</p> 
          </div>
          <blockquote style="margin-top:5.0pt;margin-bottom:5.0pt;">
            <p>Dear fellow gluster users,</p> 
            <p>we are facing a problem with our replica 3 setup.
              Glusterfs version is 9.2.</p> 
            <p>We have a problem with a directory that is in split-brain
              and we cannot manage to heal with:</p> 
            <blockquote style="margin-top:5.0pt;margin-bottom:5.0pt;">
              <p>gluster volume heal gfsVol split-brain latest-mtime
                /folder</p> 
            </blockquote>
            <p>The command throws the following error: "failed:Transport
              endpoint is not connected." </p> 
            <p>So the split brain directory entry remains and and so the
              whole healing process is not completing and other entries
              get stuck.</p> 
            <p>I saw there is a python script available <a rel="nofollow noopener noreferrer" target="_blank" href="https://github.com/joejulian/glusterfs-splitbrain" class="yiv5583267061moz-txt-link-freetext">https://github.com/joejulian/glusterfs-splitbrain</a>
              Would that be a good solution to try? To be honest we are
              a bit concerned with deleting the gfid and the files from
              the brick manually as it seems it can create
              inconsistencies and break things... I can of course give
              you more information about our setup and situation, but if
              you already have some tip, that would be fantastic.</p> 
          </blockquote>
          <p>You could at least verify what's going on: Go to your brick
            roots and list /folder from each. You have 3n bricks with n
            replica sets. Find the replica set where you can spot a
            difference. It's most likely a file or directory that's
            missing or different. If it's a file, do a ls -ain on the
            file on each brick in the replica set. It'll report an inode
            number. Do a find .glusterfs -inum from the brick root.
            You'll likely see that you have different gfid-files.</p> 
          <p>To fix the problem, you have to help gluster along by
            cleaning up the mess. This is completely "do it at your own
            risk, it worked for me, ymmv": cp (not mv!) a copy of the
            file you want to keep. On each brick in the replica-set,
            delete the gfid-file and the datafile. Try a heal on the
            volume and verify that you can access the path in question
            using the glusterfs mount. Copy back your salvaged file
            using the glusterfs mount.</p> 
          <p>We had this happening quite often on a heavily loaded
            glusterfs shared filesystem that held a mail-spool. There
            would be parallel accesses trying to mv files and sometimes
            we'd end up with mismatched data on the bricks of the
            replica set. I've reported this on github, but apparently it
            wasn't seen as a serious problem. We've moved on to ceph FS
            now. That sure has bugs, too, but hopefully not as
            aggravating.</p> 
          <pre>MfG,</pre> 
          <pre>i.A. Thomas Bätzler</pre> 
          <pre>-- </pre> 
          <pre>BRINGE Informationstechnik GmbH</pre> 
          <pre>Zur Seeplatte 12</pre> 
          <pre>D-76228 Karlsruhe</pre> 
          <pre>Germany</pre> 
          <pre>  </pre> 
          <pre>Fon: +49 721 94246-0</pre> 
          <pre>Fon: +49 171 5438457</pre> 
          <pre>Fax: +49 721 94246-66</pre> 
          <pre>Web: <a rel="nofollow noopener noreferrer" target="_blank" href="http://www.bringe.de/" class="yiv5583267061moz-txt-link-freetext">http://www.bringe.de/</a></pre> 
          <pre>  </pre> 
          <pre>Geschäftsführer: Dipl.-Ing. (FH) Martin Bringe</pre> 
          <pre>Ust.Id: DE812936645, HRB 108943 Mannheim</pre> 
          <p class="yiv5583267061MsoNormal"><br>
            <br>
            </p> 
          <pre>________</pre> 
          <pre>  </pre> 
          <pre>  </pre> 
          <pre>  </pre> 
          <pre>Community Meeting Calendar:</pre> 
          <pre>  </pre> 
          <pre>Schedule -</pre> 
          <pre>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC</pre> 
          <pre>Bridge: <a rel="nofollow noopener noreferrer" target="_blank" href="https://meet.google.com/cpu-eiue-hvk" class="yiv5583267061moz-txt-link-freetext">https://meet.google.com/cpu-eiue-hvk</a></pre> 
          <pre>Gluster-users mailing list</pre> 
          <pre><a rel="nofollow noopener noreferrer" ymailto="mailto:Gluster-users@gluster.org" target="_blank" href="mailto:Gluster-users@gluster.org" class="yiv5583267061moz-txt-link-freetext">Gluster-users@gluster.org</a></pre> 
          <pre><a rel="nofollow noopener noreferrer" target="_blank" href="https://lists.gluster.org/mailman/listinfo/gluster-users" class="yiv5583267061moz-txt-link-freetext">https://lists.gluster.org/mailman/listinfo/gluster-users</a></pre> 
        </blockquote>
        <pre>-- </pre> 
        <pre><span style="font-family:sans-serif;"></span>forumZFD</pre> 
        <pre>Entschieden für Frieden | Committed to Peace</pre> 
        <pre>  </pre> 
        <pre>Ilias Chasapakis</pre> 
        <pre>Referent IT | IT Consultant</pre> 
        <pre>  </pre> 
        <pre>Forum Ziviler Friedensdienst e.V. | Forum Civil Peace Service</pre> 
        <pre>Am Kölner Brett 8 | 50825 Köln | Germany</pre> 
        <pre>  </pre> 
        <pre>Tel 0221 91273243 | Fax 0221 91273299 | <a rel="nofollow noopener noreferrer" target="_blank" href="http://www.forumZFD.de">http://www.forumZFD.de</a></pre> 
        <pre>  </pre> 
        <pre>Vorstand nach § 26 BGB, einzelvertretungsberechtigt | Executive Board:</pre> 
        <pre>Oliver Knabe (Vorsitz | Chair), Jens von Bargen, Alexander Mauz</pre> 
        <pre>VR 17651 Amtsgericht Köln</pre> 
        <pre>  </pre> 
        <pre>Spenden | Donations: IBAN DE37 3702 0500 0008 2401 01 BIC BFSWDE33XXX</pre> 
      </div>
    </blockquote>
    <pre class="yiv5583267061moz-signature">-- 
forumZFD
Entschieden für Frieden | Committed to Peace

Ilias Chasapakis
Referent IT | IT Consultant

Forum Ziviler Friedensdienst e.V. | Forum Civil Peace Service
Am Kölner Brett 8 | 50825 Köln | Germany

Tel 0221 91273243 | Fax 0221 91273299 | <a rel="nofollow noopener noreferrer" target="_blank" href="http://www.forumZFD.de" class="yiv5583267061moz-txt-link-freetext">http://www.forumZFD.de</a>

Vorstand nach § 26 BGB, einzelvertretungsberechtigt | Executive Board:
Oliver Knabe (Vorsitz | Chair), Jens von Bargen, Alexander Mauz
VR 17651 Amtsgericht Köln

Spenden | Donations: IBAN DE37 3702 0500 0008 2401 01 BIC BFSWDE33XXX</pre>
  </div>

</div>________<br><br><br><br>Community Meeting Calendar:<br><br>Schedule -<br>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>Gluster-users mailing list<br><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br> </div> </blockquote></div>