<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    <p>Hi,</p>
    <p>What version of gluster are you using?</p>
    <p>1. The afr xattrs on '/' indicate a meta-data split-brain. You
      can resolve it using one of the policies listed in
      <a class="moz-txt-link-freetext" href="https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/">https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/</a></p>
    <p>For example, "<code>gluster volume heal gv0 split-brain
        latest-mtime / "<br>
      </code></p>
    2. Is the file corresponding to the other gfid
    (81289110-867b-42ff-ba3b-1373a187032b) present in all bricks? What
    do the getfattr outputs for this file indicate?<br>
    <br>
    3. As for the discrepancy in output of heal info, is node2 connected
    to the other nodes? Does heal info still print the details of all 3
    bricks when you run it on node2 ?<br>
    -Ravi<br>
    <br>
    <div class="moz-cite-prefix">On 07/04/2018 01:47 AM, Anh Vo wrote:<br>
    </div>
    <blockquote type="cite"
cite="mid:CAPUsBJ0DzFPYeL4TdwwtOYZDdH_n6jO3LhTtbmDzVfrMJf+8Ng@mail.gmail.com">Actually
      we just discovered that the heal info command was returning
      different things when executed on the different nodes of our
      3-replica setup.
      <div>When we execute it on node2 we did not see the split brain
        reported "/" but if I execute it on node0 and node1 I am seeing:</div>
      <div><br>
        <div>x@gfs-vm001:~$ sudo gluster volume heal gv0 info | tee
          heal-info</div>
        <div>Brick gfs-vm000:/gluster/brick/brick0</div>
        <div>&lt;gfid:81289110-867b-42ff-ba3b-1373a187032b&gt;</div>
        <div>/ - Is in split-brain</div>
        <div><br>
        </div>
        <div>Status: Connected</div>
        <div>Number of entries: 2</div>
        <div><br>
        </div>
        <div>Brick gfs-vm001:/gluster/brick/brick0</div>
        <div>/ - Is in split-brain</div>
        <div><br>
        </div>
        <div>&lt;gfid:81289110-867b-42ff-ba3b-1373a187032b&gt;</div>
        <div>Status: Connected</div>
        <div>Number of entries: 2</div>
        <div><br>
        </div>
        <div>Brick gfs-vm002:/gluster/brick/brick0</div>
        <div>/ - Is in split-brain</div>
        <div><br>
        </div>
        <div>Status: Connected</div>
        <div>Number of entries: 1</div>
      </div>
      <div><br>
      </div>
      <div><br>
      </div>
      <div>I ran getfattr -d -m . -e hex /gluster/brick/brick0 on all
        three nodes and I am seeing node2 has slightly different attr:</div>
      <div>node0:</div>
      <div>
        <div>sudo getfattr -d -m . -e hex /gluster/brick/brick0</div>
        <div>getfattr: Removing leading '/' from absolute path names</div>
        <div># file: gluster/brick/brick0</div>
        <div>trusted.afr.gv0-client-2=0x000000000000000100000000</div>
        <div>trusted.gfid=0x00000000000000000000000000000001</div>
        <div>trusted.glusterfs.dht=0x000000010000000000000000ffffffff</div>
        <div>trusted.glusterfs.volume-id=0x7fa3aac372d543f987ed0c66b77f02e2</div>
      </div>
      <div><br>
      </div>
      <div>node1:</div>
      <div>
        <div>sudo getfattr -d -m . -e hex /gluster/brick/brick0</div>
        <div>getfattr: Removing leading '/' from absolute path names</div>
        <div># file: gluster/brick/brick0</div>
        <div>trusted.afr.gv0-client-2=0x000000000000000100000000</div>
        <div>trusted.gfid=0x00000000000000000000000000000001</div>
        <div>trusted.glusterfs.dht=0x000000010000000000000000ffffffff</div>
        <div>trusted.glusterfs.volume-id=0x7fa3aac372d543f987ed0c66b77f02e2</div>
      </div>
      <div><br>
      </div>
      <div>node2:</div>
      <div>
        <div>sudo getfattr -d -m . -e hex /gluster/brick/brick0</div>
        <div>getfattr: Removing leading '/' from absolute path names</div>
        <div># file: gluster/brick/brick0</div>
        <div>trusted.afr.dirty=0x000000000000000000000000</div>
        <div>trusted.afr.gv0-client-0=0x000000000000000200000000</div>
        <div>trusted.afr.gv0-client-1=0x000000000000000200000000</div>
        <div>trusted.afr.gv0-client-2=0x000000000000000000000000</div>
        <div>trusted.gfid=0x00000000000000000000000000000001</div>
        <div>trusted.glusterfs.dht=0x000000010000000000000000ffffffff</div>
        <div>trusted.glusterfs.volume-id=0x7fa3aac372d543f987ed0c66b77f02e2</div>
      </div>
      <div><br>
      </div>
      <div>Where do I go from here? Thanks</div>
    </blockquote>
    <br>
  </body>
</html>