<div dir="ltr">Hello,<div><br></div><div>I have a couple of gluster clusters - setup with distributed/replicated volumes that have starting incrementing the heal-count from statistics - and for some files returning input/output error when attempting to access said files from a fuse mount.</div><div><br></div><div>If i take one volume, from one cluster as an example:</div><div><br></div><div>gluster volume heal storage01 statistics info<br></div><div>&lt;snip&gt;</div><div><div>Brick storage02.&lt;redacted&gt;:/storage/sdc/brick_storage01</div><div>Number of entries: 595</div></div><div>&lt;/snip&gt;</div><div><br></div><div>And then proceed to look at one of these files (have found 2 copies - one on each server / brick)</div><div><br></div><div>First brick:</div><div><br></div><div><div># getfattr -m . -d -e hex  /storage/sdc/brick_storage01/projects/183-57c559ea4d60e-canary-test--node02/wordpress285-data/html/wp-content/themes/twentyfourteen/single.php</div><div>getfattr: Removing leading &#39;/&#39; from absolute path names</div><div># file: storage/sdc/brick_storage01/projects/183-57c559ea4d60e-canary-test--node02/wordpress285-data/html/wp-content/themes/twentyfourteen/single.php</div><div>security.selinux=0x73797374656d5f753a6f626a6563745f723a676c7573746572645f627269636b5f743a733000</div><div>trusted.afr.dirty=0x000000000000000000000000</div><div>trusted.afr.storage01-client-0=0x000000020000000100000000</div><div>trusted.bit-rot.version=0x02000000000000005874e2cd0000459d</div><div>trusted.gfid=0xda4253be1c2647b7b6ec5c045d61d216</div><div>trusted.glusterfs.quota.c9764826-596a-4886-9bc0-60ee9b3fce44.contri.1=0x00000000000006000000000000000001</div><div>trusted.pgfid.c9764826-596a-4886-9bc0-60ee9b3fce44=0x00000001</div></div><div><br></div><div>Second Brick:</div><div><br></div><div><div># getfattr -m . -d -e hex /storage/sdc/brick_storage01/projects/183-57c559ea4d60e-canary-test--node02/wordpress285-data/html/wp-content/themes/twentyfourteen/single.php</div><div>getfattr: Removing leading &#39;/&#39; from absolute path names</div><div># file: storage/sdc/brick_storage01/projects/183-57c559ea4d60e-canary-test--node02/wordpress285-data/html/wp-content/themes/twentyfourteen/single.php</div><div>security.selinux=0x73797374656d5f753a6f626a6563745f723a676c7573746572645f627269636b5f743a733000</div><div>trusted.afr.dirty=0x000000000000000000000000</div><div>trusted.bit-rot.version=0x020000000000000057868423000d6332</div><div>trusted.gfid=0x14f74b04679345289dbd3290a3665cbc</div><div>trusted.glusterfs.quota.47e007ee-6f91-4187-81f8-90a393deba2b.contri.1=0x00000000000006000000000000000001</div><div>trusted.pgfid.47e007ee-6f91-4187-81f8-90a393deba2b=0x00000001</div></div><div><br></div><div><br></div><div><br></div><div>I can see the only the first brick has the appropiate trusted.afr.&lt;client&gt; tag - e.g in this case </div><div><br></div><div>trusted.afr.storage01-client-0=0x000000020000000100000000<br></div><div><br></div><div>Files are same size under stat - just the access/modify/change dates are different.</div><div><br></div><div>My first question is - reading <a href="https://gluster.readthedocs.io/en/latest/Troubleshooting/split-brain/">https://gluster.readthedocs.io/en/latest/Troubleshooting/split-brain/</a> this suggests that i should have this field on both copies of the files - or am I mis-reading?</div><div><br></div><div>Secondly - am I correct that each one of these entries will require manual fixing?  (I have approx 6K files/directories in this state over two clusters - which appears like an awful lot of manual fixing)</div><div><br></div><div>I&#39;ve checked gluster volume info &lt;vol&gt; and all appropiate services/self-heal daemon are running.  We&#39;ve even tried a full heal/heal and iterating over parts of the filesystem in question with find / stat / md5sum.</div><div><br></div><div>Any input appreciated.</div><div><br></div><div>Cheers,</div><div><br></div><div><br></div><div><br></div><div><br></div></div>