<div>Hi Ben,<br></div><div><br></div><div>So it is really a 0 kBytes file everywhere (all nodes including the arbiter and from the client).<br></div><div>Here below you will find the output you requested. Hopefully that will help to find out why this specific file is not healing... Let me know if you need any more information. Btw node3 is my arbiter node.<br></div><div><br></div><div>NODE1:<br></div><div><br></div><div>STAT:<br></div><div>&nbsp; File: ‘/data/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png’<br></div><div>&nbsp; Size: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;         Blocks: 38&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IO Block: 131072 regular empty file<br></div><div>Device: 24h/36d        Inode: 10033884&nbsp;&nbsp;&nbsp; Links: 2<br></div><div>Access: (0644/-rw-r--r--)&nbsp; Uid: (&nbsp;&nbsp; 33/www-data)&nbsp;&nbsp; Gid: (&nbsp;&nbsp; 33/www-data)<br></div><div>Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>Modify: 2017-08-14 17:11:46.407404779 +0200<br></div><div>Change: 2017-08-14 17:11:46.407404779 +0200<br></div><div>Birth: -<br></div><div><br></div><div>GETFATTR:<br></div><div>trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>trusted.bit-rot.version=0sAgAAAAAAAABZhuknAAlJAg==<br></div><div>trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOyo=<br></div><div><br></div><div><br></div><div>NODE2:<br></div><div><br></div><div>STAT:<br></div><div>&nbsp; File: ‘/data/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png’<br></div><div>&nbsp; Size: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;         Blocks: 38&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IO Block: 131072 regular empty file<br></div><div>Device: 26h/38d        Inode: 10031330&nbsp;&nbsp;&nbsp; Links: 2<br></div><div>Access: (0644/-rw-r--r--)&nbsp; Uid: (&nbsp;&nbsp; 33/www-data)&nbsp;&nbsp; Gid: (&nbsp;&nbsp; 33/www-data)<br></div><div>Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>Modify: 2017-08-14 17:11:46.403704181 +0200<br></div><div>Change: 2017-08-14 17:11:46.403704181 +0200<br></div><div>Birth: -<br></div><div><br></div><div>GETFATTR:<br></div><div>trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>trusted.bit-rot.version=0sAgAAAAAAAABZhu6wAA8Hpw==<br></div><div>trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOVE=<br></div><div><br></div><div><br></div><div>NODE3:<br></div><div>STAT:<br></div><div>&nbsp; File: /srv/glusterfs/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&nbsp; Size: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;         Blocks: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IO Block: 4096&nbsp;&nbsp; regular empty file<br></div><div>Device: ca11h/51729d        Inode: 405208959&nbsp;&nbsp; Links: 2<br></div><div>Access: (0644/-rw-r--r--)&nbsp; Uid: (&nbsp;&nbsp; 33/www-data)&nbsp;&nbsp; Gid: (&nbsp;&nbsp; 33/www-data)<br></div><div>Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>Modify: 2017-08-14 17:04:55.530681000 +0200<br></div><div>Change: 2017-08-14 17:11:46.604380051 +0200<br></div><div>Birth: -<br></div><div><br></div><div>GETFATTR:<br></div><div>trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>trusted.bit-rot.version=0sAgAAAAAAAABZe6ejAAKPAg==<br></div><div>trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOc4=<br></div><div><br></div><div><br></div><div>CLIENT GLUSTER MOUNT:<br></div><div>STAT:<br></div><div>&nbsp; File: '/mnt/myvolume/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png'<br></div><div>&nbsp; Size: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;         Blocks: 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IO Block: 131072 regular empty file<br></div><div>Device: 1eh/30d        Inode: 11897049013408443114&nbsp; Links: 1<br></div><div>Access: (0644/-rw-r--r--)&nbsp; Uid: (&nbsp;&nbsp; 33/www-data)&nbsp;&nbsp; Gid: (&nbsp;&nbsp; 33/www-data)<br></div><div>Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>Modify: 2017-08-14 17:11:46.407404779 +0200<br></div><div>Change: 2017-08-14 17:11:46.407404779 +0200<br></div><div>Birth: -<br></div><div><br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><div><br></div></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><blockquote class="protonmail_quote" type="cite"><div>-------- Original Message --------<br></div><div>Subject: Re: [Gluster-users] self-heal not working<br></div><div>Local Time: August 21, 2017 9:34 PM<br></div><div>UTC Time: August 21, 2017 7:34 PM<br></div><div>From: bturner@redhat.com<br></div><div>To: mabi &lt;mabi@protonmail.ch&gt;<br></div><div>Gluster Users &lt;gluster-users@gluster.org&gt;<br></div><div><br></div><div>----- Original Message -----<br></div><div>&gt; From: "mabi" &lt;mabi@protonmail.ch&gt;<br></div><div>&gt; To: "Gluster Users" &lt;gluster-users@gluster.org&gt;<br></div><div>&gt; Sent: Monday, August 21, 2017 9:28:24 AM<br></div><div>&gt; Subject: [Gluster-users] self-heal not working<br></div><div>&gt; <br></div><div>&gt; Hi,<br></div><div>&gt; <br></div><div>&gt; I have a replicat 2 with arbiter GlusterFS 3.8.11 cluster and there is<br></div><div>&gt; currently one file listed to be healed as you can see below but never gets<br></div><div>&gt; healed by the self-heal daemon:<br></div><div>&gt; <br></div><div>&gt; Brick node1.domain.tld:/data/myvolume/brick<br></div><div>&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt; Status: Connected<br></div><div>&gt; Number of entries: 1<br></div><div>&gt; <br></div><div>&gt; Brick node2.domain.tld:/data/myvolume/brick<br></div><div>&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt; Status: Connected<br></div><div>&gt; Number of entries: 1<br></div><div>&gt; <br></div><div>&gt; Brick node3.domain.tld:/srv/glusterfs/myvolume/brick<br></div><div>&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt; Status: Connected<br></div><div>&gt; Number of entries: 1<br></div><div>&gt; <br></div><div>&gt; As once recommended on this mailing list I have mounted that glusterfs volume<br></div><div>&gt; temporarily through fuse/glusterfs and ran a "stat" on that file which is<br></div><div>&gt; listed above but nothing happened.<br></div><div>&gt; <br></div><div>&gt; The file itself is available on all 3 nodes/bricks but on the last node it<br></div><div>&gt; has a different date. By the way this file is 0 kBytes big. Is that maybe<br></div><div>&gt; the reason why the self-heal does not work?<br></div><div><br></div><div>Is the file actually 0 bytes or is it just 0 bytes on the arbiter(0 bytes are expected on the arbiter, it just stores metadata)?  Can you send us the output from stat on all 3 nodes:<br></div><div><br></div><div>$ stat &lt;file on back end brick&gt;<br></div><div>$ getfattr -d -m - &lt;file on back end brick&gt;<br></div><div>$ stat &lt;file from gluster mount&gt;<br></div><div><br></div><div>Lets see what things look like on the back end, it should tell us why healing is failing.<br></div><div><br></div><div>-b<br></div><div><br></div><div>&gt; <br></div><div>&gt; And how can I now make this file to heal?<br></div><div>&gt; <br></div><div>&gt; Thanks,<br></div><div>&gt; Mabi<br></div><div>&gt; <br></div><div>&gt; <br></div><div>&gt; <br></div><div>&gt; <br></div><div>&gt; _______________________________________________<br></div><div>&gt; Gluster-users mailing list<br></div><div>&gt; Gluster-users@gluster.org<br></div><div>&gt; http://lists.gluster.org/mailman/listinfo/gluster-users<br></div></blockquote><div><br></div>