<div>Excuse me for my naive questions but how do I reset the afr.dirty xattr on the file to be healed? and do I need to do that through a FUSE mount? or simply on every bricks directly? <br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><div><br></div></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><blockquote class="protonmail_quote" type="cite"><div>-------- Original Message --------<br></div><div>Subject: Re: [Gluster-users] self-heal not working<br></div><div>Local Time: August 28, 2017 5:58 AM<br></div><div>UTC Time: August 28, 2017 3:58 AM<br></div><div>From: ravishankar@redhat.com<br></div><div>To: Ben Turner &lt;bturner@redhat.com&gt;, mabi &lt;mabi@protonmail.ch&gt;<br></div><div>Gluster Users &lt;gluster-users@gluster.org&gt;<br></div><div><br></div><div><br></div><div><br></div><div>On 08/28/2017 01:57 AM, Ben Turner wrote:<br></div><div>&gt; ----- Original Message -----<br></div><div>&gt;&gt; From: "mabi" &lt;mabi@protonmail.ch&gt;<br></div><div>&gt;&gt; To: "Ravishankar N" &lt;ravishankar@redhat.com&gt;<br></div><div>&gt;&gt; Cc: "Ben Turner" &lt;bturner@redhat.com&gt;, "Gluster Users" &lt;gluster-users@gluster.org&gt;<br></div><div>&gt;&gt; Sent: Sunday, August 27, 2017 3:15:33 PM<br></div><div>&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;<br></div><div>&gt;&gt; Thanks Ravi for your analysis. So as far as I understand nothing to worry<br></div><div>&gt;&gt; about but my question now would be: how do I get rid of this file from the<br></div><div>&gt;&gt; heal info?<br></div><div>&gt; Correct me if I am wrong but clearing this is just a matter of resetting the afr.dirty xattr?  @Ravi - Is this correct?<br></div><div><br></div><div>Yes resetting the xattr and launching index heal or running heal-info <br></div><div>command should serve as a workaround.<br></div><div>-Ravi<br></div><div><br></div><div>&gt;<br></div><div>&gt; -b<br></div><div>&gt;<br></div><div>&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt; Local Time: August 27, 2017 3:45 PM<br></div><div>&gt;&gt;&gt; UTC Time: August 27, 2017 1:45 PM<br></div><div>&gt;&gt;&gt; From: ravishankar@redhat.com<br></div><div>&gt;&gt;&gt; To: mabi &lt;mabi@protonmail.ch&gt;<br></div><div>&gt;&gt;&gt; Ben Turner &lt;bturner@redhat.com&gt;, Gluster Users &lt;gluster-users@gluster.org&gt;<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt; Yes, the shds did pick up the file for healing (I saw messages like " got<br></div><div>&gt;&gt;&gt; entry: 1985e233-d5ee-4e3e-a51a-cf0b5f9f2aea") but no error afterwards.<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt; Anyway I reproduced it by manually setting the afr.dirty bit for a zero<br></div><div>&gt;&gt;&gt; byte file on all 3 bricks. Since there are no afr pending xattrs<br></div><div>&gt;&gt;&gt; indicating good/bad copies and all files are zero bytes, the data<br></div><div>&gt;&gt;&gt; self-heal algorithm just picks the file with the latest ctime as source.<br></div><div>&gt;&gt;&gt; In your case that was the arbiter brick. In the code, there is a check to<br></div><div>&gt;&gt;&gt; prevent data heals if arbiter is the source. So heal was not happening and<br></div><div>&gt;&gt;&gt; the entries were not removed from heal-info output.<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt; Perhaps we should add a check in the code to just remove the entries from<br></div><div>&gt;&gt;&gt; heal-info if size is zero bytes in all bricks.<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt; -Ravi<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt; On 08/25/2017 06:33 PM, mabi wrote:<br></div><div>&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt; Hi Ravi,<br></div><div>&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt; Did you get a chance to have a look at the log files I have attached in my<br></div><div>&gt;&gt;&gt;&gt; last mail?<br></div><div>&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt; Best,<br></div><div>&gt;&gt;&gt;&gt; Mabi<br></div><div>&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt; Local Time: August 24, 2017 12:08 PM<br></div><div>&gt;&gt;&gt;&gt;&gt; UTC Time: August 24, 2017 10:08 AM<br></div><div>&gt;&gt;&gt;&gt;&gt; From: mabi@protonmail.ch<br></div><div>&gt;&gt;&gt;&gt;&gt; To: Ravishankar N<br></div><div>&gt;&gt;&gt;&gt;&gt; [&lt;ravishankar@redhat.com&gt;](mailto:ravishankar@redhat.com)<br></div><div>&gt;&gt;&gt;&gt;&gt; Ben Turner [&lt;bturner@redhat.com&gt;](mailto:bturner@redhat.com), Gluster<br></div><div>&gt;&gt;&gt;&gt;&gt; Users [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; Thanks for confirming the command. I have now enabled DEBUG<br></div><div>&gt;&gt;&gt;&gt;&gt; client-log-level, run a heal and then attached the glustershd log files<br></div><div>&gt;&gt;&gt;&gt;&gt; of all 3 nodes in this mail.<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; The volume concerned is called myvol-pro, the other 3 volumes have no<br></div><div>&gt;&gt;&gt;&gt;&gt; problem so far.<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; Also note that in the mean time it looks like the file has been deleted<br></div><div>&gt;&gt;&gt;&gt;&gt; by the user and as such the heal info command does not show the file<br></div><div>&gt;&gt;&gt;&gt;&gt; name anymore but just is GFID which is:<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; gfid:1985e233-d5ee-4e3e-a51a-cf0b5f9f2aea<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt; Hope that helps for debugging this issue.<br></div><div>&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; Local Time: August 24, 2017 5:58 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; UTC Time: August 24, 2017 3:58 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; From: ravishankar@redhat.com<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; To: mabi [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; Ben Turner [&lt;bturner@redhat.com&gt;](mailto:bturner@redhat.com), Gluster<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; Users [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; Unlikely. In your case only the afr.dirty is set, not the<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; afr.volname-client-xx xattr.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; `gluster volume set myvolume diagnostics.client-log-level DEBUG` is<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; right.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt; On 08/23/2017 10:31 PM, mabi wrote:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt; I just saw the following bug which was fixed in 3.8.15:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt; https://bugzilla.redhat.com/show_bug.cgi?id=1471613<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is it possible that the problem I described in this post is related to<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt; that bug?<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local Time: August 22, 2017 11:51 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; UTC Time: August 22, 2017 9:51 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: ravishankar@redhat.com<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: mabi [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Ben Turner [&lt;bturner@redhat.com&gt;](mailto:bturner@redhat.com), Gluster<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On 08/22/2017 02:30 PM, mabi wrote:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks for the additional hints, I have the following 2 questions<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; first:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - In order to launch the index heal is the following command correct:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; gluster volume heal myvolume<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Yes<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - If I run a "volume start force" will it have any short disruptions<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; on my clients which mount the volume through FUSE? If yes, how long?<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; This is a production system that"s why I am asking.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; No. You can actually create a test volume on  your personal linux box<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; to try these kinds of things without needing multiple machines. This<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; is how we develop and test our patches :)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; "gluster volume create testvol replica 3 /home/mabi/bricks/brick{1..3}<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; force` and so on.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; HTH,<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Ravi<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local Time: August 22, 2017 6:26 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; UTC Time: August 22, 2017 4:26 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: ravishankar@redhat.com<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: mabi [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch), Ben<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Turner [&lt;bturner@redhat.com&gt;](mailto:bturner@redhat.com)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster Users<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Explore the following:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - Launch index heal and look at the glustershd logs of all bricks<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; for possible errors<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - See if the glustershd in each node is connected to all bricks.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - If not try to restart shd by `volume start force`<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - Launch index heal again and try.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - Try debugging the shd log by setting client-log-level to DEBUG<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; temporarily.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On 08/22/2017 03:19 AM, mabi wrote:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Sure, it doesn"t look like a split brain based on the output:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node1.domain.tld:/data/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries in split-brain: 0<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node2.domain.tld:/data/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries in split-brain: 0<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node3.domain.tld:/srv/glusterfs/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries in split-brain: 0<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local Time: August 21, 2017 11:35 PM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; UTC Time: August 21, 2017 9:35 PM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: bturner@redhat.com<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: mabi [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster Users<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Can you also provide:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; gluster v heal &lt;my vol&gt; info split-brain<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; If it is split brain just delete the incorrect file from the brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; and run heal again. I haven"t tried this with arbiter but I<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; assume the process is the same.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -b<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- Original Message -----<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: "mabi" [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: "Ben Turner"<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;bturner@redhat.com&gt;](mailto:bturner@redhat.com)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cc: "Gluster Users"<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Sent: Monday, August 21, 2017 4:55:59 PM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi Ben,<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; So it is really a 0 kBytes file everywhere (all nodes including<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; the arbiter<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; and from the client).<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Here below you will find the output you requested. Hopefully that<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; will help<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; to find out why this specific file is not healing... Let me know<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; if you need<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; any more information. Btw node3 is my arbiter node.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; NODE1:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; STAT:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ‘/data/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png’<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Size: 0 Blocks: 38 IO Block: 131072 regular empty file<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Device: 24h/36d Inode: 10033884 Links: 2<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Modify: 2017-08-14 17:11:46.407404779 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Change: 2017-08-14 17:11:46.407404779 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Birth: -<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; GETFATTR:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.bit-rot.version=0sAgAAAAAAAABZhuknAAlJAg==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOyo=<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; NODE2:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; STAT:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ‘/data/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png’<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Size: 0 Blocks: 38 IO Block: 131072 regular empty file<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Device: 26h/38d Inode: 10031330 Links: 2<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Modify: 2017-08-14 17:11:46.403704181 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Change: 2017-08-14 17:11:46.403704181 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Birth: -<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; GETFATTR:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.bit-rot.version=0sAgAAAAAAAABZhu6wAA8Hpw==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOVE=<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; NODE3:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; STAT:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /srv/glusterfs/myvolume/brick/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Size: 0 Blocks: 0 IO Block: 4096 regular empty file<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Device: ca11h/51729d Inode: 405208959 Links: 2<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Modify: 2017-08-14 17:04:55.530681000 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Change: 2017-08-14 17:11:46.604380051 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Birth: -<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; GETFATTR:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.afr.dirty=0sAAAAAQAAAAAAAAAA<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.bit-rot.version=0sAgAAAAAAAABZe6ejAAKPAg==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.gfid=0sGYXiM9XuTj6lGs8LX58q6g==<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; trusted.glusterfs.d99af2fa-439b-4a21-bf3a-38f3849f87ec.xtime=0sWZG9sgAGOc4=<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; CLIENT GLUSTER MOUNT:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; STAT:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; "/mnt/myvolume/data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png"<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Size: 0 Blocks: 0 IO Block: 131072 regular empty file<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Device: 1eh/30d Inode: 11897049013408443114 Links: 1<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Access: 2017-08-14 17:04:55.530681000 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Modify: 2017-08-14 17:11:46.407404779 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Change: 2017-08-14 17:11:46.407404779 +0200<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Birth: -<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -------- Original Message --------<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local Time: August 21, 2017 9:34 PM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; UTC Time: August 21, 2017 7:34 PM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: bturner@redhat.com<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: mabi [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster Users<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- Original Message -----<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: "mabi" [&lt;mabi@protonmail.ch&gt;](mailto:mabi@protonmail.ch)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: "Gluster Users"<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [&lt;gluster-users@gluster.org&gt;](mailto:gluster-users@gluster.org)<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Sent: Monday, August 21, 2017 9:28:24 AM<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: [Gluster-users] self-heal not working<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I have a replicat 2 with arbiter GlusterFS 3.8.11 cluster and<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; there is<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; currently one file listed to be healed as you can see below<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; but never gets<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; healed by the self-heal daemon:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node1.domain.tld:/data/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries: 1<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node2.domain.tld:/data/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries: 1<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick node3.domain.tld:/srv/glusterfs/myvolume/brick<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /data/appdata_ocpom4nckwru/preview/1344699/64-64-crop.png<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Connected<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of entries: 1<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; As once recommended on this mailing list I have mounted that<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; glusterfs<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; volume<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; temporarily through fuse/glusterfs and ran a "stat" on that<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; file which is<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; listed above but nothing happened.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; The file itself is available on all 3 nodes/bricks but on the<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; last node it<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; has a different date. By the way this file is 0 kBytes big. Is<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; that maybe<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; the reason why the self-heal does not work?<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is the file actually 0 bytes or is it just 0 bytes on the<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; arbiter(0 bytes<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; are expected on the arbiter, it just stores metadata)? Can you<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; send us the<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; output from stat on all 3 nodes:<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; $ stat &lt;file on back end brick&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; $ getfattr -d -m - &lt;file on back end brick&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; $ stat &lt;file from gluster mount&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Lets see what things look like on the back end, it should tell<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; us why<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; healing is failing.<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -b<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; And how can I now make this file to heal?<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Mabi<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users@gluster.org<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://lists.gluster.org/mailman/listinfo/gluster-users<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users@gluster.org<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br></div><div>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://lists.gluster.org/mailman/listinfo/gluster-users<br></div></blockquote><div><br></div>