<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";
        color:black;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";
        color:black;
        mso-fareast-language:EN-US;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML - vooraf opgemaakt Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";
        color:black;
        mso-fareast-language:NL;}
span.E-mailStijl18
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.HTML-voorafopgemaaktChar
        {mso-style-name:"HTML - vooraf opgemaakt Char";
        mso-style-priority:99;
        mso-style-link:"HTML - vooraf opgemaakt";
        font-family:Consolas;
        color:black;
        mso-fareast-language:EN-US;}
span.E-mailStijl21
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:70.85pt 70.85pt 70.85pt 70.85pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="NL" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">The version on the server of this specific mount is 3.7.11. The client is running version 3.4.2.
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">There is more to that. This client is actually mounting to volumes where the other server is running 3.4.2 as well. What&#8217;s your advice, update that other server to 3.7.11 (or higher) first? Of start
 with the client update?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext;mso-fareast-language:NL">Van:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext;mso-fareast-language:NL"> Mohammed
 Rafi K C [mailto:rkavunga@redhat.com] <br>
<b>Verzonden:</b> vrijdag 24 februari 2017 07:02<br>
<b>Aan:</b> Graaf, Max de; gluster-users@gluster.org<br>
<b>Onderwerp:</b> Re: [Gluster-users] self heal failed, on /<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal">On 02/23/2017 12:18 PM, <a href="mailto:max.degraaf@kpn.com">
max.degraaf@kpn.com</a> wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal"><span lang="EN-US">Hi,</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">We have a 4 node glusterfs setup that seems to be running without any problems. We can&#8217;t find any problems with replication or whatever.</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">We also have 4 machines running the glusterfs client. On all 4 machines we see the following error in the logs at random moments:</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">[2017-02-23 00:04:33.168778] I [afr-self-heal-common.c:2869:afr_log_self_heal_completion_status] 0-aab-replicate-0:&nbsp; metadata self heal&nbsp; is successfully completed,&nbsp;&nbsp; metadata self heal from source aab-client-0 to aab-client-1,&nbsp;
 aab-client-2,&nbsp; aab-client-3,&nbsp; metadata - Pending matrix:&nbsp; [ [ 0 0 0 0 ] [ 0 0 0 0 ] [ 0 0 0 0 ] [ 0 0 0 0 ] ], on /</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">[2017-02-23 00:09:34.431089] E [afr-self-heal-common.c:2869:afr_log_self_heal_completion_status] 0-aab-replicate-0:&nbsp; metadata self heal&nbsp; failed,&nbsp;&nbsp; on /</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">[2017-02-23 00:14:34.948975] I [afr-self-heal-common.c:2869:afr_log_self_heal_completion_status] 0-aab-replicate-0:&nbsp; metadata self heal&nbsp; is successfully completed,&nbsp;&nbsp; metadata self heal from source aab-client-0 to aab-client-1,&nbsp;
 aab-client-2,&nbsp; aab-client-3,&nbsp; metadata - Pending matrix:&nbsp; [ [ 0 0 0 0 ] [ 0 0 0 0 ] [ 0 0 0 0 ] [ 0 0 0 0 ] ], on /</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">The content within the glusterfs filesystems is rather static with only minor changes on it. This &#8220;self heal&nbsp; failed&#8221; is printed randomly in the logs on the glusterfs client. It&#8217;s printed even at moment where nothing
 has changed within the glusterfs filesystem. When it is printed, its never on multiple servers at the same time. What we also don&#8217;t understand : the error indicates self heal failed on root &#8220;/&#8221;. In the root of this glusterfs mount there only 2 folders and
 no files are ever written at the root level.</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span lang="EN-US">Any thoughts?</span><o:p></o:p></p>
</blockquote>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;mso-fareast-language:NL"><br>
>From the logs, It looks like an older version of gluster , probably 3.5 . Please confirm your glusterfs version. The version is pretty old and it may be moved End of Life. And this is AFR v1 , where the latest stable version runs with AFRv2.<br>
<br>
So I would suggest you to upgrade to a later version may be 3.8 .<br>
<br>
If you still want to go with this version, I can give it a try. Let me know the version, volume info and volume status. Still I will suggest to upgrade ;)<br>
<br>
<br>
Regards<br>
Rafi KC<br>
<br>
<br>
<br>
<br>
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;mso-fareast-language:NL"><br>
<br>
<br>
<o:p></o:p></span></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Gluster-users mailing list<o:p></o:p></pre>
<pre><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><o:p></o:p></pre>
<pre><a href="http://lists.gluster.org/mailman/listinfo/gluster-users">http://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></pre>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;mso-fareast-language:NL"><o:p>&nbsp;</o:p></span></p>
</div>
</body>
</html>