<div dir="ltr">Hi Mahdi,<div><br></div><div>I already listed the steps that it took - simply upgrading one of the four nodes from 5.13 to 7.5 and observing the log.<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 21, 2020 at 12:03 PM Mahdi Adnan &lt;<a href="mailto:mahdi@sysmin.io">mahdi@sysmin.io</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I think if it&#39;s reproducible than someone can look into it, can you list the steps to reproduce it?</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 21, 2020 at 9:12 PM Artem Russakovskii &lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">There&#39;s been 0 progress or attention to this issue in a month on github or otherwise.<br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 21, 2020 at 12:43 PM Artem Russakovskii &lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I&#39;ve also moved this to github: <a href="https://github.com/gluster/glusterfs/issues/1257" target="_blank">https://github.com/gluster/glusterfs/issues/1257</a>.<br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 15, 2020 at 2:51 PM Artem Russakovskii &lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>I see the team met up recently and one of the discussed items was issues upgrading to v7. What were the results of this discussion?</div><div><br></div><div>Is the team going to respond to this thread with their thoughts and analysis?</div><div><br></div><div>Thanks.<br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 4, 2020 at 10:23 PM Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On May 4, 2020 4:26:32 PM GMT+03:00, Amar Tumballi &lt;<a href="mailto:amar@kadalu.io" target="_blank">amar@kadalu.io</a>&gt; wrote:<br>
&gt;On Sat, May 2, 2020 at 10:49 PM Artem Russakovskii<br>
&gt;&lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt;<br>
&gt;wrote:<br>
&gt;<br>
&gt;&gt; I don&#39;t have geo replication.<br>
&gt;&gt;<br>
&gt;&gt; Still waiting for someone from the gluster team to chime in. They<br>
&gt;used to<br>
&gt;&gt; be a lot more responsive here. Do you know if there is a holiday<br>
&gt;perhaps,<br>
&gt;&gt; or have the working hours been cut due to Coronavirus currently?<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;It was Holiday on May 1st, and 2nd and 3rd were Weekend days!  And also<br>
&gt;I<br>
&gt;guess many of Developers from Red Hat were attending Virtual Summit!<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;&gt; I&#39;m not inclined to try a v6 upgrade without their word first.<br>
&gt;&gt;<br>
&gt;<br>
&gt;Fair bet! I will bring this topic in one of the community meetings, and<br>
&gt;ask<br>
&gt;developers if they have some feedback! I personally have not seen these<br>
&gt;errors, and don&#39;t have a hunch on which patch would have caused an<br>
&gt;increase<br>
&gt;in logs!<br>
&gt;<br>
&gt;-Amar<br>
&gt;<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Sat, May 2, 2020, 12:47 AM Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br>
&gt;&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt;&gt; On May 1, 2020 8:03:50 PM GMT+03:00, Artem Russakovskii &lt;<br>
&gt;&gt;&gt; <a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;The good news is the downgrade seems to have worked and was<br>
&gt;painless.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;zypper install --oldpackage glusterfs-5.13, restart gluster, and<br>
&gt;almost<br>
&gt;&gt;&gt; &gt;immediately there are no heal pending entries anymore.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;The only things still showing up in the logs, besides some healing<br>
&gt;is<br>
&gt;&gt;&gt; &gt;0-glusterfs-fuse:<br>
&gt;&gt;&gt; &gt;writing to fuse device failed: No such file or directory:<br>
&gt;&gt;&gt; &gt;==&gt; mnt-androidpolice_data3.log &lt;==<br>
&gt;&gt;&gt; &gt;[2020-05-01 16:54:21.085643] E<br>
&gt;&gt;&gt; &gt;[fuse-bridge.c:219:check_and_dump_fuse_W]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x17d)[0x7fd13d50624d]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x849a)[0x7fd1398e949a]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x87bb)[0x7fd1398e97bb]<br>
&gt;&gt;&gt; &gt;(--&gt; /lib64/libpthread.so.0(+0x84f9)[0x7fd13ca564f9] (--&gt;<br>
&gt;&gt;&gt; &gt;/lib64/libc.so.6(clone+0x3f)[0x7fd13c78ef2f] )))))<br>
&gt;0-glusterfs-fuse:<br>
&gt;&gt;&gt; &gt;writing to fuse device failed: No such file or directory<br>
&gt;&gt;&gt; &gt;==&gt; mnt-apkmirror_data1.log &lt;==<br>
&gt;&gt;&gt; &gt;[2020-05-01 16:54:21.268842] E<br>
&gt;&gt;&gt; &gt;[fuse-bridge.c:219:check_and_dump_fuse_W]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x17d)[0x7fdf2b0a624d]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x849a)[0x7fdf2748949a]<br>
&gt;&gt;&gt; &gt;(--&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x87bb)[0x7fdf274897bb]<br>
&gt;&gt;&gt; &gt;(--&gt; /lib64/libpthread.so.0(+0x84f9)[0x7fdf2a5f64f9] (--&gt;<br>
&gt;&gt;&gt; &gt;/lib64/libc.so.6(clone+0x3f)[0x7fdf2a32ef2f] )))))<br>
&gt;0-glusterfs-fuse:<br>
&gt;&gt;&gt; &gt;writing to fuse device failed: No such file or directory<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;It&#39;d be very helpful if it had more info about what failed to write<br>
&gt;and<br>
&gt;&gt;&gt; &gt;why.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;I&#39;d still really love to see the analysis of this failed upgrade<br>
&gt;from<br>
&gt;&gt;&gt; &gt;core<br>
&gt;&gt;&gt; &gt;gluster maintainers to see what needs fixing and how we can upgrade<br>
&gt;in<br>
&gt;&gt;&gt; &gt;the<br>
&gt;&gt;&gt; &gt;future.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;Thanks.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;Sincerely,<br>
&gt;&gt;&gt; &gt;Artem<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;--<br>
&gt;&gt;&gt; &gt;Founder, Android Police &lt;<a href="http://www.androidpolice.com" rel="noreferrer" target="_blank">http://www.androidpolice.com</a>&gt;, APK Mirror<br>
&gt;&gt;&gt; &gt;&lt;<a href="http://www.apkmirror.com/" rel="noreferrer" target="_blank">http://www.apkmirror.com/</a>&gt;, Illogical Robot LLC<br>
&gt;&gt;&gt; &gt;<a href="http://beerpla.net" rel="noreferrer" target="_blank">beerpla.net</a> | @ArtemR &lt;<a href="http://twitter.com/ArtemR" rel="noreferrer" target="_blank">http://twitter.com/ArtemR</a>&gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;On Fri, May 1, 2020 at 7:25 AM Artem Russakovskii<br>
&gt;&lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;wrote:<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; I do not have snapshots, no. I have a general file based backup,<br>
&gt;but<br>
&gt;&gt;&gt; &gt;also<br>
&gt;&gt;&gt; &gt;&gt; the other 3 nodes are up.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; OpenSUSE 15.1.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; If I try to downgrade and it doesn&#39;t work, what&#39;s the brick<br>
&gt;&gt;&gt; &gt;replacement<br>
&gt;&gt;&gt; &gt;&gt; scenario - is this still accurate?<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;<br>
&gt;<a href="https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#replace-brick" rel="noreferrer" target="_blank">https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#replace-brick</a><br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Any feedback about the issues themselves yet please?<br>
&gt;Specifically, is<br>
&gt;&gt;&gt; &gt;&gt; there a chance this is happening because of the mismatched<br>
&gt;gluster<br>
&gt;&gt;&gt; &gt;&gt; versions? Though, what&#39;s the solution then?<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; On Fri, May 1, 2020, 1:07 AM Strahil Nikolov<br>
&gt;&lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; On May 1, 2020 1:25:17 AM GMT+03:00, Artem Russakovskii &lt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; <a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;If more time is needed to analyze this, is this an option? Shut<br>
&gt;&gt;&gt; &gt;down<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;7.5,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;downgrade it back to 5.13 and restart, or would this screw<br>
&gt;&gt;&gt; &gt;something up<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;badly? I didn&#39;t up the op-version yet.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;Thanks.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;Sincerely,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;Artem<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;--<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;Founder, Android Police &lt;<a href="http://www.androidpolice.com" rel="noreferrer" target="_blank">http://www.androidpolice.com</a>&gt;, APK<br>
&gt;Mirror<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&lt;<a href="http://www.apkmirror.com/" rel="noreferrer" target="_blank">http://www.apkmirror.com/</a>&gt;, Illogical Robot LLC<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<a href="http://beerpla.net" rel="noreferrer" target="_blank">beerpla.net</a> | @ArtemR &lt;<a href="http://twitter.com/ArtemR" rel="noreferrer" target="_blank">http://twitter.com/ArtemR</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;On Thu, Apr 30, 2020 at 3:13 PM Artem Russakovskii<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; The number of heal pending on citadel, the one that was<br>
&gt;upgraded<br>
&gt;&gt;&gt; &gt;to<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;7.5,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; has now gone to 10s of thousands and continues to go up.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; Sincerely,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; Artem<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; Founder, Android Police &lt;<a href="http://www.androidpolice.com" rel="noreferrer" target="_blank">http://www.androidpolice.com</a>&gt;, APK<br>
&gt;&gt;&gt; &gt;Mirror<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; &lt;<a href="http://www.apkmirror.com/" rel="noreferrer" target="_blank">http://www.apkmirror.com/</a>&gt;, Illogical Robot LLC<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; <a href="http://beerpla.net" rel="noreferrer" target="_blank">beerpla.net</a> | @ArtemR &lt;<a href="http://twitter.com/ArtemR" rel="noreferrer" target="_blank">http://twitter.com/ArtemR</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; On Thu, Apr 30, 2020 at 2:57 PM Artem Russakovskii<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Hi all,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Today, I decided to upgrade one of the four servers<br>
&gt;(citadel) we<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;have to<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 7.5 from 5.13. There are 2 volumes, 1x4 replicate, and fuse<br>
&gt;&gt;&gt; &gt;mounts<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;(I sent<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; the full details earlier in another message). If everything<br>
&gt;&gt;&gt; &gt;looked<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;OK, I<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; would have proceeded the rolling upgrade for all of them,<br>
&gt;&gt;&gt; &gt;following<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;the<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; full heal.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; However, as soon as I upgraded and restarted, the logs<br>
&gt;filled<br>
&gt;&gt;&gt; &gt;with<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; messages like these:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.316149] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.382891] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.442440] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.445587] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.571398] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:39:21.668192] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [rpcsvc.c:567:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc<br>
&gt;actor<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (1298437:400:17) failed to complete successfully<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; The message &quot;I [MSGID: 108031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-common.c:2581:afr_local_discovery_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-replicate-0: selecting local<br>
&gt;read_child<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; androidpolice_data3-client-3&quot; repeated 10 times between<br>
&gt;&gt;&gt; &gt;[2020-04-30<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 21:46:41.854675] and [2020-04-30 21:48:20.206323]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; The message &quot;W [MSGID: 114031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-client-1: remote operation failed<br>
&gt;&gt;&gt; &gt;[Transport<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;endpoint<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; is not connected]&quot; repeated 264 times between [2020-04-30<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;21:46:32.129567]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; and [2020-04-30 21:48:29.905008]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; The message &quot;W [MSGID: 114031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-client-0: remote operation failed<br>
&gt;&gt;&gt; &gt;[Transport<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;endpoint<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; is not connected]&quot; repeated 264 times between [2020-04-30<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;21:46:32.129602]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; and [2020-04-30 21:48:29.905040]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; The message &quot;W [MSGID: 114031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-client-2: remote operation failed<br>
&gt;&gt;&gt; &gt;[Transport<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;endpoint<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; is not connected]&quot; repeated 264 times between [2020-04-30<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;21:46:32.129512]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; and [2020-04-30 21:48:29.905047]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Once in a while, I&#39;m seeing this:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; ==&gt; bricks/mnt-hive_block4-androidpolice_data3.log &lt;==<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:45:54.251637] I [MSGID: 115072]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [server-rpc-fops_v2.c:1681:server4_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-server: 5725811: SETATTR /<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;<br>
&gt;<a href="http://androidpolice.com/public/wp-content/uploads/2019/03/cielo-breez-plus-hero.png" rel="noreferrer" target="_blank">androidpolice.com/public/wp-content/uploads/2019/03/cielo-breez-plus-hero.png</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (d4556eb4-f15b-412c-a42a-32b4438af557), client:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;CTX_ID:32e2d636-038a-472d-8199-007555d1805f-GRAPH_ID:0-PID:14265-HOST:nexus2-PC_NAME:androidpolice_data3-client-2-RECON_NO:-1,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; error-xlator: androidpolice_data3-access-control [Operation<br>
&gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:49:10.439701] I [MSGID: 115072]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [server-rpc-fops_v2.c:1680:server4_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-server: 201833: SETATTR /<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; <a href="http://androidpolice.com/public/wp-content/uploads" rel="noreferrer" target="_blank">androidpolice.com/public/wp-content/uploads</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (2692eeba-1ebe-49b6-927f-1dfbcd227591), client:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;CTX_ID:af341e80-70ff-4d23-99ef-3d846a546fc9-GRAPH_ID:0-PID:2358-HOST:forge-PC_NAME:androidpolice_data3-client-3-RECON_NO:-2,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; error-xlator: androidpolice_data3-access-control [Operation<br>
&gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:49:10.453724] I [MSGID: 115072]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [server-rpc-fops_v2.c:1680:server4_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-server: 201842: SETATTR /<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; <a href="http://androidpolice.com/public/wp-content/uploads" rel="noreferrer" target="_blank">androidpolice.com/public/wp-content/uploads</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (2692eeba-1ebe-49b6-927f-1dfbcd227591), client:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;CTX_ID:af341e80-70ff-4d23-99ef-3d846a546fc9-GRAPH_ID:0-PID:2358-HOST:forge-PC_NAME:androidpolice_data3-client-3-RECON_NO:-2,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; error-xlator: androidpolice_data3-access-control [Operation<br>
&gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:49:16.224662] I [MSGID: 115072]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [server-rpc-fops_v2.c:1680:server4_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-server: 202865: SETATTR /<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; <a href="http://androidpolice.com/public/wp-content/uploads" rel="noreferrer" target="_blank">androidpolice.com/public/wp-content/uploads</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (2692eeba-1ebe-49b6-927f-1dfbcd227591), client:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;CTX_ID:32e2d636-038a-472d-8199-007555d1805f-GRAPH_ID:0-PID:14265-HOST:nexus2-PC_NAME:androidpolice_data3-client-3-RECON_NO:-2,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; error-xlator: androidpolice_data3-access-control [Operation<br>
&gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; There&#39;s also lots of self-healing happening that I didn&#39;t<br>
&gt;expect<br>
&gt;&gt;&gt; &gt;at<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;all,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; since the upgrade only took ~10-15s.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:47:38.714448] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-metadata.c:52:__afr_selfheal_metadata_do]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-apkmirror_data1-replicate-0: performing metadata selfheal<br>
&gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 4a6ba2d7-7ad8-4113-862b-02e4934a3461<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:47:38.765033] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-common.c:1723:afr_log_selfheal]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-apkmirror_data1-replicate-0: Completed metadata selfheal<br>
&gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 4a6ba2d7-7ad8-4113-862b-02e4934a3461. sources=[3]  sinks=0 1<br>
&gt;2<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:47:38.765289] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-metadata.c:52:__afr_selfheal_metadata_do]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-apkmirror_data1-replicate-0: performing metadata selfheal<br>
&gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; f3c62a41-1864-4e75-9883-4357a7091296<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:47:38.800987] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-common.c:1723:afr_log_selfheal]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-apkmirror_data1-replicate-0: Completed metadata selfheal<br>
&gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; f3c62a41-1864-4e75-9883-4357a7091296. sources=[3]  sinks=0 1<br>
&gt;2<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; I&#39;m also seeing &quot;remote operation failed&quot; and &quot;writing to<br>
&gt;fuse<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;device<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; failed: No such file or directory&quot; messages<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:34.891957] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-common.c:1723:afr_log_selfheal]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-replicate-0: Completed metadata<br>
&gt;selfheal<br>
&gt;&gt;&gt; &gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 2692eeba-1ebe-49b6-927f-1dfbcd227591. sources=0 1 [2] <br>
&gt;sinks=3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:45:36.127412] W [MSGID: 114031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [client-rpc-fops_v2.c:1985:client4_0_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-client-0: remote operation failed<br>
&gt;&gt;&gt; &gt;[Operation<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:45:36.345924] W [MSGID: 114031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [client-rpc-fops_v2.c:1985:client4_0_setattr_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-client-1: remote operation failed<br>
&gt;&gt;&gt; &gt;[Operation<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;not<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; permitted]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:35.291853] I [MSGID: 108031]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-common.c:2543:afr_local_discovery_cbk]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-replicate-0: selecting local<br>
&gt;read_child<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; androidpolice_data3-client-2<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:35.977342] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-metadata.c:52:__afr_selfheal_metadata_do]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-replicate-0: performing metadata<br>
&gt;selfheal<br>
&gt;&gt;&gt; &gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 2692eeba-1ebe-49b6-927f-1dfbcd227591<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:36.006607] I [MSGID: 108026]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [afr-self-heal-common.c:1723:afr_log_selfheal]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 0-androidpolice_data3-replicate-0: Completed metadata<br>
&gt;selfheal<br>
&gt;&gt;&gt; &gt;on<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 2692eeba-1ebe-49b6-927f-1dfbcd227591. sources=0 1 [2] <br>
&gt;sinks=3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:37.245599] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;[fuse-bridge.c:219:check_and_dump_fuse_W]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x17d)[0x7fd13d50624d]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x849a)[0x7fd1398e949a]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x87bb)[0x7fd1398e97bb]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt; /lib64/libpthread.so.0(+0x84f9)[0x7fd13ca564f9] (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; /lib64/libc.so.6(clone+0x3f)[0x7fd13c78ef2f] )))))<br>
&gt;&gt;&gt; &gt;0-glusterfs-fuse:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; writing to fuse device failed: No such file or directory<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; [2020-04-30 21:46:50.864797] E<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;[fuse-bridge.c:219:check_and_dump_fuse_W]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x17d)[0x7fd13d50624d]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x849a)[0x7fd1398e949a]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;/usr/lib64/glusterfs/5.13/xlator/mount/fuse.so(+0x87bb)[0x7fd1398e97bb]<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; (--&gt; /lib64/libpthread.so.0(+0x84f9)[0x7fd13ca564f9] (--&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; /lib64/libc.so.6(clone+0x3f)[0x7fd13c78ef2f] )))))<br>
&gt;&gt;&gt; &gt;0-glusterfs-fuse:<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; writing to fuse device failed: No such file or directory<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; The number of items being healed is going up and down<br>
&gt;wildly,<br>
&gt;&gt;&gt; &gt;from 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;to<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; 8000+ and sometimes taking a really long time to return a<br>
&gt;value.<br>
&gt;&gt;&gt; &gt;I&#39;m<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;really<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; worried as this is a production system, and I didn&#39;t observe<br>
&gt;&gt;&gt; &gt;this in<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;our<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; test system.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; gluster v heal apkmirror_data1 info summary<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick nexus2:/mnt/nexus2_block1/apkmirror_data1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick forge:/mnt/forge_block1/apkmirror_data1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick hive:/mnt/hive_block1/apkmirror_data1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 27<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick citadel:/mnt/citadel_block1/apkmirror_data1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 8540<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 8540<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; gluster v heal androidpolice_data3 info summary<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick nexus2:/mnt/nexus2_block4/androidpolice_data3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick forge:/mnt/forge_block4/androidpolice_data3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick hive:/mnt/hive_block4/androidpolice_data3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Brick citadel:/mnt/citadel_block4/androidpolice_data3<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Status: Connected<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Total Number of entries: 1149<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in heal pending: 1149<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries in split-brain: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Number of entries possibly healing: 0<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; What should I do at this point? The files I tested seem to<br>
&gt;be<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;replicating<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; correctly, but I don&#39;t know if it&#39;s the case for all of<br>
&gt;them,<br>
&gt;&gt;&gt; &gt;and<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;the heals<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; going up and down, and all these log messages are making me<br>
&gt;very<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;nervous.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Thank you.<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Sincerely,<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Artem<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; Founder, Android Police &lt;<a href="http://www.androidpolice.com" rel="noreferrer" target="_blank">http://www.androidpolice.com</a>&gt;, APK<br>
&gt;&gt;&gt; &gt;Mirror<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; &lt;<a href="http://www.apkmirror.com/" rel="noreferrer" target="_blank">http://www.apkmirror.com/</a>&gt;, Illogical Robot LLC<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt; <a href="http://beerpla.net" rel="noreferrer" target="_blank">beerpla.net</a> | @ArtemR &lt;<a href="http://twitter.com/ArtemR" rel="noreferrer" target="_blank">http://twitter.com/ArtemR</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; I&#39;s not supported  , but usually it works.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; In worst case scenario,  you can remove the node, wipe gluster<br>
&gt;on<br>
&gt;&gt;&gt; &gt;the<br>
&gt;&gt;&gt; &gt;&gt;&gt; node, reinstall the packages and add it - it will require full<br>
&gt;heal<br>
&gt;&gt;&gt; &gt;of the<br>
&gt;&gt;&gt; &gt;&gt;&gt; brick and as you have previously reported could lead to<br>
&gt;performance<br>
&gt;&gt;&gt; &gt;&gt;&gt; degradation.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; I think you are on SLES, but I could be wrong . Do you have<br>
&gt;btrfs or<br>
&gt;&gt;&gt; &gt;LVM<br>
&gt;&gt;&gt; &gt;&gt;&gt; snapshots to revert from ?<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Best Regards,<br>
&gt;&gt;&gt; &gt;&gt;&gt; Strahil Nikolov<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Hi Artem,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; You can increase the brick log level following<br>
&gt;&gt;&gt;<br>
&gt;<a href="https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3/html/administration_guide/configuring_the_log_level" rel="noreferrer" target="_blank">https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3/html/administration_guide/configuring_the_log_level</a><br>
&gt;&gt;&gt; but keep in mind that logs grow quite fast - so don&#39;t keep them<br>
&gt;above the<br>
&gt;&gt;&gt; current level for too much time.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Do you have a geo replication running ?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; About the migration issue - I have no clue why this happened. Last<br>
&gt;time I<br>
&gt;&gt;&gt; skipped a major release(3.12  to 5.5) I got a huge trouble (all<br>
&gt;files<br>
&gt;&gt;&gt; ownership was switched to root)  and I have the feeling  that it<br>
&gt;won&#39;t<br>
&gt;&gt;&gt; happen again if you go through v6.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Best Regards,<br>
&gt;&gt;&gt; Strahil Nikolov<br>
&gt;&gt;&gt;<br>
&gt;&gt; ________<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Community Meeting Calendar:<br>
&gt;&gt;<br>
&gt;&gt; Schedule -<br>
&gt;&gt; Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt; Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt;<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt;<br>
<br>
Hey Artem,<br>
<br>
I just checked if the &#39;replica 4&#39; is causing the issue , but that&#39;s not true (tested with 1 node down, but it&#39;s the same situation).<br>
<br>
I created 4 VMs on CentOS 7 &amp; Gluster v7.5 (brick has only noatime mount option) and created a &#39;replica 4&#39; volume.<br>
Then I created a dir and placed 50000 very small files there via:<br>
for i in {1..50000}; do echo $RANDOM &gt; $i ; done<br>
<br>
The find command &#39;finds&#39; them in 4s and after some tuning I have managed to lower it to 2.5s.<br>
<br>
What has caused some improvement was:<br>
A) Activated the rhgs-random-io tuned profile which you can take from <a href="ftp://ftp.redhat.com/redhat/linux/enterprise/7Server/en/RHS/SRPMS/redhat-storage-server-3.5.0.0-1.el7rhgs.src.rpm" rel="noreferrer" target="_blank">ftp://ftp.redhat.com/redhat/linux/enterprise/7Server/en/RHS/SRPMS/redhat-storage-server-3.5.0.0-1.el7rhgs.src.rpm</a><br>
B) using noatime for the mount option and if you use SELINUX you could use  the &#39;context=system_u:object_r:glusterd_brick_t:s0&#39; mount option to prevent selinux context lookups<br>
C) Activation of the gluster group of settings &#39;metadata-cache&#39; or &#39;nl-cache&#39; brought &#39;find&#39; to the same results - lowered  from 3.5s to 2.5s after an initial run.<br>
<br>
I know that I&#39;m not compairing apples to apples , but still it might help.<br>
<br>
I would like to learn what actually gluster does when a &#39;find&#39; or &#39;ls&#39; is invoked, as I doubt it just executes it on the bricks.<br>
<br>
Best Regards,<br>
Strahil Nikolov<br>
</blockquote></div>
</blockquote></div>
</blockquote></div>
________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Respectfully<div>Mahdi</div></div></div>
</blockquote></div>