<div dir="ltr">Hi Renaud,<div><br></div><div>Thanks for your reply.</div><div><br></div><div>We are not using NFS here. We restarted all Gluster Servers (one by one) and most of the clients but the problem persisted. Fortunately, we were able to copy the data and carry on.</div><div><br></div><div>Cheers,</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 11 Feb 2020 at 13:58, Renaud Fortier &lt;<a href="mailto:Renaud.Fortier@fsaa.ulaval.ca">Renaud.Fortier@fsaa.ulaval.ca</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="FR-CA">
<div class="gmail-m_-3778769641097285903WordSection1">
<p class="MsoNormal"><span>Hi Alberto,<u></u><u></u></span></p>
<p class="MsoNormal"><span>We face a similar problem with Gluster 6.7 + NFS-Ganesha after a heal. However, on our side, the problem also affected the root user. We were able to move and delete the affected files but unable
 to copy, edit or chmod. The brick logs was the same as yours.<u></u><u></u></span></p>
<p class="MsoNormal"><span><u></u> <u></u></span></p>
<p class="MsoNormal"><span>Since we restarted nfs-ganesha, it working fine.
<u></u><u></u></span></p>
<p class="MsoNormal"><span><u></u> <u></u></span></p>
<p class="MsoNormal"><span>Renaud</span><span style="font-size:9pt;color:rgb(77,77,77)"><u></u><u></u></span></p>
<p class="MsoNormal"><span><u></u> <u></u></span></p>
<div>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span lang="FR">De :</span></b><span lang="FR"> <a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.org</a> &lt;<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.org</a>&gt;
<b>De la part de</b> Alberto Bengoa<br>
<b>Envoyé :</b> 11 février 2020 05:02<br>
<b>À :</b> Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br>
<b>Cc :</b> gluster-users &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br>
<b>Objet :</b> Re: [Gluster-users] Permission denied at some directories/files after a split brain<u></u><u></u></span></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">[Externe UL*] <u></u><u></u></p>
<div>
<div>
<div>
<p class="MsoNormal">Hi Strahil,<u></u><u></u></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, 10 Feb 2020 at 15:28, Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">Hi Alberto,<br>
Sadly you should verify if the issue is the same.<br>
Enable the trace logs for the bricks and verify if the errors in the logs with those in the bugzilla.<u></u><u></u></p>
</blockquote>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">Don&#39;t forget to stop the trace log or your logs&#39; dir will get full.<u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Yes, the log is quite similar:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">[2020-02-10 10:38:17.402080] I [MSGID: 139001] [posix-acl.c:263:posix_acl_log_permit_denied] 0-app_data-access-control: client: CTX_ID:7d744c50-43a1-4f81-9330-001b5dcaddb7-GRAPH_ID:0-PID:2310-HOST:ast10.local.domain-PC_NAME:app_data-client-1-RECON_NO:-1,
 gfid: 092f1e28-d6a8-4ca9-95d5-75dc8ad1c835, req(uid:498,gid:498,perm:4,ngrps:1), ctx(uid:0,gid:0,in-groups:0,perm:000,updated-fop:INVALID, acl:-) [Permission denied]</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">[2020-02-10 10:38:17.402182] E [MSGID: 115056] [server-rpc-fops_v2.c:687:server4_opendir_cbk] 0-app_data-server: 6257941: OPENDIR /mailboxes.old/8692/211411002/Old (092f1e28-d6a8-4ca9-95d5-75dc8ad1c835),
 client: CTX_ID:7d744c50-43a1-4f81-9330-001b5dcaddb7-GRAPH_ID:0-PID:2310-HOST:ast10.local.domain-PC_NAME:app_data-client-1-RECON_NO:-1, error-xlator: app_data-access-control [Permission denied]</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal"><br>
What version of gluster are you using ?<u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Gluster 6.6.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal" style="margin-bottom:12pt">In my case only a  downgrade has restored the operation of the cluster, so you should consider that as an option (last, but still an option).<u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">We created a copy of the faulty&#39;s directory and put it in place of the older one to solve our issues for now. We kept the old one for further investigation. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">You can try to run a find against the fuse and &#39;find  /path/to/fuse -exec setfacl -m u:root:rw {} \;&#39;<br>
Maybe that will force gluster to read the ACLs again.<u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Running a setfacl doesn&#39;t make any difference. If we do a chmod it &quot;fixes&quot; the permission problem. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal"><br>
Good luck!<br>
If you have the option, join the next gluster meeting and ask for an update (if the issue is actually the same).<br>
<br>
Best Regards,<br>
Strahil Nikolov<u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Alberto Bengoa <u></u><u></u></p>
</div>
</div>
</div>
</div>
<div>
<p class="MsoNormal" style="background:rgb(227,227,227)"><b><span style="color:black">*ATTENTION : L’émetteur de ce courriel est externe à l’Université Laval.
</span></b><b><u></u><u></u></b></p>
<div>
<p class="MsoNormal" style="background:rgb(227,227,227)"><span style="color:black">Évitez de cliquer sur un hyperlien, d’ouvrir une pièce jointe ou de transmettre des informations si vous ne connaissez pas l’expéditeur du courriel. En cas de doute, contactez l’équipe
 de soutien informatique de votre unité ou <a href="mailto:hameconnage@ulaval.ca" target="_blank">
hameconnage@ulaval.ca</a>.</span><u></u><u></u></p>
</div>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="100%" align="center">
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

</blockquote></div>