<div dir="ltr"><div>I've noticed something interesting: when the "cp" over NFS is done the first time it gives the "cp: closing" permission denied error as described before and the destination file is created with zero size.</div><div><br></div><div>If we run the same "cp" over NFS a second time the files are written correctly, with the full file data, and there's no error. So it appears that the problem does not occur if the destination file exists.</div><div><br></div><div>Does that give anyone a clue as to what's happening? Thanks.</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 12 Aug 2021 at 13:50, David Cunningham <<a href="mailto:dcunningham@voisonics.com">dcunningham@voisonics.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi,<br></div><div><br></div><div>Gilberto, sorry I didn't realise those were server options. After adding them to the /etc/exports entry and restarting nfsd the same problem still occurs.</div><div><br></div><div>Strahil, I ran "gluster volume set help | egrep -i 'acl|xlator'" on the GlusterFS node/FUSE client and got the following results. Is one of them the option you mention?</div><div>Description: inode-read fops happen only on one of the bricks in replicate. Afr will prefer the one specified using this option if it is not stale. Option value must be one of the xlator names of the children. Ex: <volname>-client-0 till <volname>-client-<number-of-bricks - 1><br>Description: Cache samba metadata (user.DOSATTRIB, security.NTACL xattr)<br>Description: maximum size of cache consumed by readdir-ahead xlator. This value is global and total memory consumption by readdir-ahead is capped by this value, irrespective of the number/size of directories cached</div><div><br></div><div>Could the issue be anything to do with the FUSE client mount options? The output of "mount | grep glusterfs" gives:<br>gfs1:/gvol0 on /mnt/glusterfs type fuse.glusterfs (rw,noatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)</div><div><br></div><div>Thanks again.<br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 12 Aug 2021 at 01:25, Gilberto Ferreira <<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Those options you need put it in the NFS server options, generally in /etc/exports<br clear="all"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><div><div>Gilberto Nunes Ferreira</div></div><div><span style="font-size:12.8px">(47) 99676-7530 - Whatsapp / Telegram</span><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px"><br></p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em ter., 10 de ago. de 2021 às 18:24, David Cunningham <<a href="mailto:dcunningham@voisonics.com" target="_blank">dcunningham@voisonics.com</a>> escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi Strahil and Gilberto,</div><div><br></div><div>Thanks very much for your replies. SELinux is disabled on the NFS server (and the client too), and both have the same UID and GID for the user who owns the files.</div><div><br></div><div>On the NFS mount we had options "rw,noatime,hard,bg,intr,vers=4". I added "async" which did not solve the problem, and the NFS client mount gave an error when trying to use "no_root_squash" or "no_subtree_check". Gilberto, is there a specific reason why you suggested those options?</div><div><br></div><div>Thanks again.</div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 11 Aug 2021 at 03:55, Gilberto Ferreira <<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">HOw about the NFS options?<div>(rw,async,no_root_squash,no_subtree_check)<br clear="all"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><div><div>Gilberto Nunes Ferreira</div></div><div><span style="font-size:12.8px">(47) 99676-7530 - Whatsapp / Telegram</span><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px"><br></p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em ter., 10 de ago. de 2021 às 12:46, Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>> escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hey David,<div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610317653"><br></div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610317819">can you give the volume info ?</div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610327164"><br></div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610327332">Also, I assume SELINUX is in permissive/disabled state.</div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610346686"><br></div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610346853">What about the uod of the user on the nfs client and the nfs server ? Is it the same ?</div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610373655"><br></div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610373873">Best Regards,</div><div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yMail_cursorElementTracker_1628610379736">Strahil Nikolov<br> <br> <blockquote style="margin:0px 0px 20px"> <div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)"> <div>On Tue, Aug 10, 2021 at 5:52, David Cunningham</div><div><<a href="mailto:dcunningham@voisonics.com" target="_blank">dcunningham@voisonics.com</a>> wrote:</div> </div> <div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)"> <div id="gmail-m_-8584443624168554525gmail-m_7712356569859278324gmail-m_-2031056883324231200gmail-m_5088874730197662998gmail-m_3905723734762603342yiv5669364557"><div dir="ltr"><div>Hello,</div><div><br></div><div>We have a GlusterFS node which also uses the FUSE client to mount the filesystem. The same GlusterFS node server also runs an NFS server which exports the FUSE client mount, and another machine NFS mounts it.</div><div><br></div><div>When the NFS client writes data to the mounted filesystem we are seeing "Permission denied" errors like this:</div><div><br></div><div>cp: closing `/var/lib/gfs/company/david/1075/Copyrec/1628448189883606-203-17184805327-out-08-08-21-14~43~10-203.mp3': Permission denied<br></div><div><br></div><div>The file mentioned in the error is actually created on the GlusterFS filesystem, but has zero size, so the problem is not a normal Linux filesystem permission one.</div><div><br></div><div>In the brick log nodirectwritedata-gluster-gvol0.log on the GlusterFS node we see an error as follows. Would anyone have a suggestion on what the problem might be? Thank you in advance!<br></div><div><br></div><div>[2021-08-10 02:30:20.359159] I [MSGID: 139001] [posix-acl.c:262:posix_acl_log_permit_denied] 0-gvol0-access-control: client: CTX_ID:8f69363a-f0f4-44e1-84e9-69dfa77a8164-GRAPH_ID:0-PID:2657-HOST:gfs1.company.com-PC_NAME:gvol0-client-0-RECON_NO:-0, gfid: f70b1cd6-745a-4ea6-b0a5-1fcfef960f15, req(uid:106,gid:111,perm:2,ngrps:0), ctx(uid:106,gid:111,in-groups:1,perm:000,updated-fop:SETATTR, acl:-) [Permission denied]<br>[2021-08-10 02:30:20.359187] E [MSGID: 115070] [server-rpc-fops_v2.c:1502:server4_open_cbk] 0-gvol0-server: 5554927: OPEN /company/david/1075/Copyrec/1628448189883606-203-17184805327-out-08-08-21-14~43~10-203.mp3 (f70b1cd6-745a-4ea6-b0a5-1fcfef960f15), client: CTX_ID:8f69363a-f0f4-44e1-84e9-69dfa77a8164-GRAPH_ID:0-PID:2657-HOST:gfs1.company.com-PC_NAME:gvol0-client-0-RECON_NO:-0, error-xlator: gvol0-access-control [Permission denied]<br></div><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>David Cunningham, Voisonics Limited<br><a rel="nofollow noopener noreferrer" href="http://voisonics.com/" target="_blank">http://voisonics.com/</a><br>USA: +1 213 221 1092<br>New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div></div>
</div>________<br><br><br><br>Community Meeting Calendar:<br><br>Schedule -<br>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br> </div> </blockquote></div>________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>David Cunningham, Voisonics Limited<br><a href="http://voisonics.com/" target="_blank">http://voisonics.com/</a><br>USA: +1 213 221 1092<br>New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>David Cunningham, Voisonics Limited<br><a href="http://voisonics.com/" target="_blank">http://voisonics.com/</a><br>USA: +1 213 221 1092<br>New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>David Cunningham, Voisonics Limited<br><a href="http://voisonics.com/" target="_blank">http://voisonics.com/</a><br>USA: +1 213 221 1092<br>New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div>