<div dir="ltr">Thanks Amar,<div><br></div><div>Checking the brick logs, I&#39;m seeing these and numerous other files with Permission denied. The question is why is the permission being denied? Gluster runs as root and the files are owned by wwwrun:www, which it should have full access to.</div><div><br></div><div>Is there any more documentation on what enabling or disabling this feature accomplishes, why it was added to 7.1 by default (and 7.0 as far as I can tell), and what side effects it may have? Basically, I&#39;d like to understand the problem better instead of simply turning the flag off and fix the underlying issue (or help fix a bug if it&#39;s a bug in gluster).</div><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">==&gt; bricks/mnt-pylon_block6-dev_SNIP_data.log &lt;==<br>[2020-01-06 21:39:00.176476] I [MSGID: 115060] [server-rpc-fops_v2.c:897:server4_setxattr_cbk] 0-dev_SNIP_data-server: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control [Permission denied]<br>[2020-01-06 21:39:00.325329] I [MSGID: 139001] [posix-acl.c:262:posix_acl_log_permit_denied] 0-dev_SNIP_data-access-control: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, gfid: e9bd83fd-b16e-44ef-8fde-2ae320ee54d0, req(uid:491,gid:488,perm:2,ngrps:1), ctx(uid:30,gid:8,in-groups:0,perm:664,updated-fop:LOOKUP, acl:-) [Permission denied]<br>[2020-01-06 21:39:00.325435] I [MSGID: 115060] [server-rpc-fops.c:937:_gf_server_log_setxattr_failure] 0-dev_SNIP_data-server: 709342: SETXATTR /uploads/2019/06/Anker-PowerPort-Atom-10-768x512.jpg (e9bd83fd-b16e-44ef-8fde-2ae320ee54d0) ==&gt; set-ctime-mdata, client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control<br>[2020-01-06 21:39:00.325460] I [MSGID: 115060] [server-rpc-fops_v2.c:897:server4_setxattr_cbk] 0-dev_SNIP_data-server: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control [Permission denied]<br>[2020-01-06 21:39:01.195012] I [MSGID: 139001] [posix-acl.c:262:posix_acl_log_permit_denied] 0-dev_SNIP_data-access-control: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, gfid: ff96827e-777b-45fb-a40d-e5089cd024fe, req(uid:491,gid:488,perm:2,ngrps:1), ctx(uid:30,gid:8,in-groups:0,perm:664,updated-fop:LOOKUP, acl:-) [Permission denied]<br>[2020-01-06 21:39:01.195091] I [MSGID: 115060] [server-rpc-fops.c:937:_gf_server_log_setxattr_failure] 0-dev_SNIP_data-server: 709349: SETXATTR /uploads/2019/06/Anker-PowerPort-Atom-768x512.jpg (ff96827e-777b-45fb-a40d-e5089cd024fe) ==&gt; set-ctime-mdata, client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control<br>[2020-01-06 21:39:01.195291] I [MSGID: 115060] [server-rpc-fops_v2.c:897:server4_setxattr_cbk] 0-dev_SNIP_data-server: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control [Permission denied]<br>[2020-01-06 21:39:04.184502] I [MSGID: 139001] [posix-acl.c:262:posix_acl_log_permit_denied] 0-dev_SNIP_data-access-control: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, gfid: 546305c8-7611-4752-9168-215e9eb03938, req(uid:491,gid:488,perm:2,ngrps:1), ctx(uid:30,gid:8,in-groups:0,perm:664,updated-fop:LOOKUP, acl:-) [Permission denied]<br>[2020-01-06 21:39:04.184554] I [MSGID: 115060] [server-rpc-fops.c:937:_gf_server_log_setxattr_failure] 0-dev_SNIP_data-server: 709360: SETXATTR /uploads/2019/06/Anker-PowerPort-Atom-10-1-768x512.jpg (546305c8-7611-4752-9168-215e9eb03938) ==&gt; set-ctime-mdata, client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control<br>[2020-01-06 21:39:04.184576] I [MSGID: 115060] [server-rpc-fops_v2.c:897:server4_setxattr_cbk] 0-dev_SNIP_data-server: client: CTX_ID:3e0436a5-cdf8-4d3f-a4e9-fc681fe902d3-GRAPH_ID:2-PID:32069-HOST:pylon-PC_NAME:dev_SNIP_data-client-2-RECON_NO:-0, error-xlator: dev_SNIP_data-access-control [Permission denied]<br clear="all"></blockquote><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br></div><div dir="ltr">Btw, cluster.op-version is 70000, which is the latest. I always rev it up after upgrading the cluster.<br></div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Dec 28, 2019 at 1:19 AM Amar Tumballi &lt;<a href="mailto:amarts@gmail.com">amarts@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Answers inline.<div><br></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Dec 25, 2019 at 2:06 AM Artem Russakovskii &lt;<a href="mailto:archon810@gmail.com" target="_blank">archon810@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi everyone,<div><br></div><div>I&#39;m preparing the upgrade for our 5.10 gluster cluster running 1x4 replicate volumes to 7.X and decided to upgrade our test cluster first.</div><div><br></div><div>As soon as I upgraded to 7.0 (and now 7.1), I started seeing the following messages every 10 minutes in the log for one of the volumes:</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">[2019-12-19 21:27:55.041949] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-0: remote operation failed [Permission denied]<br>[2019-12-19 21:27:55.042002] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-2: remote operation failed [Permission denied]<br>[2019-12-19 21:27:55.042013] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-1: remote operation failed [Permission denied]<br>[2019-12-19 21:27:55.042634] E [MSGID: 148002] [utime.c:146:gf_utime_set_mdata_setxattr_cbk] 0-dev_SNIP_data-utime: dict set of key for set-ctime-mdata failed [Permission denied]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-0: remote operation failed [Permission denied]&quot; repeated 2 times between [2019-12-19 21:27:55.041949] and [2019-12-19 21:27:55.047300]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-2: remote operation failed [Permission denied]&quot; repeated 2 times between [2019-12-19 21:27:55.042002] and [2019-12-19 21:27:55.047312]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-1: remote operation failed [Permission denied]&quot; repeated 2 times between [2019-12-19 21:27:55.042013] and [2019-12-19 21:27:55.047524]<br>The message &quot;E [MSGID: 148002] [utime.c:146:gf_utime_set_mdata_setxattr_cbk] 0-dev_SNIP_data-utime: dict set of key for set-ctime-mdata failed [Permission denied]&quot; repeated 2 times between [2019-12-19 21:27:55.042634] and [2019-12-19 21:27:55.047887]<br></blockquote><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">[2019-12-19 21:37:55.541329] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-2: remote operation failed [Permission denied]<br>[2019-12-19 21:37:55.541644] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-1: remote operation failed [Permission denied]<br>[2019-12-19 21:37:55.541681] W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-0: remote operation failed [Permission denied]<br>[2019-12-19 21:37:55.542067] E [MSGID: 148002] [utime.c:146:gf_utime_set_mdata_setxattr_cbk] 0-dev_SNIP_data-utime: dict set of key for set-ctime-mdata failed [Permission denied]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-2: remote operation failed [Permission denied]&quot; repeated 3 times between [2019-12-19 21:37:55.541329] and [2019-12-19 21:37:55.546695]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-1: remote operation failed [Permission denied]&quot; repeated 3 times between [2019-12-19 21:37:55.541644] and [2019-12-19 21:37:55.546711]<br>The message &quot;W [MSGID: 114031] [client-rpc-fops_v2.c:850:client4_0_setxattr_cbk] 0-dev_SNIP_data-client-0: remote operation failed [Permission denied]&quot; repeated 3 times between [2019-12-19 21:37:55.541681] and [2019-12-19 21:37:55.546761]<br>The message &quot;E [MSGID: 148002] [utime.c:146:gf_utime_set_mdata_setxattr_cbk] 0-dev_SNIP_data-utime: dict set of key for set-ctime-mdata failed [Permission denied]&quot; repeated 3 times between [2019-12-19 21:37:55.542067] and [2019-12-19 21:37:55.547042]<br></blockquote><div><br></div><div>etc.</div><div><br></div><div>The questions are:</div><div><ol><li>Is it a cause for concern? They weren&#39;t there before the upgrade.</li></ol></div></div></blockquote><div>Looks like all these logs are related to ctime feature which is by default enabled in 7.1 (and not in 5.x series)</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><ol><li>How can I determine what&#39;s causing the errors?</li></ol></div></div></blockquote><div><br></div><div>Also check the server logs.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><ol><li>How can I fix them and prevent them from spamming the logs?</li></ol></div></div></blockquote><div><br></div><div>Check op-version of the cluster after upgrade. Disable &#39;ctime&#39; option (volume set &lt;vol&gt; ctime off).</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>Thank you and happy holidays!</div></div></div></blockquote><div><br></div><div>+1</div><div><br></div><div>Regards,</div><div>Amar</div><div><a href="https://kadalu.io" target="_blank">https://kadalu.io</a></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>Sincerely,<br>Artem<br><br>--<br>Founder, <a href="http://www.androidpolice.com" target="_blank">Android Police</a>, <a href="http://www.apkmirror.com/" style="font-size:12.8px" target="_blank">APK Mirror</a><span style="font-size:12.8px">, Illogical Robot LLC</span></div><div dir="ltr"><a href="http://beerpla.net/" target="_blank">beerpla.net</a> | <a href="http://twitter.com/ArtemR" target="_blank">@ArtemR</a><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
________<br>
<br>
Community Meeting Calendar:<br>
<br>
APAC Schedule -<br>
Every 2nd and 4th Tuesday at 11:30 AM IST<br>
Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
<br>
NA/EMEA Schedule -<br>
Every 1st and 3rd Tuesday at 01:00 PM EDT<br>
Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div></div>
</blockquote></div>