<div dir="ltr"><div dir="ltr"><div dir="ltr">Hello Niels,<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Am Fr., 17. Mai 2019 um 11:35 Uhr schrieb Niels de Vos &lt;<a href="mailto:ndevos@redhat.com">ndevos@redhat.com</a>&gt;:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, May 17, 2019 at 11:17:52AM +0200, David Spisla wrote:<br>
&gt; Hello Niels,<br>
&gt; <br>
&gt; Am Fr., 17. Mai 2019 um 10:21 Uhr schrieb Niels de Vos &lt;<a href="mailto:ndevos@redhat.com" target="_blank">ndevos@redhat.com</a>&gt;:<br>
&gt; <br>
&gt; &gt; On Fri, May 17, 2019 at 09:50:28AM +0200, David Spisla wrote:<br>
&gt; &gt; &gt; Hello Vijay,<br>
&gt; &gt; &gt; thank you for the clarification. Yes, there is an unconditional<br>
&gt; &gt; dereference<br>
&gt; &gt; &gt; in stbuf. It seems plausible that this causes the crash. I think a check<br>
&gt; &gt; &gt; like this should help:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; if (buf == NULL) {<br>
&gt; &gt; &gt;         goto out;<br>
&gt; &gt; &gt; }<br>
&gt; &gt; &gt; map_atime_from_server(this, buf);<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Is there a reason why buf can be NULL?<br>
&gt; &gt;<br>
&gt; &gt; It seems LOOKUP returned an error (errno=13: EACCES: Permission denied).<br>
&gt; &gt; This is probably something you need to handle in worm_lookup_cbk. There<br>
&gt; &gt; can be many reasons for a FOP to return an error, why it happened in<br>
&gt; &gt; this case is a little difficult to say without (much) more details.<br>
&gt; &gt;<br>
&gt; Yes, I will look for a way to handle that case.<br>
&gt; It is intended, that the struct stbuf ist NULL when an error happens?<br>
<br>
Yes, in most error occasions it will not be possible to get a valid<br>
stbuf.<br></blockquote><div>I will do a check like this assuming that in case of an error 
op_errno != 0 and ret = -1<br></div><div><br></div><div>if (buf == NULL || op_errno != 0 || ret = -1) {<br>        goto out;<br>}</div><div>
map_atime_from_server(this, buf); <br></div><div><br></div><div>Does this fit?</div><div>Regards</div><div>David<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Niels<br>
<br>
<br>
&gt; <br>
&gt; Regards<br>
&gt; David Spisla<br>
&gt; <br>
&gt; <br>
&gt; &gt; HTH,<br>
&gt; &gt; Niels<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Regards<br>
&gt; &gt; &gt; David Spisla<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Am Fr., 17. Mai 2019 um 01:51 Uhr schrieb Vijay Bellur &lt;<br>
&gt; &gt; <a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Hello David,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; From the backtrace it looks like stbuf is NULL in<br>
&gt; &gt; map_atime_from_server()<br>
&gt; &gt; &gt; &gt; as  worm_lookup_cbk has got an error (op_ret = -1, op_errno = 13). Can<br>
&gt; &gt; you<br>
&gt; &gt; &gt; &gt; please check if there is an unconditional dereference of stbuf in<br>
&gt; &gt; &gt; &gt; map_atime_from_server()?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Regards,<br>
&gt; &gt; &gt; &gt; Vijay<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Thu, May 16, 2019 at 2:36 AM David Spisla &lt;<a href="mailto:spisla80@gmail.com" target="_blank">spisla80@gmail.com</a>&gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;&gt; Hello Vijay,<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; yes, we are using custom patches. It s a helper function, which is<br>
&gt; &gt; &gt; &gt;&gt; defined in xlator_helper.c and used in worm_lookup_cbk.<br>
&gt; &gt; &gt; &gt;&gt; Do you think this could be the problem? The functions only manipulates<br>
&gt; &gt; &gt; &gt;&gt; the atime in struct iattr<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt; David Spisla<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Am Do., 16. Mai 2019 um 10:05 Uhr schrieb Vijay Bellur &lt;<br>
&gt; &gt; &gt; &gt;&gt; <a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;:<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hello David,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Do you have any custom patches in your deployment? I looked up v5.5<br>
&gt; &gt; but<br>
&gt; &gt; &gt; &gt;&gt;&gt; could not find the following functions referred to in the core:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; map_atime_from_server()<br>
&gt; &gt; &gt; &gt;&gt;&gt; worm_lookup_cbk()<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Neither do I see xlator_helper.c in the codebase.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Vijay<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; #0  map_atime_from_server (this=0x7fdef401af00, stbuf=0x0) at<br>
&gt; &gt; &gt; &gt;&gt;&gt; ../../../../xlators/lib/src/xlator_helper.c:21<br>
&gt; &gt; &gt; &gt;&gt;&gt;         __FUNCTION__ = &quot;map_to_atime_from_server&quot;<br>
&gt; &gt; &gt; &gt;&gt;&gt; #1  0x00007fdef39a0382 in worm_lookup_cbk (frame=frame@entry<br>
&gt; &gt; =0x7fdeac0015c8,<br>
&gt; &gt; &gt; &gt;&gt;&gt; cookie=&lt;optimized out&gt;, this=0x7fdef401af00, op_ret=op_ret@entry=-1,<br>
&gt; &gt; &gt; &gt;&gt;&gt; op_errno=op_errno@entry=13,<br>
&gt; &gt; &gt; &gt;&gt;&gt;     inode=inode@entry=0x0, buf=0x0, xdata=0x0, postparent=0x0) at<br>
&gt; &gt; &gt; &gt;&gt;&gt; worm.c:531<br>
&gt; &gt; &gt; &gt;&gt;&gt;         priv = 0x7fdef4075378<br>
&gt; &gt; &gt; &gt;&gt;&gt;         ret = 0<br>
&gt; &gt; &gt; &gt;&gt;&gt;         __FUNCTION__ = &quot;worm_lookup_cbk&quot;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; On Thu, May 16, 2019 at 12:53 AM David Spisla &lt;<a href="mailto:spisla80@gmail.com" target="_blank">spisla80@gmail.com</a>&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Hello Vijay,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; I could reproduce the issue. After doing a simple DIR Listing from<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Win10 powershell, all brick processes crashes. Its not the same<br>
&gt; &gt; scenario<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; mentioned before but the crash report in the bricks log is the same.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Attached you find the backtrace.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; David Spisla<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Am Di., 7. Mai 2019 um 20:08 Uhr schrieb Vijay Bellur &lt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; <a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Hello David,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; On Tue, May 7, 2019 at 2:16 AM David Spisla &lt;<a href="mailto:spisla80@gmail.com" target="_blank">spisla80@gmail.com</a>&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Hello Vijay,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; how can I create such a core file? Or will it be created<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; automatically if a gluster process crashes?<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Maybe you can give me a hint and will try to get a backtrace.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Generation of core file is dependent on the system configuration.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; `man 5 core` contains useful information to generate a core file<br>
&gt; &gt; in a<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; directory. Once a core file is generated, you can use gdb to get a<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; backtrace of all threads (using &quot;thread apply all bt full&quot;).<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Unfortunately this bug is not easy to reproduce because it appears<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; only sometimes.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; If the bug is not easy to reproduce, having a backtrace from the<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; generated core would be very useful!<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Vijay<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; David Spisla<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Am Mo., 6. Mai 2019 um 19:48 Uhr schrieb Vijay Bellur &lt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; Thank you for the report, David. Do you have core files<br>
&gt; &gt; available on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; any of the servers? If yes, would it be possible for you to<br>
&gt; &gt; provide a<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; backtrace.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; Regards,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; Vijay<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; On Mon, May 6, 2019 at 3:09 AM David Spisla &lt;<a href="mailto:spisla80@gmail.com" target="_blank">spisla80@gmail.com</a>&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hello folks,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; we have a client application (runs on Win10) which does some<br>
&gt; &gt; FOPs<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; on a gluster volume which is accessed by SMB.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; *Scenario 1* is a READ Operation which reads all files<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; successively and checks if the files data was correctly copied.<br>
&gt; &gt; While doing<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; this, all brick processes crashes and in the logs one have this<br>
&gt; &gt; crash<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; report on every brick log:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; CTX_ID:a0359502-2c76-4fee-8cb9-365679dc690e-GRAPH_ID:0-PID:32934-HOST:XX-XXXXX-XX-XX-PC_NAME:shortterm-client-2-RECON_NO:-0,<br>
&gt; &gt; gfid: 00000000-0000-0000-0000-000000000001,<br>
&gt; &gt; req(uid:2000,gid:2000,perm:1,ngrps:1),<br>
&gt; &gt; ctx(uid:0,gid:0,in-groups:0,perm:700,updated-fop:LOOKUP, acl:-) [Permission<br>
&gt; &gt; denied]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; pending frames:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; frame : type(0) op(27)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; frame : type(0) op(40)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; patchset: git://<a href="http://git.gluster.org/glusterfs.git" rel="noreferrer" target="_blank">git.gluster.org/glusterfs.git</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; signal received: 11<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; time of crash:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2019-04-16 08:32:21<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; configuration details:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; argp 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; backtrace 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; dlfcn 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; libpthread 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; llistxattr 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; setfsid 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; spinlock 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; epoll.h 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; xattr.h 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; st_atim.tv_nsec 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; package-string: glusterfs 5.5<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /usr/lib64/libglusterfs.so.0(+0x2764c)[0x7f9a5bd4d64c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(gf_print_trace+0x306)[0x7f9a5bd57d26]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libc.so.6(+0x361a0)[0x7f9a5af141a0]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0xb910)[0x7f9a4ef0e910]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0x8118)[0x7f9a4ef0b118]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/locks.so(+0x128d6)[0x7f9a4f1278d6]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/access-control.so(+0x575b)[0x7f9a4f35975b]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/locks.so(+0xb3b3)[0x7f9a4f1203b3]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0x85b2)[0x7f9a4ef0b5b2]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup+0xbc)[0x7f9a5bdd7b6c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup+0xbc)[0x7f9a5bdd7b6c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/upcall.so(+0xf548)[0x7f9a4e8cf548]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup_resume+0x1e2)[0x7f9a5bdefc22]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /usr/lib64/libglusterfs.so.0(call_resume+0x75)[0x7f9a5bd733a5]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/performance/io-threads.so(+0x6088)[0x7f9a4e6b7088]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libpthread.so.0(+0x7569)[0x7f9a5b29f569]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libc.so.6(clone+0x3f)[0x7f9a5afd69af]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; *Scenario 2 *The application just SET Read-Only on each file<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; sucessively. After the 70th file was set, all the bricks<br>
&gt; &gt; crashes and again,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; one can read this crash report in every brick log:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-05-02 07:43:39.953591] I [MSGID: 139001]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [posix-acl.c:263:posix_acl_log_permit_denied]<br>
&gt; &gt; 0-longterm-access-control:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; client:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; CTX_ID:21aa9c75-3a5f-41f9-925b-48e4c80bd24a-GRAPH_ID:0-PID:16325-HOST:XXX-X-X-XXX-PC_NAME:longterm-client-0-RECON_NO:-0,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; gfid: 00000000-0000-0000-0000-000000000001,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; req(uid:2000,gid:2000,perm:1,ngrps:1),<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ctx(uid:0,gid:0,in-groups:0,perm:700,updated-fop:LOOKUP,<br>
&gt; &gt; acl:-) [Permission<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; denied]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; pending frames:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; frame : type(0) op(27)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; patchset: git://<a href="http://git.gluster.org/glusterfs.git" rel="noreferrer" target="_blank">git.gluster.org/glusterfs.git</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; signal received: 11<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; time of crash:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2019-05-02 07:43:39<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; configuration details:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; argp 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; backtrace 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; dlfcn 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; libpthread 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; llistxattr 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; setfsid 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; spinlock 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; epoll.h 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; xattr.h 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; st_atim.tv_nsec 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; package-string: glusterfs 5.5<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /usr/lib64/libglusterfs.so.0(+0x2764c)[0x7fbb3f0b364c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(gf_print_trace+0x306)[0x7fbb3f0bdd26]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libc.so.6(+0x361e0)[0x7fbb3e27a1e0]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0xb910)[0x7fbb32257910]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0x8118)[0x7fbb32254118]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/locks.so(+0x128d6)[0x7fbb324708d6]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/access-control.so(+0x575b)[0x7fbb326a275b]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/locks.so(+0xb3b3)[0x7fbb324693b3]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/worm.so(+0x85b2)[0x7fbb322545b2]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup+0xbc)[0x7fbb3f13db6c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup+0xbc)[0x7fbb3f13db6c]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/features/upcall.so(+0xf548)[0x7fbb31c18548]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/libglusterfs.so.0(default_lookup_resume+0x1e2)[0x7fbb3f155c22]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /usr/lib64/libglusterfs.so.0(call_resume+0x75)[0x7fbb3f0d93a5]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; /usr/lib64/glusterfs/5.5/xlator/performance/io-threads.so(+0x6088)[0x7fbb31a00088]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libpthread.so.0(+0x7569)[0x7fbb3e605569]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /lib64/libc.so.6(clone+0x3f)[0x7fbb3e33c9ef]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; This happens on a 3-Node Gluster v5.5 Cluster on two different<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; volumes. But both volumes has the same settings:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume Name: shortterm<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Type: Replicate<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume ID: 5307e5c5-e8a1-493a-a846-342fb0195dee<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Started<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Snapshot Count: 0<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of Bricks: 1 x 3 = 3<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Transport-type: tcp<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Bricks:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick1: fs-xxxxx-c1-n1:/gluster/brick4/glusterbrick<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick2: fs-xxxxx-c1-n2:/gluster/brick4/glusterbrick<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick3: fs-xxxxx-c1-n3:/gluster/brick4/glusterbrick<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Options Reconfigured:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.reserve: 1<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.client-io-threads: off<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; nfs.disable: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; transport.address-family: inet<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; user.smb: disable<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.read-only: off<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.worm: off<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.worm-file-level: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.retention-mode: enterprise<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.default-retention-period: 120<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; network.ping-timeout: 10<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.cache-invalidation: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.cache-invalidation-timeout: 600<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.nl-cache: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.nl-cache-timeout: 600<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; client.event-threads: 32<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; server.event-threads: 32<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.lookup-optimize: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.stat-prefetch: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.cache-invalidation: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.md-cache-timeout: 600<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.cache-samba-metadata: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.cache-ima-xattrs: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.io-thread-count: 64<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.use-compound-fops: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.cache-size: 512MB<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.cache-refresh-timeout: 10<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.read-ahead: off<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.write-behind-window-size: 4MB<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.write-behind: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.build-pgfid: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.utime: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.ctime: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.quorum-type: fixed<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.quorum-count: 2<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.bitrot: on<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.scrub: Active<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; features.scrub-freq: daily<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.enable-shared-storage: enable<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Why can this happen to all Brick processes? I don&#39;t understand<br>
&gt; &gt; the<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; crash report. The FOPs are nothing special and after restart<br>
&gt; &gt; brick<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; processes everything works fine and our application was succeed.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; David Spisla<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;<br>
&gt; &gt; &gt; _______________________________________________<br>
&gt; &gt; &gt; Gluster-users mailing list<br>
&gt; &gt; &gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt; &gt; &gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt;<br>
&gt; &gt;<br>
</blockquote></div></div></div>