[Gluster-users] glusterd crashes on Assertion failed: rsp.op == txn_op_info.op

[Olaf Buitelaar]

Dear All,

Has anybody seen this error on gluster 5.6;
[glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk]
(-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60]
-->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a)
[0x7fbfac50db7a]
-->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393)
[0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op

checking the code;
https://github.com/gluster/glusterfs/blob/6fd8281ac9af58609979f660ece58c2ed1100e72/xlators/mgmt/glusterd/src/glusterd-rpc-ops.c#L1388

doesn't seem to reveal much on what could causing this.

It's the second time this occurs.

Attached the full stack.

Thanks Olaf
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.gluster.org/pipermail/gluster-users/attachments/20190619/b8611787/attachment.html>
-------------- next part --------------
[2019-06-19 07:25:03.289265] E [glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk] (-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a) [0x7fbfac50db7a] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393) [0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op
[2019-06-19 07:25:03.289410] E [glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk] (-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a) [0x7fbfac50db7a] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393) [0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op
[2019-06-19 07:25:03.290103] E [glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk] (-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a) [0x7fbfac50db7a] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393) [0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op
[2019-06-19 07:25:03.291407] E [glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk] (-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a) [0x7fbfac50db7a] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393) [0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op
[2019-06-19 07:25:03.299574] E [glusterd-rpc-ops.c:1388:__glusterd_commit_op_cbk] (-->/lib64/libgfrpc.so.0(+0xec60) [0x7fbfb7801c60] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a) [0x7fbfac50db7a] -->/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x77393) [0x7fbfac50b393] ) 0-: Assertion failed: rsp.op == txn_op_info.op
pending frames:
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
frame : type(0) op(0)
patchset: git://git.gluster.org/glusterfs.git
signal received: 11
time of crash:
2019-06-19 07:25:03
configuration details:
argp 1
backtrace 1
dlfcn 1
libpthread 1
llistxattr 1
setfsid 1
spinlock 1
epoll.h 1
xattr.h 1
st_atim.tv_nsec 1
package-string: glusterfs 5.6
/lib64/libglusterfs.so.0(+0x26610)[0x7fbfb7a35610]
/lib64/libglusterfs.so.0(gf_print_trace+0x334)[0x7fbfb7a3fbc4]
/lib64/libc.so.6(+0x36280)[0x7fbfb6098280]
/lib64/libglusterfs.so.0(+0x197a8)[0x7fbfb7a287a8]
/lib64/libglusterfs.so.0(+0x1ce18)[0x7fbfb7a2be18]
/lib64/libglusterfs.so.0(dict_get_strn+0x67)[0x7fbfb7a2d887]
/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x63ef8)[0x7fbfac4f7ef8]
/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x775dc)[0x7fbfac50b5dc]
/usr/lib64/glusterfs/5.6/xlator/mgmt/glusterd.so(+0x79b7a)[0x7fbfac50db7a]
/lib64/libgfrpc.so.0(+0xec60)[0x7fbfb7801c60]
/lib64/libgfrpc.so.0(+0xf033)[0x7fbfb7802033]
/lib64/libgfrpc.so.0(rpc_transport_notify+0x23)[0x7fbfb77fdf23]
/usr/lib64/glusterfs/5.6/rpc-transport/socket.so(+0xa026)[0x7fbfa94e4026]
/lib64/libglusterfs.so.0(+0x8aa79)[0x7fbfb7a99a79]
/lib64/libpthread.so.0(+0x7dd5)[0x7fbfb6898dd5]
/lib64/libc.so.6(clone+0x6d)[0x7fbfb615fead]
---------