<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hello All,<div><br></div><div>I&#39;m having trouble mounting gluster volumes over RDMA. Everything seems to work fine until I try to mount the gluster volume. At this point it seems to crash glusterd and give me an error &quot;could not create QP [Permission Denied]. If I change change the transport to tcp, everything works as expected. I am pretty new to Infiniband and RDMA, so this may very well be something I&#39;m doing wrong. That said, I was able to get NFSoRDMA (and qperf) working on these same hosts, so I&#39;m confident my hardware is working. This is on CentOS 7.5 using gluster 3.12.15 from the CentOS repository. I can&#39;t find anything regarding this specific error and any help is much appreciated.</div><div><br></div><div># rdma works...</div><div><div>[root@gluster1 ~]# qperf --use_bits_per_sec gluster2-ib rc_bi_bw</div><div>rc_bi_bw:</div><div>    bw  =  35.3 Gb/sec</div></div><div><br></div><div># NFSoRDMA works....</div><div><div>[root@gluster1 data]# mount -t nfs gluster2-ib:/test /mnt/test -o rdma,port=20049</div><div>[root@gluster1 ~]#<br></div><div>[root@gluster1 data]# df -h|grep root</div><div>/dev/mapper/centos_gluster1-root   33G  7.8G   26G  24% /</div><div>gluster2-ib:/test            33G   29G  4.1G  88% /mnt/test</div></div><div><br></div><div><div>[root@gluster1 ~]# gluster volume create data replica 3 transport rdma gluster1-ib:/zp1/data vmh2-ib:/zp1/data vmh3-ib:/zp1/data force</div><div>volume create: data: success: please start the volume to access data</div><div>[root@gluster1 ~]#</div><div>[root@gluster1 ~]# gluster volume start data</div><div>volume start: data: success</div><div>[root@gluster1 ~]#</div><div>[root@gluster1 ~]# gluster volume info data</div><div><br></div><div>Volume Name: data</div><div>Type: Replicate</div><div>Volume ID: 6f32999c-2d20-4fc2-838b-82972171df7e</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1 x 3 = 3</div><div>Transport-type: rdma</div><div>Bricks:</div><div>Brick1: gluster1-ib:/zp1/data</div><div>Brick2: gluster2-ib:/zp1/data</div><div>Brick3: gluster3-ib:/zp1/data</div><div>Options Reconfigured:</div><div>nfs.disable: on</div><div>performance.client-io-threads: off</div><div>[root@gluster1 ~]#</div><div>[root@gluster1 ~]# mount -t glusterfs -o transport=rdma gluster1:/data /mnt/data</div><div>Mount failed. Please check the log file for more details.</div><div>[root@gluster1 ~]#</div><div>[root@gluster1 ~]# gluster volume info data</div><div>Connection failed. Please check if gluster daemon is operational.</div><div>[root@gluster1 ~]#</div><div>[root@gluster1 ~]# tail -n 30 /var/log/messages|grep glusterd</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: [2018-11-10 16:18:07.457818] C [MSGID: 103021] [rdma.c:3263:gf_rdma_create_qp] 0-rdma.management: rdma.management: could not create QP [Permission denied]</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: pending frames:</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: patchset: git://<a href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a></div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: signal received: 11</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: time of crash:</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: 2018-11-10 16:18:07</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: configuration details:</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: argp 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: backtrace 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: dlfcn 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: libpthread 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: llistxattr 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: setfsid 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: spinlock 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: epoll.h 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: xattr.h 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: st_atim.tv_nsec 1</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: package-string: glusterfs 3.12.15</div><div>Nov 10 11:18:07 gluster1 glusterd[1881]: ---------</div></div><div><br></div></div></div></div></div>