Hey Erik,<div><br></div><div>Can you provide a short comparison of the difference between Ganesha and Gluster-NFS for the same workload (if possible a job execution with the same data) ?</div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Tue, Feb 22, 2022 at 20:35, Erik Jacobson</div><div><erik.jacobson@hpe.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> We have hacked around these errors, produced in glusterfs79 and<br>glusterfs93 when an NFS client mounts or unmounts. On one of the<br>installed superocmputers, one of gluster server nfs.log files as over 1GB.<br><br>    [2022-02-21 22:39:32.803070 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 172.23.0.5:60126 failed (No data available)<br>    [2022-02-21 22:39:32.806102 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 172.23.0.5:919 failed (No data available)<br>    [2022-02-21 22:39:32.863435 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 172.23.0.5:60132 failed (No data available)<br>    [2022-02-21 22:39:32.864202 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 172.23.0.5:673 failed (No data available)<br>    [2022-02-21 22:39:32.934893 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 172.23.0.5:857 failed (No data available)<br>    [2022-02-21 22:39:48.744882 +0000] W [socket.c:767:__socket_rwv] 0-socket.nfs-server: readv on 127.0.0.1:949 failed (No data available)<br><br>We hacked around this with the following patch, which is not a patch for<br>inclusion but illustrates the issue. Since we are not experts in gluster<br>code, we isolated it to the nfs-server use of socket.c. We understand<br>that is likely not appropriate convention for a released patch.<br><br><br>diff -Narup glusterfs-9.3-orig/rpc/rpc-transport/socket/src/socket.c glusterfs-9.3/rpc/rpc-transport/socket/src/socket.c<br>--- glusterfs-9.3-orig/rpc/rpc-transport/socket/src/socket.c    2021-06-29 00:27:44.382408295 -0500<br>+++ glusterfs-9.3/rpc/rpc-transport/socket/src/socket.c    2022-02-21 20:23:41.101667807 -0600<br>@@ -733,6 +733,15 @@ __socket_rwv(rpc_transport_t *this, stru<br>         } else {<br>             ret = __socket_cached_read(this, opvector, opcount);<br>             if (ret == 0) {<br>+                if(strcmp(this->name,"nfs-server")) {<br>+                   /* nfs mount, unmount can produce ENODATA */<br>+                   gf_log(this->name, GF_LOG_DEBUG,<br>+                         "HPE - EOF from peer %s, since NFS, return ENOTCONN",<br>+                         this->peerinfo.identifier);<br>+                   opcount = -1;<br>+                   errno = ENOTCONN;<br>+                   break;<br>+                }<br>                 gf_log(this->name, GF_LOG_DEBUG,<br>                        "EOF on socket %d (errno:%d:%s); returning ENODATA",<br>                        sock, errno, strerror(errno));<br><br><br><br><br>* We understand you want us to move to Ganesha NFS. I mentioned in my<br>other notes that we are unable to move due to problems with Ganesha when<br>serving the NFS root in sles15sp3 (it gets stuck with nscd when nscd<br>is opening passwd, group files). While sles15sp4 fixes that, Ganesha<br>seems to be 25-35% slower than Gluster NFS and that would possibly<br>require us to increase already installed systems to have more<br>gluster/ganesha servers just to service the software update. We hope we can<br>provide test cases to Ganesha community and see if we can help speed it up<br>for our workloads. In our next release, we have tooling in place to<br>support Ganesha as a tech preview, off by default. So it will be there<br>to experiment and compare the two in our installations.<br>-------<br><br>Community Meeting Calendar:<br>Schedule -<br>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br><br>Gluster-devel mailing list<br><a ymailto="mailto:Gluster-devel@gluster.org" href="mailto:Gluster-devel@gluster.org">Gluster-devel@gluster.org</a><br><a href="https://lists.gluster.org/mailman/listinfo/gluster-devel" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-devel</a><br><br> </div> </blockquote></div>