<div dir="ltr">Hello list,<br><br>Ganesha (but not Gluster) newbie here.<br>This is the first time I have to set-up Ganesha to serve a Gluster volume, but<br>it seems i stumbled on a weird issue. Hope it is due to my inexperience with<br>Ganesha.<br><br>I need to serve a Gluster volume to some old production VMs that cannot install<br>a recent Gluster client. Thus they need to access the Gluster data using the<br>standard Linux NFS client. Since native Gluster NFS server is gone, I had to go<br>the Ganesha route.<br><br>Volume served is used for bioinformatics analysis, each subdirectory containing<br>on the order of a thousand files, a few of them large (think 50 Gb each)<br><br>Now the issue:<br><br>When the volume is mounted on the client (using <b>NFSv3</b>) directory reads<br>SOMETIMES return an INCOMPLETE list of files. Problem goes away if you redo the<br>read in a different way as if the first directory metadata read did not<br>complete successfully but it is then cached anyway.<br><br>Problem does not manifests if there are few files in the directory or they are all small (think < 1 GB)<br><br>Direct access to the files is OK eve if they did not show up in the ls. E.g. :<br><br>mount -t nfs ganesha:/srv/glfs/work /mnt/<br>ls /mnt/47194616IMS187mm10 | wc -l<br># wrong result<br>ls: reading directory /mnt/47194616IMS187mm10: Input/output error<br>304<br><br># right ( NB ls-l returns one line more than plain ls)<br>ls -l /mnt/47194616IMS187mm10 | wc -l<br>668<br><br># after 'ls -l' now even plain ls returns the expected number of files<br><br>ls /mnt/47194616IMS187mm10 | wc -l<br>667<br><br>Furthermore i see the Input/output message only because of the pip to wc, if i<br>just run plain ls, in a terminal it fails silently returning a partial list.<br><br>If the client mounts the volume using <b>NFSv4</b> everything looks as expected.<br><br>mount -t nfs -o vers=4.0 ganesha:/work /mnt/<br>ls /mnt/47194616IMS187mm10 | wc -l<br>667<br><br>but as you can guess my confidence in using Ganesha in production is somewhat<br>shaking ATM.<br><br>My feeling is that it is a Ganesha problem or something lacking in the Ganesha<br>configuration for Gluster. My Ganesha configuration is basically just defaults.  <div>No failover conf either.<div><br></div><div>My Gluster setup has nothing strange, I am just serving a R3 volume and<br>defaults are just fine to get a fast volume given the hardware. Furthermore the<br>volume looks fine from the Gluster clients.<br><br>I am using Gluster 8.4 and Ganesha 3.4 on Debian 10 (buster). Packages coming<br>from the Gluster and Ganesha repos, not the debian one.<br><br>Has anyone seen anything similar before?<br>Did I stumble on a bug?<br>Any advice or common wisdom to share?<br><br>Ivan Rossi<br></div></div><div><br></div><div><br></div><div><br></div></div>