Can you share the following:<div id="yMail_cursorElementTracker_1630069359483">gluster and OS version (not clients)</div><div id="yMail_cursorElementTracker_1630069370355">Volume options</div><div id="yMail_cursorElementTracker_1630069376703">How did you setup the Ganesha</div><div id="yMail_cursorElementTracker_1630069389478">SELINUX status </div><div id="yMail_cursorElementTracker_1630069396894"><br></div><div id="yMail_cursorElementTracker_1630069397699">It's actually not supposed to behave like that.</div><div id="yMail_cursorElementTracker_1630069419426">Despite gNFS is deprecated, the code is still there, so you can recompile it yourself and later repackage it as per the Documentation.This can be your last resort and to be honest I know at least several users that still use it.</div><div id="yMail_cursorElementTracker_1630069462702"><br></div><div id="yMail_cursorElementTracker_1630069462925"><br></div><div id="yMail_cursorElementTracker_1630069463139">Best Regards,</div><div id="yMail_cursorElementTracker_1630069466770">Strahil Nikolov</div><div id="yMail_cursorElementTracker_1630069455005"><br><div id="ymail_android_signature"><a id="ymail_android_signature_link" href="https://go.onelink.me/107872968?pid=InProduct&c=Global_Internal_YGrowth_AndroidEmailSig__AndroidUsers&af_wl=ym&af_sub1=Internal&af_sub2=Global_YGrowth&af_sub3=EmailSignature">Sent from Yahoo Mail on Android</a></div> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Thu, Aug 26, 2021 at 20:00, Ivan Rossi</div><div><rouge2507@gmail.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div id="yiv3776191208"><div dir="ltr">Hello list,<br><br>Ganesha (but not Gluster) newbie here.<br>This is the first time I have to set-up Ganesha to serve a Gluster volume, but<br>it seems i stumbled on a weird issue. Hope it is due to my inexperience with<br>Ganesha.<br><br>I need to serve a Gluster volume to some old production VMs that cannot install<br>a recent Gluster client. Thus they need to access the Gluster data using the<br>standard Linux NFS client. Since native Gluster NFS server is gone, I had to go<br>the Ganesha route.<br><br>Volume served is used for bioinformatics analysis, each subdirectory containing<br>on the order of a thousand files, a few of them large (think 50 Gb each)<br><br>Now the issue:<br><br>When the volume is mounted on the client (using <b>NFSv3</b>) directory reads<br>SOMETIMES return an INCOMPLETE list of files. Problem goes away if you redo the<br>read in a different way as if the first directory metadata read did not<br>complete successfully but it is then cached anyway.<br><br>Problem does not manifests if there are few files in the directory or they are all small (think < 1 GB)<br><br>Direct access to the files is OK eve if they did not show up in the ls. E.g. :<br><br>mount -t nfs ganesha:/srv/glfs/work /mnt/<br>ls /mnt/47194616IMS187mm10 | wc -l<br># wrong result<br>ls: reading directory /mnt/47194616IMS187mm10: Input/output error<br>304<br><br># right ( NB ls-l returns one line more than plain ls)<br>ls -l /mnt/47194616IMS187mm10 | wc -l<br>668<br><br># after 'ls -l' now even plain ls returns the expected number of files<br><br>ls /mnt/47194616IMS187mm10 | wc -l<br>667<br><br>Furthermore i see the Input/output message only because of the pip to wc, if i<br>just run plain ls, in a terminal it fails silently returning a partial list.<br><br>If the client mounts the volume using <b>NFSv4</b> everything looks as expected.<br><br>mount -t nfs -o vers=4.0 ganesha:/work /mnt/<br>ls /mnt/47194616IMS187mm10 | wc -l<br>667<br><br>but as you can guess my confidence in using Ganesha in production is somewhat<br>shaking ATM.<br><br>My feeling is that it is a Ganesha problem or something lacking in the Ganesha<br>configuration for Gluster. My Ganesha configuration is basically just defaults.  <div>No failover conf either.<div><br></div><div>My Gluster setup has nothing strange, I am just serving a R3 volume and<br>defaults are just fine to get a fast volume given the hardware. Furthermore the<br>volume looks fine from the Gluster clients.<br><br>I am using Gluster 8.4 and Ganesha 3.4 on Debian 10 (buster). Packages coming<br>from the Gluster and Ganesha repos, not the debian one.<br><br>Has anyone seen anything similar before?<br>Did I stumble on a bug?<br>Any advice or common wisdom to share?<br><br>Ivan Rossi<br></div></div><div><br></div><div><br></div><div><br></div></div>
</div>________<br><br><br><br>Community Meeting Calendar:<br><br>Schedule -<br>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>Gluster-users mailing list<br><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br> </div> </blockquote></div>