Do you see any issues in the logs ?<div id="yMail_cursorElementTracker_1630992507454"><br></div><div id="yMail_cursorElementTracker_1630992507595">Is it only with Ganesha ?</div><div id="yMail_cursorElementTracker_1630992517852"><br></div><div id="yMail_cursorElementTracker_1630992518076">Best Regards,</div><div id="yMail_cursorElementTracker_1630992522438">Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Mon, Sep 6, 2021 at 21:37, John Cholewa</div><div><jcholewa@gmail.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">My distributed volume had an issue on Friday which required a reboot<br></div><div dir="ltr">of the primary node. After this, I'm having a strange issue: When I<br></div><div dir="ltr">have the volume mounted via ganesha-nfs, using either the primary node<br></div><div dir="ltr">itself or a random workstation on the network, I'm seeing files from<br></div><div dir="ltr">both volumes, but I'm not seeing any directories at all. It's just a<br></div><div dir="ltr">listing of the files. But I *can* list the contents of a directory if<br></div><div dir="ltr">I know it exists. Similarly, that will show the files (in both nodes)<br></div><div dir="ltr">of that directory, but it will show no subdirectories. Example:<br></div><div dir="ltr"><br></div><div dir="ltr">$ ls -F /mnt<br></div><div dir="ltr">flintstone/<br></div><div dir="ltr"><br></div><div dir="ltr">$ ls -F /mnt/flintstone<br></div><div dir="ltr">test test1 test2 test3<br></div><div dir="ltr"><br></div><div dir="ltr">$ ls -F /mnt/flintstone/wilma<br></div><div dir="ltr">file1 file2 file3<br></div><div dir="ltr"><br></div><div dir="ltr">I've tried restarting glusterd on both nodes and rebooting the other<br></div><div dir="ltr">node as well. Mount options in fstab are defaults,_netdev,nofail. I<br></div><div dir="ltr">tried temporarily disabling the firewall in case that was a<br></div><div dir="ltr">contributing factor.<br></div><div dir="ltr"><br></div><div dir="ltr">This has been working pretty well for over two years, and it's<br></div><div dir="ltr">survived system updates and reboots on the nodes, and there hasn't<br></div><div dir="ltr">been a recent software update that would have triggered this. The data<br></div><div dir="ltr">itself appears to be fine. 'gluster peer status' on each node shows<br></div><div dir="ltr">that the other is connected.<br></div><div dir="ltr"><br></div><div dir="ltr">What's a good way to further troubleshoot this or to tell gluster to<br></div><div dir="ltr">figure itself out?  Would "gluster volume reset"  bring the<br></div><div dir="ltr">configuration to its original state without damaging the data in the<br></div><div dir="ltr">bricks?  Is there something I should look out for in the logs that<br></div><div dir="ltr">might give a clue?<br></div><div dir="ltr"><br></div><div dir="ltr">Outputs:<br></div><div dir="ltr"><br></div><div dir="ltr"># lsb_release -a<br></div><div dir="ltr">No LSB modules are available.<br></div><div dir="ltr">Distributor ID: Ubuntu<br></div><div dir="ltr">Description:    Ubuntu 18.04.4 LTS<br></div><div dir="ltr">Release:        18.04<br></div><div dir="ltr">Codename:       bionic<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"># gluster --version<br></div><div dir="ltr">glusterfs 7.5<br></div><div dir="ltr">Repository revision: git://git.gluster.org/glusterfs.git<br></div><div dir="ltr">Copyright (c) 2006-2016 Red Hat, Inc. <<a href="https://www.gluster.org/" target="_blank">https://www.gluster.org/</a>><br></div><div dir="ltr">GlusterFS comes with ABSOLUTELY NO WARRANTY.<br></div><div dir="ltr">It is licensed to you under your choice of the GNU Lesser<br></div><div dir="ltr">General Public License, version 3 or any later version (LGPLv3<br></div><div dir="ltr">or later), or the GNU General Public License, version 2 (GPLv2),<br></div><div dir="ltr">in all cases as published by the Free Software Foundation.<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"># gluster volume status<br></div><div dir="ltr">Status of volume: gv0<br></div><div dir="ltr">Gluster process                             TCP Port  RDMA Port  Online  Pid<br></div><div dir="ltr">------------------------------------------------------------------------------<br></div><div dir="ltr">Brick yuzz:/gfs/brick1/gv0                  N/A       N/A        Y       2909<br></div><div dir="ltr">Brick wum:/gfs/brick1/gv0                   49152     0          Y       2885<br></div><div dir="ltr"><br></div><div dir="ltr">Task Status of Volume gv0<br></div><div dir="ltr">------------------------------------------------------------------------------<br></div><div dir="ltr">There are no active volume tasks<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"># gluster volume info<br></div><div dir="ltr">Volume Name: gv0<br></div><div dir="ltr">Type: Distribute<br></div><div dir="ltr">Volume ID: dcfdeed9-8fe9-4047-b18a-1a908f003d7f<br></div><div dir="ltr">Status: Started<br></div><div dir="ltr">Snapshot Count: 0<br></div><div dir="ltr">Number of Bricks: 2<br></div><div dir="ltr">Transport-type: tcp<br></div><div dir="ltr">Bricks:<br></div><div dir="ltr">Brick1: yuzz:/gfs/brick1/gv0<br></div><div dir="ltr">Brick2: wum:/gfs/brick1/gv0<br></div><div dir="ltr">Options Reconfigured:<br></div><div dir="ltr">nfs.disable: on<br></div><div dir="ltr">transport.address-family: inet<br></div><div dir="ltr">features.cache-invalidation: on<br></div><div dir="ltr">cluster.readdir-optimize: off<br></div><div dir="ltr">performance.parallel-readdir: off<br></div><div dir="ltr">performance.cache-size: 8GB<br></div><div dir="ltr">network.inode-lru-limit: 1000000<br></div><div dir="ltr">performance.nfs.stat-prefetch: off<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"># gluster pool list<br></div><div dir="ltr">UUID                                    Hostname        State<br></div><div dir="ltr">4b84240e-e73a-46da-9271-72f6001a8e18    wum             Connected<br></div><div dir="ltr">7de76707-cd99-4916-9c6b-ac6f26bda373    localhost       Connected<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Output of gluster get-state:<br></div><div dir="ltr">>>>>><br></div><div dir="ltr">[Global]<br></div><div dir="ltr">MYUUID: 7de76707-cd99-4916-9c6b-ac6f26bda373<br></div><div dir="ltr">op-version: 31302<br></div><div dir="ltr"><br></div><div dir="ltr">[Global options]<br></div><div dir="ltr"><br></div><div dir="ltr">[Peers]<br></div><div dir="ltr">Peer1.primary_hostname: wum<br></div><div dir="ltr">Peer1.uuid: 4b84240e-e73a-46da-9271-72f6001a8e18<br></div><div dir="ltr">Peer1.state: Peer in Cluster<br></div><div dir="ltr">Peer1.connected: Connected<br></div><div dir="ltr">Peer1.othernames:<br></div><div dir="ltr"><br></div><div dir="ltr">[Volumes]<br></div><div dir="ltr">Volume1.name: gv0<br></div><div dir="ltr">Volume1.id: dcfdeed9-8fe9-4047-b18a-1a908f003d7f<br></div><div dir="ltr">Volume1.type: Distribute<br></div><div dir="ltr">Volume1.transport_type: tcp<br></div><div dir="ltr">Volume1.status: Started<br></div><div dir="ltr">Volume1.brickcount: 2<br></div><div dir="ltr">Volume1.Brick1.path: yuzz:/gfs/brick1/gv0<br></div><div dir="ltr">Volume1.Brick1.hostname: yuzz<br></div><div dir="ltr">Volume1.Brick1.port: 0<br></div><div dir="ltr">Volume1.Brick1.rdma_port: 0<br></div><div dir="ltr">Volume1.Brick1.status: Started<br></div><div dir="ltr">Volume1.Brick1.spacefree: 72715274395648Bytes<br></div><div dir="ltr">Volume1.Brick1.spacetotal: 196003244277760Bytes<br></div><div dir="ltr">Volume1.Brick2.path: wum:/gfs/brick1/gv0<br></div><div dir="ltr">Volume1.Brick2.hostname: wum<br></div><div dir="ltr">Volume1.snap_count: 0<br></div><div dir="ltr">Volume1.stripe_count: 1<br></div><div dir="ltr">Volume1.replica_count: 1<br></div><div dir="ltr">Volume1.subvol_count: 2<br></div><div dir="ltr">Volume1.arbiter_count: 0<br></div><div dir="ltr">Volume1.disperse_count: 0<br></div><div dir="ltr">Volume1.redundancy_count: 0<br></div><div dir="ltr">Volume1.quorum_status: not_applicable<br></div><div dir="ltr">Volume1.snapd_svc.online_status: Offline<br></div><div dir="ltr">Volume1.snapd_svc.inited: True<br></div><div dir="ltr">Volume1.rebalance.id: 00000000-0000-0000-0000-000000000000<br></div><div dir="ltr">Volume1.rebalance.status: not_started<br></div><div dir="ltr">Volume1.rebalance.failures: 0<br></div><div dir="ltr">Volume1.rebalance.skipped: 0<br></div><div dir="ltr">Volume1.rebalance.lookedup: 0<br></div><div dir="ltr">Volume1.rebalance.files: 0<br></div><div dir="ltr">Volume1.rebalance.data: 0Bytes<br></div><div dir="ltr">Volume1.time_left: 0<br></div><div dir="ltr">Volume1.gsync_count: 0<br></div><div dir="ltr">Volume1.options.nfs.disable: on<br></div><div dir="ltr">Volume1.options.transport.address-family: inet<br></div><div dir="ltr">Volume1.options.features.cache-invalidation: on<br></div><div dir="ltr">Volume1.options.cluster.readdir-optimize: off<br></div><div dir="ltr">Volume1.options.performance.parallel-readdir: off<br></div><div dir="ltr">Volume1.options.performance.cache-size: 8GB<br></div><div dir="ltr">Volume1.options.network.inode-lru-limit: 1000000<br></div><div dir="ltr">Volume1.options.performance.nfs.stat-prefetch: off<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">[Services]<br></div><div dir="ltr">svc1.name: glustershd<br></div><div dir="ltr">svc1.online_status: Offline<br></div><div dir="ltr"><br></div><div dir="ltr">svc2.name: nfs<br></div><div dir="ltr">svc2.online_status: Offline<br></div><div dir="ltr"><br></div><div dir="ltr">svc3.name: bitd<br></div><div dir="ltr">svc3.online_status: Offline<br></div><div dir="ltr"><br></div><div dir="ltr">svc4.name: scrub<br></div><div dir="ltr">svc4.online_status: Offline<br></div><div dir="ltr"><br></div><div dir="ltr">svc5.name: quotad<br></div><div dir="ltr">svc5.online_status: Offline<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">[Misc]<br></div><div dir="ltr">Base port: 49152<br></div><div dir="ltr">Last allocated port: 49152<br></div><div dir="ltr"><<<<<<br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div>