<div dir="ltr"><span id="m_-8688277350978558537gmail-docs-internal-guid-a486bb90-7fff-6dfc-2c04-017ed7510ebd"><p style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span style="font-size:11pt;font-family:Arial;color:rgb(0,0,0);background-color:transparent;font-variant-numeric:normal;font-variant-east-asian:normal;vertical-align:baseline;white-space:pre-wrap">I found a solution after making a discovery. I logged into the brick with the worst file count discrepancy - odroid4 - and killed the gluster daemon there. All file counts across all clients then matched. So I started the daemon and ran this command to try to fix it up:</span></p><p style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span style="font-size:11pt;font-family:Arial;color:rgb(0,0,0);background-color:transparent;font-variant-numeric:normal;font-variant-east-asian:normal;vertical-align:baseline;white-space:pre-wrap"><br></span></p><p style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span style="font-size:11pt;font-family:Arial;color:rgb(0,0,0);background-color:transparent;font-variant-numeric:normal;font-variant-east-asian:normal;vertical-align:baseline;white-space:pre-wrap">gluster volume replace-brick gvol0 odroid4:/srv/gfs-brick/gvol0 odroid4:/srv/gfs-brick/gvol0_2 commit force<br></span></p><p style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span style="font-size:11pt;font-family:Arial;color:rgb(0,0,0);background-color:transparent;font-variant-numeric:normal;font-variant-east-asian:normal;vertical-align:baseline;white-space:pre-wrap"><br></span></p><p style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><font color="#000000" face="Arial"><span style="font-size:14.6667px;white-space:pre-wrap">...and that fixed it. It&#39;s disconcerting that it&#39;s possible for Gluster to merrily hum along without any problems showing up in the various status summaries yet show vastly different directory listings to different clients. Is this a known problem or shall I open a bug report? Are there any particular error logs I should monitor to be alerted to this bad state?<br></span></font></p></span></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 29, 2020 at 8:39 PM James H &lt;<a href="mailto:stormdig@gmail.com" target="_blank">stormdig@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi folks, I&#39;m struggling to find a solution to missing files on FUSE mounts. Which files are missing is different on different clients. I can stat or ls the missing files directly when called by filename but listing directories won&#39;t show them.</div><div><br></div><div>So far I&#39;ve:</div><div><ul><li>verified heal info shows no files in need of healing and no split brain condition</li><li>verified the same number of clients are connected to each brick </li><li>verified the file counts on the bricks match</li><li>upgraded Gluster server and clients from 3.x to 6.x and 7.x</li><li>run a stat on all files</li><li>run a heal full</li><li>rebooted / remounted FUSE clients</li></ul></div><div>File count from running a &#39;find&#39; command on FUSE mounts on the bricks themselves. These counts should all be the same:</div><b>38823 </b>fuse-odroid1-share2<div><b>38823 </b>fuse-odroid2-share2</div><div><b>60962 </b>fuse-odroid3-share2</div><div><b>7202 </b>fuse-odroid4-share2</div><div><br></div><div>...and a FUSE mount on a seperate server:</div><div><b>38823 </b>fuse-phn2dsm-share2  </div><div><br></div><div>File count from running a &#39;find&#39; command on brick directories themselves::  <br></div><div><b>43382 </b>brick-odroid1-share2<br></div><div><b>43382 </b>brick-odroid2-share2<br></div><div><b>43382 </b>brick-arbiter-odroid3-share2<br></div><div><b>23075 </b>brick-odroid3-share2<br></div><div><b>23075 </b>brick-odroid4-share2<br></div><div><b>23075 </b>brick-arbiter-odroid2-share2</div><div><br></div><div>Here&#39;s some info about the setup:</div><div><br></div><div><b># gluster --version | head -1; cat /etc/lsb-release; uname -r</b><br>glusterfs 7.8<br>DISTRIB_ID=Ubuntu<br>DISTRIB_RELEASE=18.04<br>DISTRIB_CODENAME=bionic<br>DISTRIB_DESCRIPTION=&quot;Ubuntu 18.04.3 LTS&quot;<br>4.14.157-171<br><div><br></div><div><b># gluster volume info</b></div><div>Volume Name: gvol0<br>Type: Distributed-Replicate<br>Volume ID: 57e3a085-5fb7-417d-a71a-fed5cd0ae2d9<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 2 x (2 + 1) = 6<br>Transport-type: tcp<br>Bricks:<br>Brick1: odroid1:/srv/gfs-brick/gvol0<br>Brick2: odroid2:/srv/gfs-brick/gvol0<br>Brick3: odroid3:/srv/gfs-brick/gvol0-arbiter2 (arbiter)<br>Brick4: odroid3:/srv/gfs-brick/gvol0_2<br>Brick5: odroid4:/srv/gfs-brick/gvol0<br>Brick6: odroid2:/srv/gfs-brick/gvol0-arbiter2 (arbiter)<br>Options Reconfigured:<br>cluster.self-heal-daemon: enable<br>performance.readdir-ahead: yes<br>performance.cache-invalidation: on<br>performance.stat-prefetch: on<br>performance.quick-read: on<br>cluster.shd-max-threads: 4<br>performance.parallel-readdir: on<br>cluster.server-quorum-type: server<br>server.event-threads: 4<br>client.event-threads: 4<br>performance.nl-cache-timeout: 600<br>performance.nl-cache: on<br>network.inode-lru-limit: 200000<br>performance.md-cache-timeout: 600<br>performance.cache-samba-metadata: on<br>features.cache-invalidation-timeout: 600<br>features.cache-invalidation: on<br>storage.fips-mode-rchecksum: on<br>performance.client-io-threads: off<br>nfs.disable: on<br>transport.address-family: inet<br>features.bitrot: on<br>features.scrub: Active<br>features.scrub-throttle: lazy<br>features.scrub-freq: daily<br>cluster.min-free-disk: 10%<br></div></div><div><br></div><div><b># gluster volume status gvol0 detail</b><br>Status of volume: gvol0<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid1:/srv/gfs-brick/gvol0<br>TCP Port             : 49152<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 702<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 983.4GB<br>Total Disk Space     : 5.5TB<br>Inode Count          : 586052224<br>Free Inodes          : 585835873<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid2:/srv/gfs-brick/gvol0<br>TCP Port             : 49152<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 30206<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 983.3GB<br>Total Disk Space     : 5.5TB<br>Inode Count          : 586052224<br>Free Inodes          : 585711242<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid3:/srv/gfs-brick/gvol0-arbiter2<br>TCP Port             : 49152<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 32449<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 1.4TB<br>Total Disk Space     : 2.7TB<br>Inode Count          : 293026624<br>Free Inodes          : 292378835<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid3:/srv/gfs-brick/gvol0_2<br>TCP Port             : 49153<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 32474<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 1.4TB<br>Total Disk Space     : 2.7TB<br>Inode Count          : 293026624<br>Free Inodes          : 292378835<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid4:/srv/gfs-brick/gvol0<br>TCP Port             : 49152<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 23138<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 1.4TB<br>Total Disk Space     : 2.7TB<br>Inode Count          : 293026624<br>Free Inodes          : 292891910<br>------------------------------------------------------------------------------<br>Brick                : Brick odroid2:/srv/gfs-brick/gvol0-arbiter2<br>TCP Port             : 49153<br>RDMA Port            : 0<br>Online               : Y<br>Pid                  : 30231<br>File System          : xfs<br>Device               : /dev/sda<br>Mount Options        : rw,noatime,nouuid,attr2,inode64,sunit=256,swidth=2560,noquota<br>Inode Size           : 512<br>Disk Space Free      : 983.3GB<br>Total Disk Space     : 5.5TB<br>Inode Count          : 586052224<br>Free Inodes          : 585711242<br></div></div>
</blockquote></div>