<div dir="ltr">Hello GlusterFS Community,<div><br>I am using GlusterFS version 9.3 on two Intel NUCs and a Raspberry PI as arbiter for a replicate volume. The whole thing serves me as distributed storage for a Proxmox cluster.<br><br><div>I use version 9.3, because I could not find a more recent ARM package for the RPI (= Debian 11).<br><br>The partions for the volume:<br><br>NUC1<br>nvme0n1                      259:0    0 465.8G  0 disk<br>└─vg_glusterfs-lv_glusterfs  253:18   0 465.8G  0 lvm  /data/glusterfs<br><br>NUC2<br>nvme0n1                      259:0    0 465.8G  0 disk<br>└─vg_glusterfs-lv_glusterfs  253:14   0 465.8G  0 lvm  /data/glusterfs<br><br>RPI<br>sda           8:0    1 29,8G  0 disk<br>└─sda1        8:1    1 29,8G  0 part /data/glusterfs<br><br><br>The volume was created with:<br><br>mkfs.xfs -f -i size=512 -n size=8192 -d su=128K,sw=10 -L GlusterFS /dev/vg_glusterfs/lv_glusterfs<br><br>gluster volume create glusterfs-1-volume transport tcp replica 3 arbiter 1 192.168.1.50:/data/glusterfs 192.168.1.51:/data/glusterfs 192.168.1.40:/data/glusterfs force<br><br><br>After a certain time it always comes to the state that there are not healable files in the GFS (in the example below: <gfid:26c5396c-86ff-408d-9cda-106acd2b0768>).<br><br>Currently I have the GlusterFS volume in test mode and only 1-2 VMs running on it. So far there are no negative effects. The replication and the selfheal basically work, only now and then something remains that cannot be healed.<br><br>Does anyone have an idea how to prevent or heal this? I have already completely rebuilt the volume incl. partitions and glusterd to exclude old loads.<br><br>If you need more information, please contact me.<br><br>Thanks a lot!<br><br><br>================<br><br>And here is some more info about the volume and the healing attempts:<br><br><br>>$ gstatus -ab<br>Cluster:<br>         Status: Healthy                 GlusterFS: 9.3<br>         Nodes: 3/3                      Volumes: 1/1<br><br>Volumes:<br><br>glusterfs-1-volume<br>                Replicate          Started (UP) - 3/3 Bricks Up  - (Arbiter Volume)<br>                                   Capacity: (1.82% used) 8.00 GiB/466.00 GiB (used/total)<br>                                   Self-Heal:<br>                                      192.168.1.50:/data/glusterfs (1 File(s) to heal).<br>                                   Bricks:<br>                                      Distribute Group 1:<br>                                         192.168.1.50:/data/glusterfs   (Online)<br>                                         192.168.1.51:/data/glusterfs   (Online)<br>                                         192.168.1.40:/data/glusterfs   (Online)<br>           <br><br><br>>$ gluster volume info<br>Volume Name: glusterfs-1-volume<br>Type: Replicate<br>Volume ID: f70d9b2c-b30d-4a36-b8ff-249c09c8b45d<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 1 x (2 + 1) = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: 192.168.1.50:/data/glusterfs<br>Brick2: 192.168.1.51:/data/glusterfs<br>Brick3: 192.168.1.40:/data/glusterfs (arbiter)<br>Options Reconfigured:<br>cluster.lookup-optimize: off<br>server.keepalive-count: 5<br>server.keepalive-interval: 2<br>server.keepalive-time: 10<br>server.tcp-user-timeout: 20<br>network.ping-timeout: 20<br>server.event-threads: 4<br>client.event-threads: 4<br>cluster.choose-local: off<br>user.cifs: off<br>features.shard: on<br>cluster.shd-wait-qlength: 10000<br>cluster.shd-max-threads: 8<br>cluster.locking-scheme: granular<br>cluster.data-self-heal-algorithm: full<br>cluster.server-quorum-type: server<br>cluster.quorum-type: auto<br>cluster.eager-lock: enable<br>performance.strict-o-direct: on<br>network.remote-dio: disable<br>performance.low-prio-threads: 32<br>performance.io-cache: off<br>performance.read-ahead: off<br>performance.quick-read: off<br>cluster.granular-entry-heal: on<br>storage.fips-mode-rchecksum: on<br>transport.address-family: inet<br>nfs.disable: on<br>performance.client-io-threads: on<br><br><br><br>>$ gluster volume heal glusterfs-1-volume<br>Launching heal operation to perform index self heal on volume glusterfs-1-volume has been successful<br>Use heal info commands to check status.<br><br><br><br>>$ gluster volume heal glusterfs-1-volume info<br>Brick 192.168.1.50:/data/glusterfs<br><gfid:26c5396c-86ff-408d-9cda-106acd2b0768><br>Status: Connected<br>Number of entries: 1<br><br>Brick 192.168.1.51:/data/glusterfs<br>Status: Connected<br>Number of entries: 0<br><br>Brick 192.168.1.40:/data/glusterfs<br>Status: Connected<br>Number of entries: 0<br><br><br><br>>$ gluster volume heal glusterfs-1-volume info split-brain<br>Brick 192.168.1.50:/data/glusterfs<br>Status: Connected<br>Number of entries in split-brain: 0<br><br>Brick 192.168.1.51:/data/glusterfs<br>Status: Connected<br>Number of entries in split-brain: 0<br><br>Brick 192.168.1.40:/data/glusterfs<br>Status: Connected<br>Number of entries in split-brain: 0</div></div></div>