<div dir="ltr"><div dir="ltr"><div dir="ltr">Hey Everyone, </div><div dir="ltr"><br></div><div dir="ltr">I have a 3 node GlusterFS cluster that uses NVMe hot tier and a HDD cold tier. </div><div>I recently ran into some problems when the hot tier became full with df-h showing 100%.</div><div><br></div><div>I did not have a watermark-hi set, but it is my understanding that 90% is the default. In an attempt to get the cluster to demote some files, I set cluster.watermark-hi: 80 but it is still not demoting. </div><div dir="ltr"><br></div><div dir="ltr"><br><div><div>[root@Glus1 ~]# gluster volume info</div><div><br></div><div>Volume Name: FFPrimary</div><div>Type: Tier</div><div>Volume ID: 466ec53c-d1ef-4ebc-8414-d7d070dfe61e</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 9</div><div>Transport-type: tcp</div><div>Hot Tier :</div><div>Hot Tier Type : Replicate</div><div>Number of Bricks: 1 x 3 = 3</div><div>Brick1: Glus3:/data/glusterfs/FFPrimary/brick3</div><div>Brick2: Glus2:/data/glusterfs/FFPrimary/brick2</div><div>Brick3: Glus1:/data/glusterfs/FFPrimary/brick1</div><div>Cold Tier:</div><div>Cold Tier Type : Distributed-Replicate</div><div>Number of Bricks: 2 x 3 = 6</div><div>Brick4: Glus1:/data/glusterfs/FFPrimary/brick5</div><div>Brick5: Glus2:/data/glusterfs/FFPrimary/brick6</div><div>Brick6: Glus3:/data/glusterfs/FFPrimary/brick7</div><div>Brick7: Glus1:/data/glusterfs/FFPrimary/brick8</div><div>Brick8: Glus2:/data/glusterfs/FFPrimary/brick9</div><div>Brick9: Glus3:/data/glusterfs/FFPrimary/brick10</div><div>Options Reconfigured:</div><div>cluster.tier-promote-frequency: 120</div><div>cluster.tier-demote-frequency: 1800</div><div>cluster.watermark-low: 60</div><div>cluster.watermark-hi: 80</div><div>performance.flush-behind: on</div><div>performance.cache-max-file-size: 128MB</div><div>performance.cache-size: 25GB</div><div>diagnostics.count-fop-hits: off<br></div><div>diagnostics.latency-measurement: off</div><div>cluster.tier-mode: cache</div><div>features.ctr-enabled: on</div><div>transport.address-family: inet</div><div>nfs.disable: on</div><div>performance.client-io-threads: off</div></div><div><div>[root@Glus1 ~]# gluster volume tier FFPrimary status</div><div>Node                 Promoted files       Demoted files        Status               run time in h:m:s</div><div>---------            ---------            ---------            ---------            ---------</div><div>localhost            49                   0                    in progress          5151:30:45</div><div>Glus2 0                    0                    in progress          5151:30:45</div><div>Glus3 0                    2075                 in progress          5151:30:47</div><div>Tiering Migration Functionality: FFPrimary: success</div><div>[root@Glus1 ~]#</div></div><div><br></div><div>What can cause GlusterFS to stop demoting files and allow it to completely fill the Hot Tier?</div><div><br></div><div>Thank you!</div><div><br></div><div><br></div><div><br></div></div></div></div>