<div dir="ltr"><span style="font-size:12.8px">All,</span><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">I am new to gluster and have some questions/concerns about some tiering errors that I see in the log files.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">OS: CentOs 7.3.1611</div><div style="font-size:12.8px">Gluster version: 3.10.5</div><div style="font-size:12.8px">Samba version: 4.6.2</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">I see the following (scrubbed):</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Node 1 /var/log/glusterfs/tier/&lt;vol&gt;/<wbr>tierd.log:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>[2017-10-19 17:52:07.519614] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:edaf97e1-02e0-<wbr>4838-9d26-71ea3aab22fb)</div><div>[2017-10-19 17:52:07.525110] E [MSGID: 109011] [dht-common.c:7188:dht_create] 0-&lt;vol&gt;-hot-dht: no subvolume in layout for path=/path/to/&lt;file&gt;</div><div>[2017-10-19 17:52:07.526088] E [MSGID: 109023] [dht-rebalance.c:757:__dht_<wbr>rebalance_create_dst_file] 0-&lt;vol&gt;-tier-dht: failed to create &lt;file&gt; on &lt;vol&gt;-hot-dht [Input/output error]</div><div>[2017-10-19 17:52:07.526111] E [MSGID: 0] [dht-rebalance.c:1696:dht_<wbr>migrate_file] 0-&lt;vol&gt;-tier-dht: Create dst failed on - &lt;vol&gt;-hot-dht for file - &lt;file&gt;</div><div>[2017-10-19 17:52:07.527214] E [MSGID: 109037] [tier.c:969:tier_migrate_link] 0-&lt;vol&gt;-tier-dht: Failed to migrate &lt;file&gt;  [No space left on device]</div><div>[2017-10-19 17:52:07.527244] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:fb4411c4-a387-<wbr>4e5f-a2b7-897633ef4aa8)</div><div>[2017-10-19 17:52:07.533510] E [MSGID: 109011] [dht-common.c:7188:dht_create] 0-&lt;vol&gt;-hot-dht: no subvolume in layout for path=/path/to/&lt;file&gt;</div><div>[2017-10-19 17:52:07.534434] E [MSGID: 109023] [dht-rebalance.c:757:__dht_<wbr>rebalance_create_dst_file] 0-&lt;vol&gt;-tier-dht: failed to create &lt;file&gt; on &lt;vol&gt;-hot-dht [Input/output error]</div><div>[2017-10-19 17:52:07.534453] E [MSGID: 0] [dht-rebalance.c:1696:dht_<wbr>migrate_file] 0-&lt;vol&gt;-tier-dht: Create dst failed on - &lt;vol&gt;-hot-dht for file - &lt;file&gt;</div><div>[2017-10-19 17:52:07.535570] E [MSGID: 109037] [tier.c:969:tier_migrate_link] 0-&lt;vol&gt;-tier-dht: Failed to migrate &lt;file&gt;  [No space left on device]</div><div>[2017-10-19 17:52:07.535594] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:fba421e7-0500-<wbr>47c4-bf67-10a40690e13d)</div><div>[2017-10-19 17:52:07.541363] E [MSGID: 109011] [dht-common.c:7188:dht_create] 0-&lt;vol&gt;-hot-dht: no subvolume in layout for path=/path/to/&lt;file&gt;</div><div>[2017-10-19 17:52:07.542296] E [MSGID: 109023] [dht-rebalance.c:757:__dht_<wbr>rebalance_create_dst_file] 0-&lt;vol&gt;-tier-dht: failed to create &lt;file&gt; on &lt;vol&gt;-hot-dht [Input/output error]</div><div>[2017-10-19 17:52:07.542357] E [MSGID: 0] [dht-rebalance.c:1696:dht_<wbr>migrate_file] 0-&lt;vol&gt;-tier-dht: Create dst failed on - &lt;vol&gt;-hot-dht for file - &lt;file&gt;</div><div>[2017-10-19 17:52:07.543480] E [MSGID: 109037] [tier.c:969:tier_migrate_link] 0-&lt;vol&gt;-tier-dht: Failed to migrate &lt;file&gt;  [No space left on device]</div><div>[2017-10-19 17:52:07.543521] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:fe6799e1-42e6-<wbr>43e5-a7eb-ac8facfcbc9f)</div><div>[2017-10-19 17:52:07.549959] E [MSGID: 109011] [dht-common.c:7188:dht_create] 0-&lt;vol&gt;-hot-dht: no subvolume in layout for path=/path/to/&lt;file&gt;</div><div>[2017-10-19 17:52:07.550901] E [MSGID: 109023] [dht-rebalance.c:757:__dht_<wbr>rebalance_create_dst_file] 0-&lt;vol&gt;-tier-dht: failed to create &lt;file&gt; on &lt;vol&gt;-hot-dht [Input/output error]</div><div>[2017-10-19 17:52:07.550922] E [MSGID: 0] [dht-rebalance.c:1696:dht_<wbr>migrate_file] 0-&lt;vol&gt;-tier-dht: Create dst failed on - &lt;vol&gt;-hot-dht for file - &lt;file&gt;</div><div>[2017-10-19 17:52:07.551896] E [MSGID: 109037] [tier.c:969:tier_migrate_link] 0-&lt;vol&gt;-tier-dht: Failed to migrate &lt;file&gt;  [No space left on device]</div><div>[2017-10-19 17:52:07.551917] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:ffe3a3f2-b170-<wbr>43f0-a9fb-97c78e3173eb)</div><div>[2017-10-19 17:52:07.551945] E [MSGID: 109037] [tier.c:2565:tier_run] 0-&lt;vol&gt;-tier-dht: Promotion failed</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Node 1 /var/log/samba/glusterfs-&lt;vol&gt;<wbr>-pool.log:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>[2017-10-18 17:13:41.481860] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-0: remote operation failed. Path: /pool/testing (7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994) [Invalid argument]</div><div>[2017-10-18 17:13:41.481860] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-1: remote operation failed. Path: /pool/testing (7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994) [Invalid argument]</div><div>[2017-10-18 17:13:41.485916] E [MSGID: 109089] [dht-helper.c:517:dht_check_<wbr>and_open_fd_on_subvol_task] 0-&lt;vol&gt;-tier-dht: Failed to open the fd (0x7f02bf1ff570, flags=00) on file 7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994 @ &lt;vol&gt;-cold-dht [Invalid argument]</div><div>[2017-10-18 17:13:41.488223] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-0: remote operation failed. Path: /pool/testing (7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994) [Invalid argument]</div><div>[2017-10-18 17:13:41.488235] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-1: remote operation failed. Path: /pool/testing (7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994) [Invalid argument]</div><div>[2017-10-18 17:13:41.489060] E [MSGID: 109089] [dht-helper.c:517:dht_check_<wbr>and_open_fd_on_subvol_task] 0-&lt;vol&gt;-tier-dht: Failed to open the fd (0x7f02bf1feb50, flags=00) on file 7d89b9a8-3e5d-4f28-9e57-<wbr>039fe4416994 @ &lt;vol&gt;-cold-dht [Invalid argument]</div><div>[2017-10-18 17:13:42.339936] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-4: remote operation failed. Path: /pool (34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b) [Invalid argument]</div><div>[2017-10-18 17:13:42.339988] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-5: remote operation failed. Path: /pool (34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b) [Invalid argument]</div><div>[2017-10-18 17:13:42.343769] E [MSGID: 109089] [dht-helper.c:517:dht_check_<wbr>and_open_fd_on_subvol_task] 0-&lt;vol&gt;-tier-dht: Failed to open the fd (0x7f02bf2012c0, flags=00) on file 34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b @ &lt;vol&gt;-hot-dht [Invalid argument]</div><div>[2017-10-18 17:13:42.345374] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-4: remote operation failed. Path: /pool (34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b) [Invalid argument]</div><div>[2017-10-18 17:13:42.345401] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-5: remote operation failed. Path: /pool (34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b) [Invalid argument]</div><div>[2017-10-18 17:13:42.346259] E [MSGID: 109089] [dht-helper.c:517:dht_check_<wbr>and_open_fd_on_subvol_task] 0-&lt;vol&gt;-tier-dht: Failed to open the fd (0x7f02bf201130, flags=00) on file 34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b @ &lt;vol&gt;-hot-dht [Invalid argument]</div><div>[2017-10-18 17:13:59.541591] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-0: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 17:13:59.541748] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-1: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 17:13:59.541887] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-2: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 17:13:59.541977] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-3: All subvolumes are down. Going offline until atleast one of them comes back up.</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Node 2 /var/log/gluster/tier/&lt;vol&gt;/<wbr>tierd.log:<br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>[2017-10-16 15:54:08.662873] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:fffd714e-b2d2-<wbr>42d3-a31f-72673276e3d0)</div><div>[2017-10-16 16:00:07.201584] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:f10365e1-747b-<wbr>4985-97b9-8b5dc61ac464)</div><div>[2017-10-16 16:00:07.372559] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:f95f17bf-b696-<wbr>44cd-aae0-d8ac38149aa5)</div><div>[2017-10-16 16:06:06.880522] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:ec451f6c-8971-<wbr>4f9b-a04f-00f96db9b46a)</div><div>[2017-10-16 16:06:08.062080] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:e658cd70-3f6d-<wbr>4b25-8d9f-0d4c24d3ec5d)</div><div>[2017-10-16 16:06:08.288298] I [MSGID: 109038] [tier.c:1169:tier_migrate_<wbr>using_query_file] 0-&lt;vol&gt;-tier-dht: Promotion failed for &lt;file&gt;(gfid:f22df67a-88e5-<wbr>4fae-aab0-b00e04f9a6e1)</div><div>[2017-10-18 15:55:06.446416] I [MSGID: 109028] [dht-rebalance.c:4792:gf_<wbr>defrag_status_get] 0-glusterfs: Rebalance is in progress. Time taken is 1376671.00 secs</div><div>[2017-10-18 15:55:06.446433] I [MSGID: 109028] [dht-rebalance.c:4796:gf_<wbr>defrag_status_get] 0-glusterfs: Files migrated: 0, size: 0, lookups: 47887089, failures: 3594, skipped: 0</div><div>[2017-10-19 00:00:00.501576] I [MSGID: 109038] [tier.c:2391:tier_prepare_<wbr>compact] 0-&lt;vol&gt;-tier-dht: Start compaction on cold tier</div><div>[2017-10-19 00:00:00.502016] I [MSGID: 109038] [tier.c:2403:tier_prepare_<wbr>compact] 0-&lt;vol&gt;-tier-dht: End compaction on cold tier</div><div>[2017-10-19 00:00:00.501608] I [MSGID: 109038] [tier.c:2391:tier_prepare_<wbr>compact] 0-&lt;vol&gt;-tier-dht: Start compaction on cold tier</div><div>[2017-10-19 00:00:00.502076] I [MSGID: 109038] [tier.c:2403:tier_prepare_<wbr>compact] 0-&lt;vol&gt;-tier-dht: End compaction on cold tier</div><div>[2017-10-19 16:03:49.522991] I [MSGID: 109028] [dht-rebalance.c:4792:gf_<wbr>defrag_status_get] 0-glusterfs: Rebalance is in progress. Time taken is 1463594.00 secs</div><div>[2017-10-19 16:03:49.523017] I [MSGID: 109028] [dht-rebalance.c:4796:gf_<wbr>defrag_status_get] 0-glusterfs: Files migrated: 0, size: 0, lookups: 52790654, failures: 3594, skipped: 0</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Node 2 /var/log/samba/glusterfs-&lt;vol&gt;<wbr>-pool.log:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>[2017-10-18 16:49:09.218062] E [MSGID: 114031] [client-rpc-fops.c:443:<wbr>client3_3_open_cbk] 0-&lt;vol&gt;-client-4: remote operation failed. Path: /pool (34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b) [Invalid argument]</div><div>[2017-10-18 16:49:09.218254] E [MSGID: 109089] [dht-helper.c:517:dht_check_<wbr>and_open_fd_on_subvol_task] 0-&lt;vol&gt;-tier-dht: Failed to open the fd (0x7f009b36bac0, flags=00) on file 34d76e11-412f-4bc6-9a3e-<wbr>b1f89658f13b @ &lt;vol&gt;-hot-dht [Invalid argument]</div><div>[2017-10-18 16:49:09.222783] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-0: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 16:49:09.222912] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-1: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 16:49:09.223079] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-2: All subvolumes are down. Going offline until atleast one of them comes back up.</div><div>[2017-10-18 16:49:09.223200] E [MSGID: 108006] [afr-common.c:4808:afr_notify] 0-&lt;vol&gt;-replicate-3: All subvolumes are down. Going offline until atleast one of them comes back up.</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Status:<br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div># gluster vol tier &lt;vol&gt; status</div><div><br></div><div>Node                 Promoted files       Demoted files        Status               run time in h:m:s   </div><div>---------                  ---------                  ---------               ---------                 ---------           </div><div>Node1                  190861                    0                    in progress          408:34:13</div><div>Node2                            0                    0                    in progress          408:34:14</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Hot tier bricks:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"># df -h</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>/dev/mapper/vg_bricks-brick_<wbr>nvme1             1.4T  551G  883G  39% /mnt/brick_nvme1</div><div>/dev/mapper/vg_bricks-brick_<wbr>nvme2             1.4T  512G  922G  36% /mnt/brick_nvme2</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Can anyone point me in the right direction as to what may be going on?  Any guidance is greatly appreciated.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Thanks in advance,</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">HB</div></div>