<div dir="ltr"><div dir="ltr"><div dir="ltr">Just found this in the tierd.log Not sure what it means or how to fix it tho, but I assume it may be the cause of my problem with files not being demoted from the hot tier.. </div><div dir="ltr"><br></div><div dir="ltr"><div><br></div><div><div>[2018-09-30 12:25:56.438821] E [MSGID: 114031] [client-rpc-fops.c:233:client3_3_mknod_cbk] 0-FFPrimary-client-5: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.440940] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //720ee8d5-1667-11e8-a5dc-902b3450f388 (10fb1bd9-b962-415c-8751-f0ef8bf06473). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.444633] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //e7df9e17-b62f-4668-a4c1-dc5d86dcae6e (32eff7dc-dcda-4488-8464-9eace06e1b69). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.448347] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //9758be45-c466-45a2-9cd6-572f80c54da9 (389acc57-d205-4022-acea-d0f400c2ad89). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.451919] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test-march-3-bc-file-501 (41ee3e27-40be-4f64-af01-e18cc63065e3). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.456198] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //krishna (49657a82-8c64-43c0-94df-e1e78840aa1d). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.459702] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test1 (5ac7caba-f2c3-4bf1-bb38-cf6ed940dac0). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.463164] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //c7947fa1-a496-400c-b6a4-b4e084b8f316 (5e909f4e-6263-4091-8378-26479496e715). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.466601] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //ea37891d-1ab8-40f8-95a3-eee822c7040a (6dfe1d97-34f4-440b-9502-5eab172de58a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.470129] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //a42d1e12-fc11-4a51-a744-8e6c3b11be0a (7a081218-3cc1-442c-be4b-43bd7dd01724). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.473758] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //b0acb442-fe60-4022-bee2-d11d49422f20 (8788d650-9800-47ab-bf07-87f9dcd0392c). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.477237] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //f7357147-c2ea-4abe-9c59-136f049bfccb (91ecb7b5-84fb-48d2-af2b-440ab6f25cfa). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.480696] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //35949c80-5496-445d-b2d6-e7d2061e9135 (972256c3-8eb8-49d5-a4ab-cca34abc7b0a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.484354] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //13660ae8-4138-47f2-a858-8880d97b4e8d (a6027333-b269-4810-a188-3af51c04fdcb). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.487884] I [MSGID: 109038] [tier.c:1122:tier_migrate_using_query_file] 0-FFPrimary-tier-dht: Demotion failed for melvin(gfid:a9b49996-ba84-4b88-b182-7a0e677749aa)</div><div>[2018-09-30 12:25:56.490973] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //d1cb5906-e2d9-444a-9622-599509a73e3b (ac3cd35b-d766-46c1-ae4b-a8373e35a77b). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.494618] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //74ad729b-17dd-44d1-8b86-1db0dce862d8 (ac54d8b4-f826-48b2-ab18-75b561526689). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.498059] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //0368ebe6-9ac3-4d72-9795-0a46800aa90b (c627ff61-1819-4a0b-81ac-d53b8ab872d4). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.501428] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //DBTest (c831be42-c63b-4664-b62e-1c3f9c24e201). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:56.504736] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //testCliff (cac8d0c8-2a10-4fa1-8b94-bf47981c01ff). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>The message &quot;I [MSGID: 109038] [tier.c:1122:tier_migrate_using_query_file] 0-FFPrimary-tier-dht: Demotion failed for 6bed3d1e-17b8-11e8-a5dc-902b3450f388(gfid:0249ff10-18aa-4727-b873-d67b42047f2d)&quot; repeated 4 times between [2018-09-30 12:25:53.164873] and [2018-09-30 12:25:57.515127]</div><div>[2018-09-30 12:25:57.520933] W [MSGID: 114031] [client-rpc-fops.c:2860:client3_3_lookup_cbk] 0-FFPrimary-client-3: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; (10fb1bd9-b962-415c-8751-f0ef8bf06473) [No such file or directory]</div><div>[2018-09-30 12:25:57.521545] W [MSGID: 114031] [client-rpc-fops.c:2860:client3_3_lookup_cbk] 0-FFPrimary-client-5: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; (10fb1bd9-b962-415c-8751-f0ef8bf06473) [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.521854] E [MSGID: 114031] [client-rpc-fops.c:233:client3_3_mknod_cbk] 0-FFPrimary-client-5: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.524079] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //720ee8d5-1667-11e8-a5dc-902b3450f388 (10fb1bd9-b962-415c-8751-f0ef8bf06473). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.527993] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //e7df9e17-b62f-4668-a4c1-dc5d86dcae6e (32eff7dc-dcda-4488-8464-9eace06e1b69). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.531829] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //9758be45-c466-45a2-9cd6-572f80c54da9 (389acc57-d205-4022-acea-d0f400c2ad89). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.535529] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test-march-3-bc-file-501 (41ee3e27-40be-4f64-af01-e18cc63065e3). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.539852] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //krishna (49657a82-8c64-43c0-94df-e1e78840aa1d). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.543468] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test1 (5ac7caba-f2c3-4bf1-bb38-cf6ed940dac0). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.547051] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //c7947fa1-a496-400c-b6a4-b4e084b8f316 (5e909f4e-6263-4091-8378-26479496e715). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.550694] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //ea37891d-1ab8-40f8-95a3-eee822c7040a (6dfe1d97-34f4-440b-9502-5eab172de58a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.554498] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //a42d1e12-fc11-4a51-a744-8e6c3b11be0a (7a081218-3cc1-442c-be4b-43bd7dd01724). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.558086] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //b0acb442-fe60-4022-bee2-d11d49422f20 (8788d650-9800-47ab-bf07-87f9dcd0392c). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.561568] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //f7357147-c2ea-4abe-9c59-136f049bfccb (91ecb7b5-84fb-48d2-af2b-440ab6f25cfa). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.565094] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //35949c80-5496-445d-b2d6-e7d2061e9135 (972256c3-8eb8-49d5-a4ab-cca34abc7b0a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.568562] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //13660ae8-4138-47f2-a858-8880d97b4e8d (a6027333-b269-4810-a188-3af51c04fdcb). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.571974] I [MSGID: 109038] [tier.c:1122:tier_migrate_using_query_file] 0-FFPrimary-tier-dht: Demotion failed for melvin(gfid:a9b49996-ba84-4b88-b182-7a0e677749aa)</div><div>[2018-09-30 12:25:57.574925] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //d1cb5906-e2d9-444a-9622-599509a73e3b (ac3cd35b-d766-46c1-ae4b-a8373e35a77b). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.578639] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //74ad729b-17dd-44d1-8b86-1db0dce862d8 (ac54d8b4-f826-48b2-ab18-75b561526689). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.582118] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //0368ebe6-9ac3-4d72-9795-0a46800aa90b (c627ff61-1819-4a0b-81ac-d53b8ab872d4). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:57.585547] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //DBTest (c831be42-c63b-4664-b62e-1c3f9c24e201). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>The message &quot;E [MSGID: 109037] [tier.c:2532:tier_run] 0-FFPrimary-tier-dht: Demotion failed&quot; repeated 3 times between [2018-09-30 12:25:54.323716] and [2018-09-30 12:25:57.592361]</div><div>[2018-09-30 12:25:58.002724] I [MSGID: 0] [dht-rebalance.c:4194:gf_defrag_total_file_size] 0-FFPrimary-tier-dht: local subvol: FFPrimary-cold-dht,cnt = 272288612352</div><div>[2018-09-30 12:25:58.018840] I [MSGID: 0] [dht-rebalance.c:4198:gf_defrag_total_file_size] 0-FFPrimary-tier-dht: Total size files = 272288612352</div><div>[2018-09-30 12:25:58.018854] I [dht-rebalance.c:4325:dht_file_counter_thread] 0-dht: tmp data size =272288612352</div><div>The message &quot;E [MSGID: 109037] [tier.c:720:tier_lookup_file] 0-FFPrimary-tier-dht: Failed to lookup file 6bed3d1e-17b8-11e8-a5dc-902b3450f388</div><div> [No such file or directory]&quot; repeated 4 times between [2018-09-30 12:25:54.247352] and [2018-09-30 12:25:58.599151]</div><div>[2018-09-30 12:25:58.599162] I [MSGID: 109038] [tier.c:1122:tier_migrate_using_query_file] 0-FFPrimary-tier-dht: Demotion failed for 6bed3d1e-17b8-11e8-a5dc-902b3450f388(gfid:0249ff10-18aa-4727-b873-d67b42047f2d)</div><div>[2018-09-30 12:25:58.604808] W [MSGID: 114031] [client-rpc-fops.c:2860:client3_3_lookup_cbk] 0-FFPrimary-client-3: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; (10fb1bd9-b962-415c-8751-f0ef8bf06473) [No such file or directory]</div><div>[2018-09-30 12:25:58.605428] W [MSGID: 114031] [client-rpc-fops.c:2860:client3_3_lookup_cbk] 0-FFPrimary-client-5: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; (10fb1bd9-b962-415c-8751-f0ef8bf06473) [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.605750] E [MSGID: 114031] [client-rpc-fops.c:233:client3_3_mknod_cbk] 0-FFPrimary-client-5: remote operation failed. Path: &lt;gfid:10fb1bd9-b962-415c-8751-f0ef8bf06473&gt; [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.607865] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //720ee8d5-1667-11e8-a5dc-902b3450f388 (10fb1bd9-b962-415c-8751-f0ef8bf06473). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.611433] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //e7df9e17-b62f-4668-a4c1-dc5d86dcae6e (32eff7dc-dcda-4488-8464-9eace06e1b69). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.615059] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //9758be45-c466-45a2-9cd6-572f80c54da9 (389acc57-d205-4022-acea-d0f400c2ad89). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.618669] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test-march-3-bc-file-501 (41ee3e27-40be-4f64-af01-e18cc63065e3). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.622667] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //krishna (49657a82-8c64-43c0-94df-e1e78840aa1d). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.626029] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //test1 (5ac7caba-f2c3-4bf1-bb38-cf6ed940dac0). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.629459] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //c7947fa1-a496-400c-b6a4-b4e084b8f316 (5e909f4e-6263-4091-8378-26479496e715). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.632994] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //ea37891d-1ab8-40f8-95a3-eee822c7040a (6dfe1d97-34f4-440b-9502-5eab172de58a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.636669] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //a42d1e12-fc11-4a51-a744-8e6c3b11be0a (7a081218-3cc1-442c-be4b-43bd7dd01724). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.640155] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //b0acb442-fe60-4022-bee2-d11d49422f20 (8788d650-9800-47ab-bf07-87f9dcd0392c). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.643516] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //f7357147-c2ea-4abe-9c59-136f049bfccb (91ecb7b5-84fb-48d2-af2b-440ab6f25cfa). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.648787] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //35949c80-5496-445d-b2d6-e7d2061e9135 (972256c3-8eb8-49d5-a4ab-cca34abc7b0a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.652106] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //13660ae8-4138-47f2-a858-8880d97b4e8d (a6027333-b269-4810-a188-3af51c04fdcb). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.655577] I [MSGID: 109038] [tier.c:1122:tier_migrate_using_query_file] 0-FFPrimary-tier-dht: Demotion failed for melvin(gfid:a9b49996-ba84-4b88-b182-7a0e677749aa)</div><div>[2018-09-30 12:25:58.658482] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //d1cb5906-e2d9-444a-9622-599509a73e3b (ac3cd35b-d766-46c1-ae4b-a8373e35a77b). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.661703] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //74ad729b-17dd-44d1-8b86-1db0dce862d8 (ac54d8b4-f826-48b2-ab18-75b561526689). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>[2018-09-30 12:25:58.665051] W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //0368ebe6-9ac3-4d72-9795-0a46800aa90b (c627ff61-1819-4a0b-81ac-d53b8ab872d4). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]</div><div>The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1080:client3_3_getxattr_cbk] 0-FFPrimary-client-8: remote operation failed. Path: //e8a6aba1-e5ce-4ded-b474-1c5bf49b1285 (edffea55-296b-4d1b-8114-b4f8dd10920a). Key: trusted.glusterfs.node-uuid [Transport endpoint is not connected]&quot; repeated 3 times between [2018-09-30 12:25:55.406782] and [2018-09-30 12:25:58.674842]</div><div>[2018-09-30 12:25:58.675351] E [MSGID: 109037] [tier.c:2532:tier_run] 0-FFPrimary-tier-dht: Demotion failed</div><div>[root@Glus1 FFPrimary]#</div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Sat, Sep 29, 2018 at 3:54 PM David Brown &lt;<a href="mailto:dbccemtp@gmail.com">dbccemtp@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">4 hours later, no files have been demoted </div><div dir="ltr"><br><div><div>[root@Glus1 ~]# gluster volume status  FFPrimary detail</div><div>Status of volume: FFPrimary</div><div>Hot Bricks:</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus3:/data/glusterfs/FFPrimary/brick3</div><div>TCP Port             : 49155</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 24177</div><div>File System          : xfs</div><div>Device               : /dev/nvme0n1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 24.3GB</div><div>Total Disk Space     : 476.7GB</div><div>Inode Count          : 50877088</div><div>Free Inodes          : 50874696</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus2:/data/glusterfs/FFPrimary/brick2</div><div>TCP Port             : 49155</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 17994</div><div>File System          : xfs</div><div>Device               : /dev/nvme0n1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 15.5GB</div><div>Total Disk Space     : 476.7GB</div><div>Inode Count          : 32560288</div><div>Free Inodes          : 32557896</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus1:/data/glusterfs/FFPrimary/brick1</div><div>TCP Port             : 49154</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 23573</div><div>File System          : xfs</div><div>Device               : /dev/nvme0n1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 13.8GB</div><div>Total Disk Space     : 476.7GB</div><div>Inode Count          : 29027000</div><div>Free Inodes          : 29024515</div><div>Cold Bricks:</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus1:/data/glusterfs/FFPrimary/brick5</div><div>TCP Port             : 49152</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 23442</div><div>File System          : xfs</div><div>Device               : /dev/sdb1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.5TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969488</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus2:/data/glusterfs/FFPrimary/brick6</div><div>TCP Port             : 49153</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 17856</div><div>File System          : xfs</div><div>Device               : /dev/sdb1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.5TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969489</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus3:/data/glusterfs/FFPrimary/brick7</div><div>TCP Port             : 49153</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 24018</div><div>File System          : xfs</div><div>Device               : /dev/sdb1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.5TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969488</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus1:/data/glusterfs/FFPrimary/brick8</div><div>TCP Port             : 49153</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 23518</div><div>File System          : xfs</div><div>Device               : /dev/sdc1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.7TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969607</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus2:/data/glusterfs/FFPrimary/brick9</div><div>TCP Port             : 49154</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 17943</div><div>File System          : xfs</div><div>Device               : /dev/sdc1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.7TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969607</div><div>------------------------------------------------------------------------------</div><div>Brick                : Brick Glus3:/data/glusterfs/FFPrimary/brick10</div><div>TCP Port             : 49154</div><div>RDMA Port            : 0</div><div>Online               : Y</div><div>Pid                  : 24108</div><div>File System          : xfs</div><div>Device               : /dev/sdc1</div><div>Mount Options        : rw,seclabel,relatime,attr2,inode64,noquota</div><div>Inode Size           : 512</div><div>Disk Space Free      : 2.7TB</div><div>Total Disk Space     : 2.7TB</div><div>Inode Count          : 292971904</div><div>Free Inodes          : 292969604</div><div><br></div><div>[root@Glus1 ~]# gluster volume info</div><div><br></div><div>Volume Name: FFPrimary</div><div>Type: Tier</div><div>Volume ID: 466ec53c-d1ef-4ebc-8414-d7d070dfe61e</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 9</div><div>Transport-type: tcp</div><div>Hot Tier :</div><div>Hot Tier Type : Replicate</div><div>Number of Bricks: 1 x 3 = 3</div><div>Brick1: Glus3:/data/glusterfs/FFPrimary/brick3</div><div>Brick2: Glus2:/data/glusterfs/FFPrimary/brick2</div><div>Brick3: Glus1:/data/glusterfs/FFPrimary/brick1</div><div>Cold Tier:</div><div>Cold Tier Type : Distributed-Replicate</div><div>Number of Bricks: 2 x 3 = 6</div><div>Brick4: Glus1:/data/glusterfs/FFPrimary/brick5</div><div>Brick5: Glus2:/data/glusterfs/FFPrimary/brick6</div><div>Brick6: Glus3:/data/glusterfs/FFPrimary/brick7</div><div>Brick7: Glus1:/data/glusterfs/FFPrimary/brick8</div><div>Brick8: Glus2:/data/glusterfs/FFPrimary/brick9</div><div>Brick9: Glus3:/data/glusterfs/FFPrimary/brick10</div><div>Options Reconfigured:</div><div>cluster.tier-promote-frequency: 1800</div><div>cluster.tier-demote-frequency: 120</div><div>cluster.watermark-low: 60</div><div>cluster.watermark-hi: 80</div><div>performance.flush-behind: on</div><div>performance.cache-max-file-size: 128MB</div><div>performance.cache-size: 25GB</div><div>diagnostics.count-fop-hits: off<br></div><div>diagnostics.latency-measurement: off</div><div>cluster.tier-mode: cache</div><div>features.ctr-enabled: on</div><div>transport.address-family: inet</div><div>nfs.disable: on</div><div>performance.client-io-threads: off</div><div><br></div><div>[root@Glus1 ~]# gluster volume tier FFPrimary status</div><div>Node                 Promoted files       Demoted files        Status               run time in h:m:s</div><div>---------            ---------            ---------            ---------            ---------</div><div>localhost            49                   0                    in progress          5159:15:50</div><div>Glus2 0                    0                    in progress          5159:15:50</div><div>Glus3 0                    2075                 in progress          5159:15:52</div><div>Tiering Migration Functionality: FFPrimary: success</div><div>[root@Glus1 ~]#</div></div><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Sat, Sep 29, 2018 at 11:56 AM David Brown &lt;<a href="mailto:dbccemtp@gmail.com" target="_blank">dbccemtp@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">Thank you Hari, <div><br></div><div>I have set:</div><div><div>cluster.tier-promote-frequency: 1800</div><div>cluster.tier-demote-frequency: 120</div></div><div><br></div><div>I will let you know if it makes a difference after some time. So far (10 minutes), nothing has changed. </div><div>I would agree with you, that by looking at the result of &#39;gluster volume tier FFPrimary status&#39; it would seem that demoting is happening. However, for the last 24hrs, nothing has changed in the tier status report except the time. Could it be stuck? How would I know? Is there a way to restart it without restarting the cluster?</div><div><br></div><div><br></div><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Sat, Sep 29, 2018 at 11:08 AM Hari Gowtham &lt;<a href="mailto:hgowtham@redhat.com" target="_blank">hgowtham@redhat.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
I can see that the demotion is happening from the status provided by you.<br>
Do verify it.<br>
I would recommend you to change the cluster.tier-demote-frequency to 120<br>
and cluster.tier-promote-frequency to 1800 to increase the demotions until the<br>
hot tier is emptied to a certain extent. Later you can use the values<br>
existing now.<br>
On Sat, Sep 29, 2018 at 5:39 PM David Brown &lt;<a href="mailto:dbccemtp@gmail.com" target="_blank">dbccemtp@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt; Hey Everyone,<br>
&gt;<br>
&gt; I have a 3 node GlusterFS cluster that uses NVMe hot tier and a HDD cold tier.<br>
&gt; I recently ran into some problems when the hot tier became full with df-h showing 100%.<br>
&gt;<br>
&gt; I did not have a watermark-hi set, but it is my understanding that 90% is the default. In an attempt to get the cluster to demote some files, I set cluster.watermark-hi: 80 but it is still not demoting.<br>
&gt;<br>
&gt;<br>
&gt; [root@Glus1 ~]# gluster volume info<br>
&gt;<br>
&gt; Volume Name: FFPrimary<br>
&gt; Type: Tier<br>
&gt; Volume ID: 466ec53c-d1ef-4ebc-8414-d7d070dfe61e<br>
&gt; Status: Started<br>
&gt; Snapshot Count: 0<br>
&gt; Number of Bricks: 9<br>
&gt; Transport-type: tcp<br>
&gt; Hot Tier :<br>
&gt; Hot Tier Type : Replicate<br>
&gt; Number of Bricks: 1 x 3 = 3<br>
&gt; Brick1: Glus3:/data/glusterfs/FFPrimary/brick3<br>
&gt; Brick2: Glus2:/data/glusterfs/FFPrimary/brick2<br>
&gt; Brick3: Glus1:/data/glusterfs/FFPrimary/brick1<br>
&gt; Cold Tier:<br>
&gt; Cold Tier Type : Distributed-Replicate<br>
&gt; Number of Bricks: 2 x 3 = 6<br>
&gt; Brick4: Glus1:/data/glusterfs/FFPrimary/brick5<br>
&gt; Brick5: Glus2:/data/glusterfs/FFPrimary/brick6<br>
&gt; Brick6: Glus3:/data/glusterfs/FFPrimary/brick7<br>
&gt; Brick7: Glus1:/data/glusterfs/FFPrimary/brick8<br>
&gt; Brick8: Glus2:/data/glusterfs/FFPrimary/brick9<br>
&gt; Brick9: Glus3:/data/glusterfs/FFPrimary/brick10<br>
&gt; Options Reconfigured:<br>
&gt; cluster.tier-promote-frequency: 120<br>
&gt; cluster.tier-demote-frequency: 1800<br>
&gt; cluster.watermark-low: 60<br>
&gt; cluster.watermark-hi: 80<br>
&gt; performance.flush-behind: on<br>
&gt; performance.cache-max-file-size: 128MB<br>
&gt; performance.cache-size: 25GB<br>
&gt; diagnostics.count-fop-hits: off<br>
&gt; diagnostics.latency-measurement: off<br>
&gt; cluster.tier-mode: cache<br>
&gt; features.ctr-enabled: on<br>
&gt; transport.address-family: inet<br>
&gt; nfs.disable: on<br>
&gt; performance.client-io-threads: off<br>
&gt; [root@Glus1 ~]# gluster volume tier FFPrimary status<br>
&gt; Node                 Promoted files       Demoted files        Status               run time in h:m:s<br>
&gt; ---------            ---------            ---------            ---------            ---------<br>
&gt; localhost            49                   0                    in progress          5151:30:45<br>
&gt; Glus2 0                    0                    in progress          5151:30:45<br>
&gt; Glus3 0                    2075                 in progress          5151:30:47<br>
&gt; Tiering Migration Functionality: FFPrimary: success<br>
&gt; [root@Glus1 ~]#<br>
&gt;<br>
&gt; What can cause GlusterFS to stop demoting files and allow it to completely fill the Hot Tier?<br>
&gt;<br>
&gt; Thank you!<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
<br>
<br>
<br>
-- <br>
Regards,<br>
Hari Gowtham.<br>
</blockquote></div>
</blockquote></div>
</blockquote></div>