
<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><p style="margin:0;">Hi All,</p><p style="margin:0;"><br></p><p style="margin:0;">I have 6 servers that form a glusterfs 2x3 distributed replication volume, the details are as follows:</p><p style="margin:0;"><br></p><p style="margin:0;">[root@node1 ~]# gluster volume info</p><p style="margin:0;">Volume Name: abcd_vol</p><p style="margin:0;">Type: Distributed-Replicate</p><p style="margin:0;">Volume ID: c9848daa-b06f-4f82-a2f8-1b425b8e869c</p><p style="margin:0;">Status: Started</p><p style="margin:0;">Snapshot Count: 0</p><p style="margin:0;">Number of Bricks: 2 x 3 = 6</p><p style="margin:0;">Transport-type: tcp</p><p style="margin:0;">Bricks:</p><p style="margin:0;">Brick1: node1:/export/test/abcd</p><p style="margin:0;">Brick2: node2:/export/test/abcd</p><p style="margin:0;">Brick3: node3:/export/test/abcd</p><p style="margin:0;">Brick4: node4:/export/test/abcd</p><p style="margin:0;">Brick5: node5:/export/test/abcd</p><p style="margin:0;">Brick6: node6:/export/test/abcd</p><p style="margin:0;">Options Reconfigured:</p><p style="margin:0;">diagnostics.client-log-level: DEBUG</p><p style="margin:0;">diagnostics.brick-log-level: DEBUG</p><p style="margin:0;">performance.client-io-threads: off</p><p style="margin:0;">nfs.disable: on</p><p style="margin:0;">transport.address-family: inet</p><p style="margin:0;">cluster.quorum-type: auto</p><p style="margin:0;"><br></p><p style="margin:0;">Restart 6 servers at a time, the server automatically mounts the abcd_vol volume to the / home / test-abcd directory during the startup process：</p><p style="margin:0;"><br></p><p style="margin:0;">[root@node1 ~]# df -h | grep abcd_vol</p><p style="margin:0;">node1:/abcd_vol&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4.5T&nbsp; 362G&nbsp; 4.1T&nbsp; &nbsp; 9% /home/test-abcd</p><p style="margin:0;"><br></p><p style="margin:0;">Failed to create a file in the glusterfs mount directory of node3, the log shows the error as follows (the files created by other servers are normal)：</p><p style="margin:0;"><br></p><p style="margin:0;">[2020-05-29 05:55:03.065656] E [MSGID: 109011] [dht-common.c:8683:dht_create] 0-abcd_vol-dht: no subvolume in layout for path=/.abcd.time.405fa8a6-575d-4474-a97f-a107cbf1c673.18512</p><p style="margin:0;">[2020-05-29 05:55:03.065719] W [fuse-bridge.c:2122:fuse_create_cbk] 0-glusterfs-fuse: 2454790: /.abcd.time.405fa8a6-575d-4474-a97f-a107cbf1c673.18512 =&gt; -1 (输入/输出错误)</p><p style="margin:0;">[2020-05-29 05:55:03.680303] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">[2020-05-29 05:55:04.687456] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 491618322</p><p style="margin:0;">[2020-05-29 05:55:04.688612] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">[2020-05-29 05:55:05.694446] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">[2020-05-29 05:55:05.830555] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 491618322</p><p style="margin:0;">[2020-05-29 05:55:06.700423] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">[2020-05-29 05:55:07.706536] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">[2020-05-29 05:55:07.833049] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 491618322</p><p style="margin:0;">[2020-05-29 05:55:08.712128] W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696</p><p style="margin:0;">The message "W [MSGID: 109011] [dht-layout.c:186:dht_layout_search] 0-abcd_vol-dht: no subvolume for hash (value) = 1738969696" repeated 2 times between [2020-05-29 05:55:08.712128] and [2020-05-29 05:55:09.718541]</p><p style="margin:0;"><br></p><p style="margin:0;">The pathinfo information in the / home / test-abcd directory is displayed as follows:</p><p style="margin:0;"><br></p><p style="margin:0;">[root@node3 test-abcd]# getfattr -d -m .&nbsp; -n trusted.glusterfs.pathinfo /home/test-abcd/</p><p style="margin:0;">getfattr: Removing leading '/' from absolute path names</p><p style="margin:0;"># file: home/test-abcd/</p><p style="margin:0;">trusted.glusterfs.pathinfo="((&lt;DISTRIBUTE:abcd_vol-dht&gt; (&lt;REPLICATE:abcd_vol-replicate-0&gt; &lt;POSIX(/export/test/abcd):node2:/export/test/abcd/&gt; &lt;POSIX(/export/test/abcd):node3:/export/test/abcd/&gt; &lt;POSIX(/export/test/abcd):node1:/export/te</p><p style="margin:0;">st/abcd/&gt;) (&lt;REPLICATE:abcd_vol-replicate-1&gt; &lt;POSIX(/export/test/abcd):node5:/export/test/abcd/&gt; &lt;POSIX(/export/test/abcd):node6:/export/test/abcd/&gt; &lt;POSIX(/export/test/abcd):node4:/export/test/abcd/&gt;)) (abcd_vol-dht-layout (abcd_vol-re</p><p style="margin:0;">plicate-0 0 0) (abcd_vol-replicate-1 3539976838 4294967295)))"</p><p style="margin:0;"><br></p><p style="margin:0;">It can be seen from the above information that abcd_vol-dht-layout is missing the interval 0 to 3539976837</p><p style="margin:0;"><br></p><p style="margin:0;">After umount, remounting returned to normal ... What is the reason?</p><p style="margin:0;"><br></p><p style="margin:0;">Best regards</p></div><br><br><span title="neteasefooter"><p><br/>&nbsp;</p></span>