<div dir="ltr">Hi guys,<br>how are you? I have a question for you<br>Last week one of our 8 servers went down due to a problem on the RAID controller and, unfortunately, we had to reinstall and reconfigure it. The hostname of this server is <a href="http://gluster09.example.int">gluster09.example.int</a>, below you can find the volume status:<div>#####################################################<br>Volume Name: gv0<br>Type: Distributed-Replicate<br>Volume ID: 4e9122d3-f4c9-4509-b25e-a30f7b5f452f<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 4 x 2 = 8<br>Transport-type: tcp<br>Bricks:<br>Brick1: gluster09.example.int:/mnt/gluster/brick<br>Brick2: gluster01.example.int:/mnt/gluster/brick<br>Brick3: gluster03.example.int:/mnt/gluster/brick<br>Brick4: gluster04.example.int:/mnt/gluster/brick<br>Brick5: gluster05.example.int:/mnt/gluster/brick<br>Brick6: gluster06.example.int:/mnt/gluster/brick<br>Brick7: gluster07.example.int:/mnt/gluster/brick<br>Brick8: gluster08.example.int:/mnt/gluster/brick<br>Options Reconfigured:</div><div>cluster.shd-wait-qlength: 16384<br>cluster.self-heal-daemon: enable<br>cluster.shd-max-threads: 12<br>nfs.disable: on<br>performance.readdir-ahead: on<br>transport.address-family: inet</div><div>#####################################################<br>To add the new server again we followed the official procedure provided by REDHAT (<a href="https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.5/pdf/administration_guide/Red_Hat_Gluster_Storage-3.5-Administration_Guide-en-US.pdf">https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.5/pdf/administration_guide/Red_Hat_Gluster_Storage-3.5-Administration_Guide-en-US.pdf</a>) and we noticed that the self heal is in progress, in fact-checking the status of it using the command gluster volume heal gv0 info we see a lot of entries like:</div><div>#####################################################<br>Brick gluster09.example.int:/mnt/gluster/brick<br>Status: Connected<br>Number of entries: 0<br>Brick gluster01.example.int:/mnt/gluster/brick<br>&lt;gfid:2786f558-3b4a-42dd-b519-4be548b7c735&gt;<br>&lt;gfid:15921050-7538-43bb-9c5a-80d2e74c73b8&gt;<br>&lt;gfid:00a120eb-d7c9-490b-8996-e06ceeaf2f7c&gt;<br>&lt;gfid:366ce3d7-6ab4-49b6-8fe0-10f8af07864c&gt;<br>&lt;gfid:09d94803-c4e0-4d3d-b89d-1f70e0910fdd&gt;<br>&lt;gfid:b54ebaac-ab84-4277-bded-762b2dd09ae2&gt;<br>&lt;gfid:3bab3231-cccc-44db-9ec5-1f167a7b47b1&gt;<br>&lt;gfid:e3d209ae-e260-4d0a-93fd-65e8ef35d2ff&gt;<br>&lt;gfid:8fbe07a6-b46e-4c02-b20e-0c0a2d36cee1&gt;<br>&lt;gfid:131b9889-2a4d-4b67-a0f2-99c782de2b69&gt;<br>&lt;gfid:73f76c29-b4a2-4a2d-92e3-2c9f86884d04&gt;<br>&lt;gfid:b998387c-d8fc-4fc0-9ddf-dabb26eb2f4e&gt;<br>&lt;gfid:ccdbd77d-e548-4561-a9ec-1d186e0a6bbe&gt;<br>............................</div><div>#####################################################<br>but it seems that the sync is only for the indices and not for the data, in fact, the disk space occupied is, currently, just 120 GB on the new server whereas on the &quot;master&quot; node the server <a href="http://gluster01.example.int">gluster01.example.int</a> is 60TB. We tried to change also the parameters regarding the number of threads for the self-heal daemon moving it from 1 to 12 and cluster.shd-wait-qlength from 1024 to 16384 but we didn&#39;t notice any improvements...<br>Moreover, we tried also the start a full  heal of the volume using the command gluster volume heal gv0 full  but we receive the following error:<br>Launching heal operation to perform full self-heal on volume gv0 has been unsuccessful on bricks that are down. Please check if all brick processes are running.<br>How we can synchronize the data on the new server and not just the indices?</div><div><br></div><div>Thanks in advance for your support,</div><div>Best regards,</div><div>Woz</div></div>