<div dir="ltr"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Good morning guys,</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We’re using GlusterFS 3.6.7 on RHEL 6.7 on AWS using multiple 1TB EBS GP2 disks as bricks. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We have two nodes with several volumes using type Replicate and two bricks. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">1 brick belong to server #1 and, of course, the other one to server #2. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Transport is over TCP and the only option reconfigured is performance.cache-size which is tuned to 4GB.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Clients connect to those targets over FUSE with backupvolfile-server parameter configured to server #2 and primary to server #1 </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Is worth to specify that those bricks host hundreds of thousands of subdirectories which contains a lot of small xml files and images.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Couple of weeks ago one of the nodes goes down because of some AWS problem, reboot was so quick that we don&#39;t even record this with agents so, because daemon was not enable on autostart, brick two went out of sync of about 1+ TB. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">When we realized this we immediatly tried to bring everything up and trigger the self heal but it was literally killing our clients ending up with high iowait and takes forever to retrieve content from the fuse share. Only option was kill the sync process. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We tried using rsync and then trigger the self heal with no consistent result.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We tried to remove the bad brick, cleaning up the directory on second node and the re-create it causing this massive iowait and the same exact situation.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We tried to clone the EBS of primary node, attach it to the secondary and then try again with self heal with no consistent result.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">We noticed that once brick two becomes online seems that is used as primary even if configured on fstab as backupvolfile-server. I&#39;m saying this because some directories appear missing while is possibile to cd into which reflects the brick status on secondary server. </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Is there anything that you can suggest to solve this?</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Are we missing something? </span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Thanks a lot for any help.</span><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><br style="color:rgb(0,0,0);font-family:helvetica;font-size:12px"><span style="color:rgb(0,0,0);font-family:helvetica;font-size:12px">Lorenzo</span><br></div>