<div dir="ltr"><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Hello,</div><div dir="ltr">We are running glusterfs 6.6 on Ubuntu.</div><div dir="ltr"><br></div><div dir="ltr"><div style="color:rgb(34,34,34)"><div dir="auto">We have a <span class="gmail-il">Gluster</span> storage system that is a few years old. There are 4 VMs running a Dispersed (NOT replicated) system - a 3 + 1 configuration. </div><div dir="auto"><br></div><div dir="auto">Generally performance is well tuned for our needs, but the problem arose last time we added bricks: we attempted a rebalance which is reported as failed.  From the mounted POSIX view of the file system, we see many files that report to be of size 0 bytes, which they shouldn’t be. </div><div dir="auto"><br></div><div dir="auto">We’ve attempted all kinds of heal and other operations to no avail. I finally figured out how to find the gfid of the files , and I found where it thought the shards were located. They were indeed 0 bytes … however, I was able to find shards <b>with the same gfid </b>located on other bricks. </div><div dir="auto"><br></div><div dir="auto">So, I think that when the rebalance failed, somehow the system kept thinking that the files should exist in the NEW brick location instead of the one that actually has content. For one file I did try to delete the shards of size 0, but the system still thinks that the file is of size 0, which means it didn’t point to the other shards with the same gfid. Is it possible to manually move shards from brick to another? I'm clearly tinkering with things that aren't meant to be tinkered with ... but I don't fully understand how GlusterFS functions under the hood.  </div><div dir="auto"><br></div><div dir="auto">We’re at a loss as to how to fix this, and I haven’t had luck finding anyone who can help. We have quite a few files that we would like to recover, so it’s important that we figure out how to. </div><div dir="auto"><br></div><div>Thanks,</div><div><br></div><div>Jeremy</div></div></div></div></div>