Can you provide gluster volume info , gluster volume status and gluster volume heal  <VOLUME> info summary and most probably gluster volume status all clients/client-list<div id="yMail_cursorElementTracker_1622431408101"><br></div><div id="yMail_cursorElementTracker_1622431408272"><br></div><div id="yMail_cursorElementTracker_1622431408492">Best Regards,</div><div id="yMail_cursorElementTracker_1622431412065">Strahil Nikolov</div><div id="yMail_cursorElementTracker_1622431418597"><br><div id="yMail_cursorElementTracker_1622431379488"><div id="yMail_cursorElementTracker_1622431348203"> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div id="yMail_cursorElementTracker_1622431405711">On Sun, May 30, 2021 at 15:17, a.schwibbe@gmx.net</div><div><a.schwibbe@gmx.net> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">I am seeking help here after looking for solutions on the web for my distributed-replicated volume.<br></div><div dir="ltr">My volume is operated since v3.10 and I upgraded through to 7.9, replaced nodes, replaced bricks without a problem. I love it.<br></div><div dir="ltr">Finally I wanted to extend my 6x2 distributed replicated volume with arbiters for better split-brain protection.<br></div><div dir="ltr"><br></div><div dir="ltr">So I add-brick with replication 3 arbiter 1 (as I had a 6x2 I obviously added 6 arb bricks) and it successfully converted to 6 x (2 +1) and self-heal immideately started. Looking good.<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Version: 7.9<br></div><div dir="ltr"><br></div><div dir="ltr">Number of Bricks: 6 x (2 + 1) = 18<br></div><div dir="ltr"><br></div><div dir="ltr">cluster.max-op-version: 70200<br></div><div dir="ltr"><br></div><div dir="ltr">Peers: 3 (node[0..2])<br></div><div dir="ltr"><br></div><div dir="ltr">Layout<br></div><div dir="ltr"><br></div><div dir="ltr">|node0 |node1 |node2<br></div><div dir="ltr">|brick0 |brick0 |arbit0<br></div><div dir="ltr"><br></div><div dir="ltr">|arbit1 |brick1 |brick1<br></div><div dir="ltr"><br></div><div dir="ltr">....<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">I then recognized that arbiter volumes on node0 & node1 have been healed successfully.<br></div><div dir="ltr">Unfortunately all arbiter volumes on node2 have not been healed!<br></div><div dir="ltr">I realized that the main dir on my arb mount point has been added (mount point /var/brick/arb_0 now contains dir "brick") however this dir on _all_ other bricks has numeric ID 33, but on this on it has 0). The brick dir on the faulty arb-volumes does contain ".glusterfs", however it has only very few entries. Other than that "brick" is empty.<br></div><div dir="ltr">At that point I changed brick dir owner with chown to 33:33 and hoped for self-heal to work. It did not.<br></div><div dir="ltr">I hoped a rebalance fix-layout would fix things. It did not.<br></div><div dir="ltr">I hoped for a glusterd restart on node2 (as this is happening to both arb volumes on this node exclusively) would help. It did not.<br></div><div dir="ltr"><br></div><div dir="ltr">Active mount points via nfs-ganesha or fuse continue to work.<br></div><div dir="ltr">Existing clients cause errors in the arb-brick logs on node2 for missing files or dirs, but clients seem not affected. r/w operations work.<br></div><div dir="ltr"><br></div><div dir="ltr">New clients are not able to fuse mount the volume for "authentication error".<br></div><div dir="ltr">heal statistics heal-count show several hundred files need healing, this count is rising. Watching df on the arb-brick mount point on node2 shows every now and then a few bytes written, but then removed immideately after that.<br></div><div dir="ltr"><br></div><div dir="ltr">Any help/recommendation for you highly appreciated.<br></div><div dir="ltr">Thank you!<br></div><div dir="ltr"><br></div><div dir="ltr">A.<br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div></div></div>