Gald to hear that.<div><br></div><div id="yMail_cursorElementTracker_1622552127485">What version are you using ?</div><div id="yMail_cursorElementTracker_1622552172895">It's interesting to find out the reason behind that defunct status.</div><div id="yMail_cursorElementTracker_1622552138257"><br></div><div id="yMail_cursorElementTracker_1622552156804"><br></div><div id="yMail_cursorElementTracker_1622552157051">Best Regards,</div><div id="yMail_cursorElementTracker_1622552161248">Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;">  </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">Strahil,<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">I was able to resolve the issue!<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">On node1 I found [glusterfsd] <defunct>.<br></div><div dir="ltr">I put first the failing arbiters in reset-brick, then formated them new,<br></div><div dir="ltr"><br></div><div dir="ltr">I killed the zombie ps on node 1, then stopped glusterd gracefully, then killed all remaining gluster* ps, then started glusterd again,<br></div><div dir="ltr">and finally re-added the arbiters with reset brick commit force -<br></div><div dir="ltr"><br></div><div dir="ltr">now the arbiters started and have been populated correctly. :)<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Thanks for the support!<br></div><div dir="ltr">Best<br></div><div dir="ltr"><br></div><div dir="ltr">A.<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">"Strahil Nikolov" <a ymailto="mailto:hunter86_bg@yahoo.com" href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a> – 31. Mai 2021 21:03<br></div><div dir="ltr">> I would avoid shrinking the volume. An oVirt user reported issues after volume shrinking.<br></div><div dir="ltr">><br></div><div dir="ltr">> Did you try to format the arbiter brick and 'replace-brick' ?<br></div><div dir="ltr">><br></div><div dir="ltr">> Best Regards,<br></div><div dir="ltr">> Strahil Nikolov<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > I can't find anything suspicious in the brick logs other than authetication refused to clients trying to mount a dir that is not existing on the arb_n, because the self-heal isn't working.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > I tried to add another node and replace-brick a faulty arbiter, however this new arbiter sees the same error.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > Last idea is to completely remove first subvolume, then re-add as new hoping it will work.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > A.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > "<a ymailto="mailto:a.schwibbe@gmx.net" href="mailto:a.schwibbe@gmx.net">a.schwibbe@gmx.net</a>" <a ymailto="mailto:a.schwibbe@gmx.net" href="mailto:a.schwibbe@gmx.net">a.schwibbe@gmx.net</a> – 31. Mai 2021 13:44<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Ok, will do.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > working arbiter:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ls -ln /var/bricks/arb_0/ >>> drwxr-xr-x 13 33 33 146 Mai 29 22:38 brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ls- lna /var/bricks/arb_0/brick >>> drw------- 262 0 0 8192 Mai 29 22:38 .glusterfs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > + all data-brick dirs ...<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > affected arbiter:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ls -ln /var/bricks/arb_0/ >>> drwxr-xr-x 3 0 0 24 Mai 30 16:23 brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ls -lna /var/bricks/arb_0/brick >>> drw------- 7 0 0 99 Mai 30 16:23 .glusterfs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > nothing else here<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > find /var/bricks/arb_0/brick -not -user 33 -print<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/xattrop<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/dirty<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/entry-changes<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs/htime<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs/csnap<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00/00<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00/00/00000000-0000-0000-0000-000000000001<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/landfill<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/unlink<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/health_check<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > find /var/bricks/arb_0/brick -not -user 33 -print<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/xattrop<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/dirty<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/indices/entry-changes<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs/htime<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/changelogs/csnap<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00/00<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/00/00/00000000-0000-0000-0000-000000000001<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/landfill<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/unlink<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > /var/bricks/arb_0/brick/.glusterfs/health_check<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Output is identical to user:group 36 as all these have UID:GID 0:0, but these files have 0:0 also on the working arbiters.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > And this is all files/dirs that exist on the affected arbs. Nothing more on it. There should be much more, but this seems to missing self heal.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Thanks.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > A.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > "Strahil Nikolov" <a ymailto="mailto:hunter86_bg@yahoo.com" href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a> – 31. Mai 2021 13:11<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > Hi,<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > I think that the best way is to go through the logs on the affected arbiter brick (maybe even temporarily increase the log level).<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > What is the output of:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > find /var/brick/arb_0/brick -not -user 36 -print<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > find /var/brick/arb_0/brick -not group 36 -print<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > Maybe there are some files/dirs that are with wrong ownership.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > Best Regards,<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > Strahil Nikolov<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > Thanks Strahil,<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > unfortunately I cannot connect as the mount is denied as in mount.log provided.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > IPs > n.n.n..100 are clients and simply cannot mount the volume. When killing the arb pids on node2 new clients can mount the volume. When bringing them up again I experience the same problem.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > I wonder why the root dir on the arb bricks has wrong UID:GID.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > I added regular data bricks before without any problems on node2.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > Also when executing "watch df"<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > I see<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > /dev/md50 11700224 33108 11667116 1% /var/bricks/arb_0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ..<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > /dev/md50 11700224 33128 11667096 1% /var/bricks/arb_0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ..<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > /dev/md50 11700224 33108 11667116 1% /var/bricks/arb_0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > So heal daemon might try to do something, which isn't working. Thus I chowned UID:GID of ../arb_0/brick manually to match, but it did not work either.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > As I added all 6 arbs at once and 4 are working as expected I really don't get what's wrong with these...<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > A.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > "Strahil Nikolov" <a ymailto="mailto:hunter86_bg@yahoo.com" href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a> – 31. Mai 2021 11:12<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > For the arb_0 I seeonly 8 clients , while there should be 12 clients:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Brick : 192.168.0.40:/var/bricks/0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Clients connected : 12<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Brick : 192.168.0.41:/var/bricks/0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Clients connected : 12<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Brick : 192.168.0.80:/var/bricks/arb_0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Clients connected : 8<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Can you try to reconnect them. The most simple way is to kill the arbiter process and 'gluster volume start force' , but always verify that you have both data bricks up and running.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Yet, this doesn't explain why the heal daemon is not able to replicate properly.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Best Regards,<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > Strahil Nikolov<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Meanwhile I tried reset-brick on one of the failing arbiters on node2, but with same results. The behaviour is reproducible, arbiter stays empty.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > node0: 192.168.0.40<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > node1: 192.168.0.41<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > node3: 192.168.0.80<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > volume info:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Volume Name: gv0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Type: Distributed-Replicate<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Volume ID: 9bafc4d2-d9b6-4b6d-a631-1cf42d1d2559<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Started<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Snapshot Count: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of Bricks: 6 x (2 + 1) = 18<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Transport-type: tcp<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Bricks:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick1: 192.168.0.40:/var/bricks/0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick2: 192.168.0.41:/var/bricks/0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick3: 192.168.0.80:/var/bricks/arb_0/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick4: 192.168.0.40:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick5: 192.168.0.80:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick6: 192.168.0.41:/var/bricks/arb_1/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick7: 192.168.0.40:/var/bricks/1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick8: 192.168.0.41:/var/bricks/1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick9: 192.168.0.80:/var/bricks/arb_1/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick10: 192.168.0.40:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick11: 192.168.0.80:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick12: 192.168.0.41:/var/bricks/arb_0/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick13: 192.168.0.41:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick14: 192.168.0.80:/var/bricks/4/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick15: 192.168.0.40:/var/bricks/arb_0/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick16: 192.168.0.41:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick17: 192.168.0.80:/var/bricks/5/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick18: 192.168.0.40:/var/bricks/arb_1/brick (arbiter)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Options Reconfigured:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.min-free-inodes: 6%<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.min-free-disk: 2%<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.md-cache-timeout: 600<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.rebal-throttle: lazy<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.scrub-freq: monthly<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.scrub-throttle: lazy<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.scrub: Inactive<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.bitrot: off<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.server-quorum-type: none<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.cache-refresh-timeout: 10<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.cache-max-file-size: 64MB<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.cache-size: 781901824<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > auth.allow: /(192.168.0.*),/usr/andreas(192.168.0.120),/usr/otis(192.168.0.168),/usr/otis(192.168.0.111),/usr/otis(192.168.0.249),/media(192.168.0.*),/virt(192.168.0.*),/cloud(192.168.0.247),/zm(192.168.0.136)<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.cache-invalidation: on<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > performance.stat-prefetch: on<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.cache-invalidation-timeout: 600<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.quorum-type: auto<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > features.cache-invalidation: on<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > nfs.disable: on<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > transport.address-family: inet<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.self-heal-daemon: on<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > cluster.server-quorum-ratio: 51%<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > volume status:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status of volume: gv0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Gluster process TCP Port RDMA Port Online Pid<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ------------------------------------------------------------------------------<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/0/brick 49155 0 Y 713066<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/0/brick 49152 0 Y 2082<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/arb_0/brick 49152 0 Y 26186<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/2/brick 49156 0 Y 713075<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/2/brick 49154 0 Y 325<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/arb_1/brick 49157 0 Y 1746903<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/1/brick 49157 0 Y 713084<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/1/brick 49153 0 Y 14104<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/arb_1/brick 49159 0 Y 2314<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/3/brick 49153 0 Y 2978692<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/3/brick 49155 0 Y 23269<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/arb_0/brick 49158 0 Y 1746942<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/3/brick 49155 0 Y 897058<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/4/brick 49156 0 Y 27433<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/arb_0/brick 49152 0 Y 3561115<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/2/brick 49156 0 Y 902602<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/5/brick 49157 0 Y 29522<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/arb_1/brick 49154 0 Y 3561159<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Self-heal Daemon on localhost N/A N/A Y 26199<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Self-heal Daemon on 192.168.0.41 N/A N/A Y 2240635<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Self-heal Daemon on 192.168.0.40 N/A N/A Y 3912810<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Task Status of Volume gv0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ------------------------------------------------------------------------------<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > There are no active volume tasks<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > volume heal info summary:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/0/brick <--- contains 100177 files in 25015 dirs<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/arb_0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/arb_1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 1006<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/arb_1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/arb_0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/3/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/4/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/arb_0/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.41:/var/bricks/2/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.80:/var/bricks/5/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Brick 192.168.0.40:/var/bricks/arb_1/brick<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Status: Connected<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Total Number of entries: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in heal pending: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries in split-brain: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Number of entries possibly healing: 0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > client-list:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Client connections for volume gv0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Name count<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ----- ------<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > fuse 5<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > gfapi.ganesha.nfsd 3<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > glustershd 3<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > total clients for volume gv0 : 11<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > -----------------------------------------------------------------<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > all clients: pro.hostit.de/nextcloud/index.php/s/tWdHox3aqb3qqbG<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > failing mnt.log pro.hostit.de/nextcloud/index.php/s/2E2NLnXNsTy7EQe<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > Thank you.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > A.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > "Strahil Nikolov" <a ymailto="mailto:hunter86_bg@yahoo.com" href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a> – 31. Mai 2021 05:23<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > Can you provide gluster volume info , gluster volume status and gluster volume heal info summary and most probably gluster volume status all clients/client-list<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > Best Regards,<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > Strahil Nikolov<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > On Sun, May 30, 2021 at 15:17, <a ymailto="mailto:a.schwibbe@gmx.net" href="mailto:a.schwibbe@gmx.net">a.schwibbe@gmx.net</a><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > wrote:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > I am seeking help here after looking for solutions on the web for my distributed-replicated volume.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > My volume is operated since v3.10 and I upgraded through to 7.9, replaced nodes, replaced bricks without a problem. I love it.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Finally I wanted to extend my 6x2 distributed replicated volume with arbiters for better split-brain protection.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > So I add-brick with replication 3 arbiter 1 (as I had a 6x2 I obviously added 6 arb bricks) and it successfully converted to 6 x (2 +1) and self-heal immideately started. Looking good.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Version: 7.9<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Number of Bricks: 6 x (2 + 1) = 18<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > cluster.max-op-version: 70200<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Peers: 3 (node[0..2])<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Layout<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > |node0 |node1 |node2<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > |brick0 |brick0 |arbit0<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > |arbit1 |brick1 |brick1<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > ....<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > I then recognized that arbiter volumes on node0 & node1 have been healed successfully.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Unfortunately all arbiter volumes on node2 have not been healed!<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > I realized that the main dir on my arb mount point has been added (mount point /var/brick/arb_0 now contains dir "brick") however this dir on _all_ other bricks has numeric ID 33, but on this on it has 0). The brick dir on the faulty arb-volumes does contain ".glusterfs", however it has only very few entries. Other than that "brick" is empty.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > At that point I changed brick dir owner with chown to 33:33 and hoped for self-heal to work. It did not.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > I hoped a rebalance fix-layout would fix things. It did not.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > I hoped for a glusterd restart on node2 (as this is happening to both arb volumes on this node exclusively) would help. It did not.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Active mount points via nfs-ganesha or fuse continue to work.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Existing clients cause errors in the arb-brick logs on node2 for missing files or dirs, but clients seem not affected. r/w operations work.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > New clients are not able to fuse mount the volume for "authentication error".<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > heal statistics heal-count show several hundred files need healing, this count is rising. Watching df on the arb-brick mount point on node2 shows every now and then a few bytes written, but then removed immideately after that.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Any help/recommendation for you highly appreciated.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Thank you!<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > A.<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > ________<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Community Meeting Calendar:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Schedule -<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Bridge: meet.google.com/cpu-eiue-hvk<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > Gluster-users mailing list<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > <a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > > lists.gluster.org/mailman/listinfo/gluster-users<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > ________<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Community Meeting Calendar:<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Schedule -<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Bridge: meet.google.com/cpu-eiue-hvk<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > Gluster-users mailing list<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > <a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > > lists.gluster.org/mailman/listinfo/gluster-users<br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> > ><br></div><div dir="ltr">> ><br></div><div dir="ltr">> ><br></div> </div> </blockquote></div>