Any errors in gluster-ta.service on the arbiter node ?<div><br></div><div>Best Regards,</div><div>Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Tue, Feb 15, 2022 at 14:28, Diego Zuccato</div><div><diego.zuccato@unibo.it> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">Hello all.<br></div><div dir="ltr"><br></div><div dir="ltr">I'm experimenting with thin-arbiter and getting disappointing results.<br></div><div dir="ltr"><br></div><div dir="ltr">I have 3 hosts in the trusted pool:<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster --version<br></div><div dir="ltr">glusterfs 9.2<br></div><div dir="ltr">[...]<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster pool list<br></div><div dir="ltr">UUID                                    Hostname        State<br></div><div dir="ltr">d4791fed-3e6d-4f8f-bdb6-4e0043610ead    nas3            Connected<br></div><div dir="ltr">bff398f0-9d1d-4bd0-8a47-0bf481d1d593    nas2            Connected<br></div><div dir="ltr">4607034c-919d-4675-b5fc-14e1cad90214    localhost       Connected<br></div><div dir="ltr"><br></div><div dir="ltr">When I try to create a new volume, the first initialization succeeds:<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v create Bck replica 2 thin-arbiter 1 <br></div><div dir="ltr">nas{1,3}:/bricks/00/Bck nas2:/bricks/arbiter/Bck<br></div><div dir="ltr">volume create: Bck: success: please start the volume to access data<br></div><div dir="ltr"><br></div><div dir="ltr">But adding a second brick segfaults the daemon:<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v add-brick Bck nas{1,3}:/bricks/01/Bck<br></div><div dir="ltr">Connection failed. Please check if gluster daemon is operational.<br></div><div dir="ltr"><br></div><div dir="ltr">After erroring out, systemctl status glusterd reports daemon in <br></div><div dir="ltr">"restarting" state and it eventually restarts. But the new brick is not <br></div><div dir="ltr">added to the volume, even if trying to re-add it yelds a "brick is <br></div><div dir="ltr">already part of a volume" error. Seems glusterd crashes between marking <br></div><div dir="ltr">brick dir as used and recording its data in the config.<br></div><div dir="ltr"><br></div><div dir="ltr">If I try to add all the bricks during the creation, glusterd does not <br></div><div dir="ltr">die but the volume doesn't get created:<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# rm -rf /bricks/{00..07}/Bck && mkdir /bricks/{00..07}/Bck<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v create Bck replica 2 thin-arbiter 1 <br></div><div dir="ltr">nas{1,3}:/bricks/00/Bck nas{1,3}:/bricks/01/Bck nas{1,3}:/bricks/02/Bck <br></div><div dir="ltr">nas{1,3}:/bricks/03/Bck nas{1,3}:/bricks/04/Bck nas{1,3}:/bricks/05/Bck <br></div><div dir="ltr">nas{1,3}:/bricks/06/Bck nas{1,3}:/bricks/07/Bck nas2:/bricks/arbiter/Bck<br></div><div dir="ltr">volume create: Bck: failed: Commit failed on localhost. Please check the <br></div><div dir="ltr">log file for more details.<br></div><div dir="ltr"><br></div><div dir="ltr">Couldn't find anything useful in the logs :(<br></div><div dir="ltr"><br></div><div dir="ltr">If I create a "replica 3 arbiter 1" over the same brick directories <br></div><div dir="ltr">(just adding some directories to keep arbiters separated), it succeeds:<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v create Bck replica 3 arbiter 1 <br></div><div dir="ltr">nas{1,3}:/bricks/00/Bck nas2:/bricks/arbiter/Bck/00<br></div><div dir="ltr">volume create: Bck: success: please start the volume to access data<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# for T in {01..07}; do gluster v add-brick Bck <br></div><div dir="ltr">nas{1,3}:/bricks/$T/Bck nas2:/bricks/arbiter/Bck/$T ; done<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr">volume add-brick: success<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v start Bck<br></div><div dir="ltr">volume start: Bck: success<br></div><div dir="ltr"><a ymailto="mailto:root@nas1" href="mailto:root@nas1">root@nas1</a>:~# gluster v info Bck<br></div><div dir="ltr"><br></div><div dir="ltr">Volume Name: Bck<br></div><div dir="ltr">Type: Distributed-Replicate<br></div><div dir="ltr">Volume ID: 4786e747-8203-42bf-abe8-107a50b238ee<br></div><div dir="ltr">Status: Started<br></div><div dir="ltr">Snapshot Count: 0<br></div><div dir="ltr">Number of Bricks: 8 x (2 + 1) = 24<br></div><div dir="ltr">Transport-type: tcp<br></div><div dir="ltr">Bricks:<br></div><div dir="ltr">Brick1: nas1:/bricks/00/Bck<br></div><div dir="ltr">Brick2: nas3:/bricks/00/Bck<br></div><div dir="ltr">Brick3: nas2:/bricks/arbiter/Bck/00 (arbiter)<br></div><div dir="ltr">Brick4: nas1:/bricks/01/Bck<br></div><div dir="ltr">Brick5: nas3:/bricks/01/Bck<br></div><div dir="ltr">Brick6: nas2:/bricks/arbiter/Bck/01 (arbiter)<br></div><div dir="ltr">Brick7: nas1:/bricks/02/Bck<br></div><div dir="ltr">Brick8: nas3:/bricks/02/Bck<br></div><div dir="ltr">Brick9: nas2:/bricks/arbiter/Bck/02 (arbiter)<br></div><div dir="ltr">Brick10: nas1:/bricks/03/Bck<br></div><div dir="ltr">Brick11: nas3:/bricks/03/Bck<br></div><div dir="ltr">Brick12: nas2:/bricks/arbiter/Bck/03 (arbiter)<br></div><div dir="ltr">Brick13: nas1:/bricks/04/Bck<br></div><div dir="ltr">Brick14: nas3:/bricks/04/Bck<br></div><div dir="ltr">Brick15: nas2:/bricks/arbiter/Bck/04 (arbiter)<br></div><div dir="ltr">Brick16: nas1:/bricks/05/Bck<br></div><div dir="ltr">Brick17: nas3:/bricks/05/Bck<br></div><div dir="ltr">Brick18: nas2:/bricks/arbiter/Bck/05 (arbiter)<br></div><div dir="ltr">Brick19: nas1:/bricks/06/Bck<br></div><div dir="ltr">Brick20: nas3:/bricks/06/Bck<br></div><div dir="ltr">Brick21: nas2:/bricks/arbiter/Bck/06 (arbiter)<br></div><div dir="ltr">Brick22: nas1:/bricks/07/Bck<br></div><div dir="ltr">Brick23: nas3:/bricks/07/Bck<br></div><div dir="ltr">Brick24: nas2:/bricks/arbiter/Bck/07 (arbiter)<br></div><div dir="ltr">Options Reconfigured:<br></div><div dir="ltr">cluster.granular-entry-heal: on<br></div><div dir="ltr">storage.fips-mode-rchecksum: on<br></div><div dir="ltr">transport.address-family: inet<br></div><div dir="ltr">nfs.disable: on<br></div><div dir="ltr">performance.client-io-threads: off<br></div><div dir="ltr"><br></div><div dir="ltr">Does thin arbiter support just one replica of bricks?<br></div><div dir="ltr"><br></div><div dir="ltr">-- <br></div><div dir="ltr">Diego Zuccato<br></div><div dir="ltr">DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">Servizi Informatici<br></div><div dir="ltr">Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">tel.: +39 051 20 95786<br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div>