
<html><head></head><body><div><br></div><div>If you create a volume with replica 2 arbiter 1</div><div><br></div><div>you create 2 data bricks that are mirrored (makes 2 file copies)</div><div>+</div><div>you create 1 arbiter that holds metadata of all files on these bricks.</div><div><br></div><div>You "can" create all on the same server, but this makes no sense, because when the server goes down, no files on these disks are accessible anymore,<br>hence why bestpractice is to spread out over 3 servers, so when one server (or disk) goes down, you will still have 1 file copy and 1 arbiter with metadata online.<br>Which is also very handy when the down server comes up again, because then you prevent splitbrain as you have matching file copy + metadata showing which version of each file is newest, thus self-heal can jump in to get you back to 2 file copies.<br><br>when you want to add further bricks, you must add pairs i.e.<br>you will add again 2 bricks 1 arbiter and these bricks and arbiter belong together and share the same files and metadata.<br><br>Hth.<br>A.</div><div><br></div><div><br></div><div>Am Dienstag, dem 05.11.2024 um 13:28 -0300 schrieb Gilberto Ferreira:</div><blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex"><div dir="ltr">Ok.<div>I got confused here!<br>For each brick I will need one arbiter brick, in a different partition/folder?</div><div>And what if in some point in the future I decide to add a new brick in the main servers?</div><div>Do I need to provide another partition/folder in the arbiter and then adjust the arbiter brick counter?</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><br></div><div><br></div><div><div><div>Gilberto Nunes Ferreira</div></div><div><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px"><br></p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div><br></div></div><div><br></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em ter., 5 de nov. de 2024 às 13:22, Andreas Schwibbe <<a href="mailto:a.schwibbe@gmx.net">a.schwibbe@gmx.net</a>> escreveu:<br></div><blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex"><div><div>Your add-brick command adds 2 bricks 1 arbiter (even though you name them all arbiter!)<br><br>The sequence is important:</div><div><br></div><div>gluster v add-brick VMS replica 2 arbiter 1 gluster1:/gv0 gluster2:/gv0 arbiter1:/arb1<br><br>adds two data bricks and a corresponding arbiter from 3 different servers and 3 different disks, <br>thus you can loose any one server OR any one disk and stay up and consistent.<br><br>adding more bricks to the volume you can follow the pattern.<br><br>A.</div><div><br></div><div>Am Dienstag, dem 05.11.2024 um 12:51 -0300 schrieb Gilberto Ferreira:</div><blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex"><div dir="ltr">Hi there.<div><br></div><div>In previous emails, I comment with you guys, about 2 node gluster server, where the bricks lay down in different size and folders in the same server, like</div><div><br></div><div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)">gluster vol create VMS replica 2 gluster1:/disco2TB-0/vms gluster2:/disco2TB-0/vms gluster1:/disco1TB-0/vms gluster2:/disco1TB-0/vms gluster1:/disco1TB-1/vms gluster2:/disco1TB-1/vms</span><br></span></div><div><br></div></div><div>So I went ahead and installed a Debian 12 and installed the same gluster version that the other servers, which is now 11.1 or something like that.</div><div>In this new server, I have a small disk like 480G in size.</div><div>And I created 3 partitions formatted with XFS using imaxpct=75, as suggested in previous emails.</div><div><br></div><div>And than in the gluster nodes, I tried to add the brick</div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)">gluster vol add-brick VMS replica 3 arbiter 1 arbiter:/arbiter1/arbiter1 arbiter:/arbiter2/arbiter2 arbiter:/arbiter3/arbiter3</span><br></span></div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)"><br></span></span></div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)">But to my surprise (or not!) I got this message:</span></span></div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)">volume add-brick: failed: Multiple bricks of a replicate volume are present on the same server. This setup is not optimal. Bricks should be on different nodes to have best fault tolerant co</span><br>nfiguration. Use 'force' at the end of the command if you want to override this behavior. <br><br></span></div><div><span style="font-family:monospace">Why is that?</span></div><div><span style="font-family:monospace"><br></span></div><div> </div><div><br></div><div><br></div><div><br></div><div><br><div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><br></div><div><br></div><div><div><div>Gilberto Nunes Ferreira</div></div><div><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px"><br></p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div></div></div></div><div>________<br></div><div><br></div><div><br></div><div><br></div><div>Community Meeting Calendar:<br></div><div><br></div><div>Schedule -<br></div><div>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div></blockquote><div><br></div><div><span></span></div></div></blockquote></div></blockquote><div><br></div><div><span></span></div></body></html>