<div dir="ltr"><div>I am dealing here with just 2 nodes and a bunch of disks on it... Just a scenario for study but real in many cases we face low budgets...</div><div>Anyway thanks for the tips! <br></div><div><br></div><div><br></div><div><br clear="all"><div><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><div><div>Gilberto Nunes Ferreira</div></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">(47) 3025-5907</span><br></div><div><font size="4"><b></b></font></div><div><span style="font-size:12.8px">(47) 99676-7530 - Whatsapp / Telegram</span><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px">Skype: gilberto.nunes36</p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em qui., 30 de jul. de 2020 às 13:34, Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt; escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Anyway in raid1+spare  on a replica 2  volume you will be using 6 disks  in total.<br>
It  will  be more optimal to get all those  disks  in &#39;replica 3&#39; or &#39;replica 3  arbiter 1&#39; (for the arbiter it would be optimal  to have a small ssd and the data disks for tge actual data).<br>
<br>
Best Regards,<br>
Strahil Nikolov<br>
<br>
На 30 юли 2020 г. 19:32:32 GMT+03:00, Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt; написа:<br>
&gt;When using legacy,  you need to  prepare the MBR on each disk, so the<br>
&gt;BIOS will be able to boot from it and load grub.<br>
&gt;<br>
&gt;On UEFI, you will need 2 entries each pointing to the other disk. There<br>
&gt;is a thread for each approach in the CentOS7 forums and the peocedure<br>
&gt;is almost the same on all linux .<br>
&gt;<br>
&gt;Best Regards,<br>
&gt;Strahil Nikolov<br>
&gt;<br>
&gt;На 30 юли 2020 г. 18:17:49 GMT+03:00, Gilberto Nunes<br>
&gt;&lt;<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; написа:<br>
&gt;&gt;I am using Legacy... But I am using Virtualbox in my labs... Perhaps<br>
&gt;&gt;this<br>
&gt;&gt;is the problem...<br>
&gt;&gt;I don&#39;t do that in real hardware. But with spare disk (2 + 1) in mdadm<br>
&gt;&gt;it&#39;s<br>
&gt;&gt;fine.<br>
&gt;&gt;<br>
&gt;&gt;---<br>
&gt;&gt;Gilberto Nunes Ferreira<br>
&gt;&gt;<br>
&gt;&gt;(47) 3025-5907<br>
&gt;&gt;(47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt;<br>
&gt;&gt;Skype: gilberto.nunes36<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;Em qui., 30 de jul. de 2020 às 12:16, Strahil Nikolov<br>
&gt;&gt;&lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br>
&gt;&gt;escreveu:<br>
&gt;&gt;<br>
&gt;&gt;&gt; The crash  with failed  mdadm disk is not normal. We need to check<br>
&gt;it<br>
&gt;&gt;out.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Are  you using  Legacy or  UEFI  ?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Best Regards,<br>
&gt;&gt;&gt; Strahil Nikolov<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; На 30 юли 2020 г. 16:25:47 GMT+03:00, Gilberto Nunes &lt;<br>
&gt;&gt;&gt; <a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; написа:<br>
&gt;&gt;&gt; &gt;But I will give it a try in the lvm mirroring process.... Thanks<br>
&gt;&gt;&gt; &gt;---<br>
&gt;&gt;&gt; &gt;Gilberto Nunes Ferreira<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;(47) 3025-5907<br>
&gt;&gt;&gt; &gt;(47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;Skype: gilberto.nunes36<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;Em qui., 30 de jul. de 2020 às 10:23, Gilberto Nunes &lt;<br>
&gt;&gt;&gt; &gt;<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; escreveu:<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; Well, actually I am not concerned ONLY about mirroring the data,<br>
&gt;&gt;but<br>
&gt;&gt;&gt; &gt;with<br>
&gt;&gt;&gt; &gt;&gt; reliability on it.<br>
&gt;&gt;&gt; &gt;&gt; Here during my lab tests I notice if I pull off a disk and then<br>
&gt;&gt;power<br>
&gt;&gt;&gt; &gt;on<br>
&gt;&gt;&gt; &gt;&gt; the server, the LVM crashes...<br>
&gt;&gt;&gt; &gt;&gt; On the other hand, with ZFS even in degraded state the system<br>
&gt;&gt;booted<br>
&gt;&gt;&gt; &gt;&gt; normally.<br>
&gt;&gt;&gt; &gt;&gt; The same happens with mdadm. That&#39;s the point.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; ---<br>
&gt;&gt;&gt; &gt;&gt; Gilberto Nunes Ferreira<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; (47) 3025-5907<br>
&gt;&gt;&gt; &gt;&gt; (47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Skype: gilberto.nunes36<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Em qui., 30 de jul. de 2020 às 10:18, Alvin Starr<br>
&gt;&gt;&lt;<a href="mailto:alvin@netvel.net" target="_blank">alvin@netvel.net</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; escreveu:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; LVM supports mirroring or raid1.<br>
&gt;&gt;&gt; &gt;&gt;&gt; So to create a raid1 you would do something like &quot;lvcreate -n<br>
&gt;&gt;&gt; &gt;raidvol  -L<br>
&gt;&gt;&gt; &gt;&gt;&gt; 1T --mirrors 1  /dev/bigvg&quot;<br>
&gt;&gt;&gt; &gt;&gt;&gt; You can add a mirror to an existing logical volume using<br>
&gt;&gt;lvconvert<br>
&gt;&gt;&gt; &gt;with<br>
&gt;&gt;&gt; &gt;&gt;&gt; something like &quot;lvconvert --mirrors +1 bigvg/unmirroredlv&quot;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; But other than simple mirroring you will need mdadm.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; On 7/30/20 8:39 AM, Gilberto Nunes wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Doing some research and the chvg command, which is responsable<br>
&gt;&gt;for<br>
&gt;&gt;&gt; &gt;create<br>
&gt;&gt;&gt; &gt;&gt;&gt; hotspare disks in LVM is available only in AIX!<br>
&gt;&gt;&gt; &gt;&gt;&gt; I have a Debian Buster box and there is no such command chvg.<br>
&gt;&gt;&gt; &gt;Correct me<br>
&gt;&gt;&gt; &gt;&gt;&gt; if I am wrong....<br>
&gt;&gt;&gt; &gt;&gt;&gt; ---<br>
&gt;&gt;&gt; &gt;&gt;&gt; Gilberto Nunes Ferreira<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; (47) 3025-5907<br>
&gt;&gt;&gt; &gt;&gt;&gt; (47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Skype: gilberto.nunes36<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Em qui., 30 de jul. de 2020 às 02:05, Strahil Nikolov &lt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; <a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt; escreveu:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; LVM allows creating/converting striped/mirrored LVs without any<br>
&gt;&gt;&gt; &gt;dowtime<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; and it&#39;s using the md module.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; Best Regards,<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; Strahil Nikolov<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; На 28 юли 2020 г. 22:43:39 GMT+03:00, Gilberto Nunes &lt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; <a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; написа:<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Hi there....<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;&#39;till now, I am using glusterfs over XFS and so far so good.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Using LVM too....<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Unfortunately, there is no way with XFS to merge two or more<br>
&gt;&gt;HDD,<br>
&gt;&gt;&gt; &gt;in<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;order<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;to use more than one HDD, like RAID1 or RAID5.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;My primary goal is to use two server with GlusterFS on top of<br>
&gt;&gt;&gt; &gt;multiples<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;HDDs for qemu images.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;I have think about BTRFS or mdadm.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Anybody has some experience on this?<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Thanks a lot<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;---<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; &gt;Gilberto Nunes Ferreira<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; ________<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Community Meeting Calendar:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Schedule -<br>
&gt;&gt;&gt; &gt;&gt;&gt; Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt;&gt; &gt;&gt;&gt; Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Gluster-users mailing<br>
&gt;&gt;&gt; &gt;listGluster-users@gluster.orghttps://<br>
&gt;&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt;&gt; Alvin Starr                   ||   land:  (647)478-6285<br>
&gt;&gt;&gt; &gt;&gt;&gt; Netvel Inc.                   ||   Cell:<br>
&gt;&gt;&gt; &gt;(416)<a href="mailto:806-0133alvin@netvel.net" target="_blank">806-0133alvin@netvel.net</a>              ||<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; ________<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Community Meeting Calendar:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Schedule -<br>
&gt;&gt;&gt; &gt;&gt;&gt; Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt;&gt; &gt;&gt;&gt; Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt; &gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;<br>
</blockquote></div>