<div dir="ltr">What do you mean &quot;sharding&quot;? Do you mean sharing folders between two servers to host qcow2 or raw vm images?<br>Here I am using Proxmox which uses qemu but not virsh.<div><br></div><div>Thanks<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>---</div><div><div><div>Gilberto Nunes Ferreira</div></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">(47) 3025-5907</span><br></div><div><font size="4"><b></b></font></div><div><span style="font-size:12.8px">(47) 99676-7530 - Whatsapp / Telegram</span><br></div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px">Skype: gilberto.nunes36</p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em qui., 6 de ago. de 2020 às 01:09, Strahil Nikolov &lt;<a href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a>&gt; escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">As  you mentioned qcow2  files,  check the virt group (/var/lib/glusterfs/group or something like that). It has optimal setttins for VMs and is used by oVirt.<br>
<br>
WARNING: If you decide to enable the group, which will also enable sharding, NEVER EVER DISABLE SHARDING -&gt; ONCE ENABLED STAYS ENABLED !!!<br>
Sharding helps reduce loocking during replica heals.<br>
<br>
WARNING2: As virt group uses sharding (fixes the size of file into shard size),  you should consider cluster.favorite-child-policy with value ctime/mtime.<br>
<br>
Best Regards,<br>
Strahil Nikolov<br>
<br>
На 6 август 2020 г. 1:56:58 GMT+03:00, Gilberto Nunes &lt;<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; написа:<br>
&gt;Ok...Thanks a lot Strahil<br>
&gt;<br>
&gt;This gluster volume set VMS cluster.favorite-child-policy size do the<br>
&gt;trick<br>
&gt;to me here!<br>
&gt;<br>
&gt;Cheers<br>
&gt;---<br>
&gt;Gilberto Nunes Ferreira<br>
&gt;<br>
&gt;(47) 3025-5907<br>
&gt;(47) 99676-7530 - Whatsapp / Telegram<br>
&gt;<br>
&gt;Skype: gilberto.nunes36<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;Em qua., 5 de ago. de 2020 às 18:15, Strahil Nikolov<br>
&gt;&lt;<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br>
&gt;escreveu:<br>
&gt;<br>
&gt;&gt; This could happen if you have pending heals. Did you reboot that node<br>
&gt;&gt; recently ?<br>
&gt;&gt; Did you set automatic unsplit-brain ?<br>
&gt;&gt;<br>
&gt;&gt; Check for pending heals and files in splitbrain.<br>
&gt;&gt;<br>
&gt;&gt; If not, you can check<br>
&gt;&gt;<br>
&gt;<a href="https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/" rel="noreferrer" target="_blank">https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/</a><br>
&gt;&gt; (look at point 5).<br>
&gt;&gt;<br>
&gt;&gt; Best Regards,<br>
&gt;&gt; Strahil Nikolov<br>
&gt;&gt;<br>
&gt;&gt; На 5 август 2020 г. 23:41:57 GMT+03:00, Gilberto Nunes &lt;<br>
&gt;&gt; <a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; написа:<br>
&gt;&gt; &gt;I&#39;m in trouble here.<br>
&gt;&gt; &gt;When I shutdown the pve01 server, the shared folder over glusterfs<br>
&gt;is<br>
&gt;&gt; &gt;EMPTY!<br>
&gt;&gt; &gt;It&#39;s supposed to be a qcow2 file inside it.<br>
&gt;&gt; &gt;The content is show right, just after I power on pve01 backup...<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;Some advice?<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;Thanks<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;---<br>
&gt;&gt; &gt;Gilberto Nunes Ferreira<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;(47) 3025-5907<br>
&gt;&gt; &gt;(47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;Skype: gilberto.nunes36<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;Em qua., 5 de ago. de 2020 às 11:07, Gilberto Nunes &lt;<br>
&gt;&gt; &gt;<a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; escreveu:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; Well...<br>
&gt;&gt; &gt;&gt; I do the follow:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; gluster vol create VMS replica 3 arbiter 1 pve01:/DATA/brick1<br>
&gt;&gt; &gt;&gt; pve02:/DATA/brick1.5 pve01:/DATA/arbiter1.5 pve02:/DATA/brick2 pv<br>
&gt;&gt; &gt;&gt; e01:/DATA/brick2.5 pve02:/DATA/arbiter2.5 force<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; And now I have:<br>
&gt;&gt; &gt;&gt; gluster vol info<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Volume Name: VMS<br>
&gt;&gt; &gt;&gt; Type: Distributed-Replicate<br>
&gt;&gt; &gt;&gt; Volume ID: 1bd712f5-ccb9-4322-8275-abe363d1ffdd<br>
&gt;&gt; &gt;&gt; Status: Started<br>
&gt;&gt; &gt;&gt; Snapshot Count: 0<br>
&gt;&gt; &gt;&gt; Number of Bricks: 2 x (2 + 1) = 6<br>
&gt;&gt; &gt;&gt; Transport-type: tcp<br>
&gt;&gt; &gt;&gt; Bricks:<br>
&gt;&gt; &gt;&gt; Brick1: pve01:/DATA/brick1<br>
&gt;&gt; &gt;&gt; Brick2: pve02:/DATA/brick1.5<br>
&gt;&gt; &gt;&gt; Brick3: pve01:/DATA/arbiter1.5 (arbiter)<br>
&gt;&gt; &gt;&gt; Brick4: pve02:/DATA/brick2<br>
&gt;&gt; &gt;&gt; Brick5: pve01:/DATA/brick2.5<br>
&gt;&gt; &gt;&gt; Brick6: pve02:/DATA/arbiter2.5 (arbiter)<br>
&gt;&gt; &gt;&gt; Options Reconfigured:<br>
&gt;&gt; &gt;&gt; cluster.quorum-count: 1<br>
&gt;&gt; &gt;&gt; cluster.quorum-reads: false<br>
&gt;&gt; &gt;&gt; cluster.self-heal-daemon: enable<br>
&gt;&gt; &gt;&gt; cluster.heal-timeout: 10<br>
&gt;&gt; &gt;&gt; storage.fips-mode-rchecksum: on<br>
&gt;&gt; &gt;&gt; transport.address-family: inet<br>
&gt;&gt; &gt;&gt; nfs.disable: on<br>
&gt;&gt; &gt;&gt; performance.client-io-threads: off<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; This values I have put it myself, in order to see if could improve<br>
&gt;&gt; &gt;the<br>
&gt;&gt; &gt;&gt; time to make the volume available, when pve01 goes down with<br>
&gt;ifupdown<br>
&gt;&gt; &gt;&gt; cluster.quorum-count: 1<br>
&gt;&gt; &gt;&gt; cluster.quorum-reads: false<br>
&gt;&gt; &gt;&gt; cluster.self-heal-daemon: enable<br>
&gt;&gt; &gt;&gt; cluster.heal-timeout: 10<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Nevertheless, it took more than 1 minutes to the volume VMS<br>
&gt;available<br>
&gt;&gt; &gt;in<br>
&gt;&gt; &gt;&gt; the other host (pve02).<br>
&gt;&gt; &gt;&gt; Is there any trick to reduce this time ?<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Thanks<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; ---<br>
&gt;&gt; &gt;&gt; Gilberto Nunes Ferreira<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Em qua., 5 de ago. de 2020 às 08:57, Gilberto Nunes &lt;<br>
&gt;&gt; &gt;&gt; <a href="mailto:gilberto.nunes32@gmail.com" target="_blank">gilberto.nunes32@gmail.com</a>&gt; escreveu:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; hum I see... like this:<br>
&gt;&gt; &gt;&gt;&gt; [image: image.png]<br>
&gt;&gt; &gt;&gt;&gt; ---<br>
&gt;&gt; &gt;&gt;&gt; Gilberto Nunes Ferreira<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; (47) 3025-5907<br>
&gt;&gt; &gt;&gt;&gt; (47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Skype: gilberto.nunes36<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Em qua., 5 de ago. de 2020 às 02:14, Computerisms Corporation &lt;<br>
&gt;&gt; &gt;&gt;&gt; <a href="mailto:bob@computerisms.ca" target="_blank">bob@computerisms.ca</a>&gt; escreveu:<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; check the example of the chained configuration on this page:<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;<a href="https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.3/html/administration_guide/creating_arbitrated_replicated_volumes" rel="noreferrer" target="_blank">https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.3/html/administration_guide/creating_arbitrated_replicated_volumes</a><br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; and apply it to two servers...<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; On 2020-08-04 8:25 p.m., Gilberto Nunes wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Hi Bob!<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Could you, please, send me more detail about this<br>
&gt;configuration?<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; I will appreciate that!<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Thank you<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; ---<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Gilberto Nunes Ferreira<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; (47) 3025-5907<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; **<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; (47) 99676-7530 - Whatsapp / Telegram<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Skype: gilberto.nunes36<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; Em ter., 4 de ago. de 2020 às 23:47, Computerisms Corporation<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt; &lt;<a href="mailto:bob@computerisms.ca" target="_blank">bob@computerisms.ca</a> &lt;mailto:<a href="mailto:bob@computerisms.ca" target="_blank">bob@computerisms.ca</a>&gt;&gt; escreveu:<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Hi Gilberto,<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     My understanding is there can only be one arbiter per<br>
&gt;&gt; &gt;replicated<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     set.  I<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     don&#39;t have a lot of practice with gluster, so this could<br>
&gt;be<br>
&gt;&gt; &gt;bad<br>
&gt;&gt; &gt;&gt;&gt;&gt; advice,<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     but the way I dealt with it on my two servers was to use 6<br>
&gt;&gt; &gt;bricks<br>
&gt;&gt; &gt;&gt;&gt;&gt; as<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     distributed-replicated (this is also relatively easy to<br>
&gt;&gt; &gt;migrate to<br>
&gt;&gt; &gt;&gt;&gt;&gt; 3<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     servers if that happens for you in the future):<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Server1     Server2<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     brick1      brick1.5<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     arbiter1.5  brick2<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     brick2.5    arbiter2.5<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     On 2020-08-04 7:00 p.m., Gilberto Nunes wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Hi there.<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; I have two physical servers deployed as replica 2 and,<br>
&gt;&gt; &gt;&gt;&gt;&gt; obviously,<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     I got<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; a split-brain.<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; So I am thinking in use two virtual machines,each one<br>
&gt;in<br>
&gt;&gt; &gt;&gt;&gt;&gt; physical<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; servers....<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Then this two VMS act as a artiber of gluster set....<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Is this doable?<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Thanks<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; ________<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Community Meeting Calendar:<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Schedule -<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; Gluster-users mailing list<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt; &gt;&lt;mailto:<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;      &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     ________<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Community Meeting Calendar:<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Schedule -<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     Gluster-users mailing list<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&lt;mailto:<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;     <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt; &gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;<br>
</blockquote></div>