[Gluster-users] ODP: ODP: ODP: Issue(?) with gluster 8.6 volume heal info
Sandro Bonazzola
sbonazzo at redhat.com
Fri Feb 25 16:47:11 UTC 2022
Il giorno ven 25 feb 2022 alle ore 17:05 Strahil Nikolov <
hunter86_bg at yahoo.com> ha scritto:
> Can you provode the gluster volume info.
>
> Also, check if lookup-optimize is in enabled state -> must be disabled as
> it might lead to serious issues [1] when reducing/expanding the volume.
>
> @Sandro,
>
> Can we move oVirt to a newer version of gluster. Sadly , 8.6 is too 'old'
> and will not receive some backports like:
> https://github.com/gluster/glusterfs-selinux/issues/27#issuecomment-1029704403
> .
>
We are moving to 10 in the next oVirt release.
>
> Best Regards,
> Strahil Nikolov
>
> [1]
> https://lists.ovirt.org/archives/list/users@ovirt.org/message/LKZCDLGWCGWSNGS4CRZUZWK4JZJC5KMF/
>
>
>
> On Fri, Feb 25, 2022 at 12:18, Proniakin Marcin
> <Marcin.Proniakin at grupawp.pl> wrote:
>
> Yes, everything is version 80000.
>
>
> I can get heal entries as soon as vm does file operations on its drive.
>
>
> ------------------------------
> *Od:* Strahil Nikolov <hunter86_bg at yahoo.com>
> *Wysłane:* czwartek, 24 lutego 2022 19:06:19
> *Do:* Proniakin Marcin; gluster-users at gluster.org
> *DW:* Milewski Daniel
> *Temat:* Re: ODP: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume
> heal info
>
> I assume that the cluster op version is also 80000.
>
> How long ,after a new VM is created, you see the heals ?
>
> Best Regards,
> Strahil Nikolov
>
> On Thu, Feb 24, 2022 at 16:50, Proniakin Marcin
> <Marcin.Proniakin at grupawp.pl> wrote:
> gluster volume status portal-1 client-list
> Client connections for volume portal-1
> Name count
> ----- ------
> glustershd 6
> fuse 6
>
> total clients for volume portal-1 : 12
> -----------------------------------------------------------------
>
> gluster volume status portal-1 clients
> Client connections for volume portal-1
> ----------------------------------------------
> Brick : backend.host-1:/srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.6:49120 311476
> 470002376 80000
> 10.3.90.6:49114 29147005
> 17456404 80000
> 10.3.90.7:49109
> 49228 48036 80000
> 10.3.90.7:48852 5282335
> 3697116 80000
> 10.3.90.8:49116
> 7132 6716 80000
> 10.3.90.8:49141 5035970
> 3523592 80000
> 10.3.90.9:49149
> 1356 1020 80000
> 10.3.90.9:49138 21755970018
> 188641540 80000
> 10.3.90.10:49147
> 1356 1020 80000
> 10.3.90.10:49142 4383160
> 3062712 80000
> 10.3.90.11:49099
> 1356 1020 80000
> 10.3.90.11:49146 620794
> 437268 80000
> ----------------------------------------------
> Brick : backend.host-2:/srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.6:49145 470035340
> 246724 80000
> 10.3.90.6:49142 29272636
> 296508952 80000
> 10.3.90.7:49019 88696
> 110764 80000
> 10.3.90.7:48849 5625219
> 290487744 80000
> 10.3.90.8:49111
> 7132 6716 80000
> 10.3.90.8:49138 5362698
> 277707576 80000
> 10.3.90.9:49141
> 1356 1020 80000
> 10.3.90.9:49135 21753368298
> 353837668 80000
> 10.3.90.10:49141
> 1356 1020 80000
> 10.3.90.10:49135 4658892
> 233135492 80000
> 10.3.90.11:49097
> 1356 1020 80000
> 10.3.90.11:49144 665374
> 36157560 80000
> ----------------------------------------------
> Brick : backend.host-3:/srv/gluster/portal-1/1/arbiter/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.7:49142
> 54272 56788 80000
> 10.3.90.7:49140 4805189
> 3466356 80000
> 10.3.90.6:49093 7701550
> 6754912 80000
> 10.3.90.6:49092
> 13968 13472 80000
> 10.3.90.8:49062
> 37392 50120 80000
> 10.3.90.8:49134 4733007
> 3418844 80000
> 10.3.90.9:49139
> 1356 1024 80000
> 10.3.90.9:49128 73525478
> 81692324 80000
> 10.3.90.10:49140
> 1356 1024 80000
> 10.3.90.10:49128 4129841
> 2983744 80000
> 10.3.90.11:49091
> 1356 1024 80000
> 10.3.90.11:49141 575280
> 417356 80000
> ----------------------------------------------
> Brick : backend.host-3:/srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.7:49141 4590842
> 3324800 80000
> 10.3.90.7:49139
> 1820 2124 80000
> 10.3.90.6:49091
> 1820 2124 80000
> 10.3.90.6:49090 15120930
> 8441968 80000
> 10.3.90.8:49061 67439688
> 402923528 80000
> 10.3.90.8:49132 4513170
> 3269792 80000
> 10.3.90.9:49137
> 3980 4420 80000
> 10.3.90.9:49106 21826918259
> 129377840 80000
> 10.3.90.10:49138
> 1504 1532 80000
> 10.3.90.10:49106 3947196
> 2863564 80000
> 10.3.90.11:49085
> 1356 1020 80000
> 10.3.90.11:49140 532208
> 387968 80000
> ----------------------------------------------
> Brick : backend.host-4:/srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.8:49145 4243870
> 3060600 80000
> 10.3.90.8:49144 402904720
> 228312 80000
> 10.3.90.7:49125
> 1588 1572 80000
> 10.3.90.7:49124 4301418
> 3105736 80000
> 10.3.90.6:49144 14035234
> 7383036 80000
> 10.3.90.6:49141
> 1588 1572 80000
> 10.3.90.9:49127
> 32492 46816 80000
> 10.3.90.9:49105 21826643087
> 97947212 80000
> 10.3.90.10:49136
> 1504 1532 80000
> 10.3.90.10:49104 3937904
> 2843364 80000
> 10.3.90.11:49083
> 1356 1020 80000
> 10.3.90.11:49138 530764
> 381124 80000
> ----------------------------------------------
> Brick : backend.host-5:/srv/gluster/portal-1/1/arbiter/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.8:49135 3776134
> 2679796 80000
> 10.3.90.7:49136
> 1356 1024 80000
> 10.3.90.7:49135 3767300
> 2674004 80000
> 10.3.90.8:49131
> 40044 40144 80000
> 10.3.90.10:49126
> 25364 34740 80000
> 10.3.90.9:49126
> 1356 1024 80000
> 10.3.90.9:49123 70007700
> 79303280 80000
> 10.3.90.6:49138 5826136
> 5018700 80000
> 10.3.90.6:49137
> 1356 1024 80000
> 10.3.90.10:49102 3799340
> 2700480 80000
> 10.3.90.11:49080
> 1356 1024 80000
> 10.3.90.11:49136 506764
> 355696 80000
> ----------------------------------------------
> Brick : backend.host-5.portal-1.dc-1.virt.dcwp.pl:
> /srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.8:49136
> 1820 2124 80000
> 10.3.90.8:49133 4664224
> 3673592 80000
> 10.3.90.7:49134 4672193
> 3682622 80000
> 10.3.90.7:49133
> 1820 2124 80000
> 10.3.90.10:49125 565940
> 939924800 80000
> 10.3.90.9:49125 21895440129
> 286893195 80000
> 10.3.90.9:49124
> 1820 2124 80000
> 10.3.90.6:49134 53287591
> 9416714 80000
> 10.3.90.6:49133 403120708
> 403013480 80000
> 10.3.90.10:49100 4712203
> 3705164 80000
> 10.3.90.11:49076
> 3832 3172 80000
> 10.3.90.11:49134 652173
> 518184 80000
> ----------------------------------------------
> Brick : backend.host-6:/srv/gluster/portal-1/1/data/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.8:49143
> 1356 1020 80000
> 10.3.90.8:49142 775941
> 551612 80000
> 10.3.90.10:49137 604317856
> 302312 80000
> 10.3.90.10:49134 986329
> 700220 80000
> 10.3.90.6:49139
> 134309032 79932 80000
> 10.3.90.6:49136 12949195
> 2243332 80000
> 10.3.90.9:49136 21886674798
> 299135324 80000
> 10.3.90.9:49134
> 1356 1020 80000
> 10.3.90.11:49019
> 9344 10560 80000
> 10.3.90.7:49143
> 1356 1020 80000
> 10.3.90.7:49138 815278
> 579496 80000
> 10.3.90.11:49133 637393
> 453952 80000
> ----------------------------------------------
> Brick : backend.host-1:/srv/gluster/portal-1/1/arbiter/brick
> Clients connected : 12
> Hostname BytesRead
> BytesWritten OpVersion
> -------- ---------
> ------------ ---------
> 10.3.90.6:49119 426216
> 246860 80000
> 10.3.90.6:49099 10980059
> 10016248 80000
> 10.3.90.7:49082
> 2052 2692 80000
> 10.3.90.7:48838 5360132
> 3748772 80000
> 10.3.90.8:49095
> 2052 2692 80000
> 10.3.90.8:49125 5126404
> 3589536 80000
> 10.3.90.9:49129
> 2052 2692 80000
> 10.3.90.9:49100 72365868
> 80713240 80000
> 10.3.90.10:49133 401516
> 155992 80000
> 10.3.90.10:49099 4491474
> 3153044 80000
> 10.3.90.11:49075
> 3832 3180 80000
> 10.3.90.11:49132 614742
> 428860 80000
> ----------------------------------------------
>
> ------------------------------
> *Od:* Strahil Nikolov <hunter86_bg at yahoo.com>
> *Wysłane:* czwartek, 24 lutego 2022 13:19:15
> *Do:* Proniakin Marcin; gluster-users at gluster.org
> *DW:* Milewski Daniel
> *Temat:* Re: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal
> info
>
> So you got the same ammount of clients connected to the bricks ? Can you
> check with the glustercli commands.
> I'm also interested in client & server op version. There wee some issues
> with op-version bellow 70000.
>
> Best Regards,
> Strahil Nikolov
>
> On Thu, Feb 24, 2022 at 10:41, Proniakin Marcin
> <Marcin.Proniakin at grupawp.pl> wrote:
>
> I'm using libgfapi on Gluster 6.9 and fuse on Gluster 8.6
>
>
> If you're asking how I checked clients, I did it through .meta directory:
>
> cat .meta/graphs/active/portal-1-client-*/private | grep connected
> ------------------------------
> *Od:* Strahil Nikolov <hunter86_bg at yahoo.com>
> *Wysłane:* środa, 23 lutego 2022 20:28:55
> *Do:* Proniakin Marcin; gluster-users at gluster.org
> *DW:* Milewski Daniel
> *Temat:* Re: [Gluster-users] Issue(?) with gluster 8.6 volume heal info
>
> Are you using libgfapi or FUSE ?
>
> I guess you run something like this:
>
> gluster volume status <VOLUME> clients
> gluster volume status <VOLUME> client-list
>
> Best Regards,
> Strahil Nikolov
>
> On Wed, Feb 23, 2022 at 18:58, Proniakin Marcin
> <Marcin.Proniakin at grupawp.pl> wrote:
>
> Hello,
>
>
> During tests on a newly added Gluster 8.6 (on a new Ovirt cluster), I've
> noticed a lot of heal entries coming and going.
>
> After verifying that all clients are connected, there are no increments in
> afr*client* attributes and no changes in indices/xattrop, decided to test
> my second gluster 8.6.
>
>
> Ended up with the same behaviour. I could tell that during writting into a
> drive image,volume heal info was showing shards from that drive and shard
> numbers were increasing, which indicates that it showed pretty much file
> operations (writev).
>
>
> I've been working for a longer time with gluster 6.9 and I did not see
> this amount of heal entries when doing gluster volume heal info and usually
> based issues with bricks when heal info was showing heal entries.
>
> Additionally, I can tell that volume heal info works way slower on version
> 6.9 than on 8.6.
>
>
> So, my question is:
>
> Do I have a problem with my new gluster file systems or there has been a
> change in how volume heal info works?
>
>
>
>
>
>
>
> Spółki Grupy Wirtualna Polska:
>
> Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki
> i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461
> 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 521-31-11-513
>
> Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i
> Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058
> 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 527-26-45-593
>
> Administratorem udostępnionych danych osobowych jest Wirtualna Polska
> Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane
> osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie
> dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane
> ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres
> email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce
> prywatności <https://onas.wp.pl/poufnosc.html>, między innymi w celu
> realizacji współpracy, realizacji obowiązków przewidzianych prawem, w
> celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych
> osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
> jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym
> zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane
> możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz
> podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego
> prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania,
> usunięcia lub ograniczenia ich przetwarzania, jak również prawo do
> zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz
> sposób ich realizacji opisaliśmy w polityce prywatności
> <https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak
> zakomunikować nam Twoją wolę skorzystania z tych praw.
> ________
>
>
>
> Community Meeting Calendar:
>
> Schedule -
> Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC
> Bridge: https://meet.google.com/cpu-eiue-hvk
> Gluster-users mailing list
> Gluster-users at gluster.org
> https://lists.gluster.org/mailman/listinfo/gluster-users
>
>
>
> Spółki Grupy Wirtualna Polska:
>
> Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki
> i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461
> 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 521-31-11-513
>
> Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i
> Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058
> 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 527-26-45-593
>
> Administratorem udostępnionych danych osobowych jest Wirtualna Polska
> Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane
> osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie
> dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane
> ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres
> email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce
> prywatności <https://onas.wp.pl/poufnosc.html>, między innymi w celu
> realizacji współpracy, realizacji obowiązków przewidzianych prawem, w
> celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych
> osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
> jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym
> zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane
> możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz
> podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego
> prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania,
> usunięcia lub ograniczenia ich przetwarzania, jak również prawo do
> zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz
> sposób ich realizacji opisaliśmy w polityce prywatności
> <https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak
> zakomunikować nam Twoją wolę skorzystania z tych praw.
>
>
>
> Spółki Grupy Wirtualna Polska:
>
> Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki
> i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461
> 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 521-31-11-513
>
> Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i
> Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058
> 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 527-26-45-593
>
> Administratorem udostępnionych danych osobowych jest Wirtualna Polska
> Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane
> osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie
> dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane
> ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres
> email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce
> prywatności <https://onas.wp.pl/poufnosc.html>, między innymi w celu
> realizacji współpracy, realizacji obowiązków przewidzianych prawem, w
> celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych
> osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
> jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym
> zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane
> możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz
> podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego
> prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania,
> usunięcia lub ograniczenia ich przetwarzania, jak również prawo do
> zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz
> sposób ich realizacji opisaliśmy w polityce prywatności
> <https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak
> zakomunikować nam Twoją wolę skorzystania z tych praw.
>
>
>
> Spółki Grupy Wirtualna Polska:
>
> Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki
> i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461
> 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 521-31-11-513
>
> Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i
> Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
> Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058
> 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
> 527-26-45-593
>
> Administratorem udostępnionych danych osobowych jest Wirtualna Polska
> Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane
> osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie
> dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane
> ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres
> email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce
> prywatności <https://onas.wp.pl/poufnosc.html>, między innymi w celu
> realizacji współpracy, realizacji obowiązków przewidzianych prawem, w
> celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych
> osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
> jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym
> zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane
> możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz
> podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego
> prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania,
> usunięcia lub ograniczenia ich przetwarzania, jak również prawo do
> zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz
> sposób ich realizacji opisaliśmy w polityce prywatności
> <https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak
> zakomunikować nam Twoją wolę skorzystania z tych praw.
>
>
--
Sandro Bonazzola
MANAGER, SOFTWARE ENGINEERING, EMEA R&D RHV
Red Hat EMEA <https://www.redhat.com/>
sbonazzo at redhat.com
<https://www.redhat.com/>
*Red Hat respects your work life balance. Therefore there is no need to
answer this email out of your office hours.*
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.gluster.org/pipermail/gluster-users/attachments/20220225/90a016eb/attachment.html>
More information about the Gluster-users
mailing list