[Gluster-users] ODP: ODP: Issue(?) with gluster 8.6 volume heal info

Strahil Nikolov hunter86_bg at yahoo.com
Thu Feb 24 18:06:19 UTC 2022


I assume that the cluster op version is also 80000.
How long ,after a new VM is created, you see the heals ?
Best Regards,Strahil Nikolov
 
 
  On Thu, Feb 24, 2022 at 16:50, Proniakin Marcin<Marcin.Proniakin at grupawp.pl> wrote:   <!--#yiv9764001446 P {margin-top:0;margin-bottom:0;}-->gluster volume status portal-1 client-list
Client connections for volume portal-1
Name                                                       count
-----                                                     ------
glustershd                                                     6
fuse                                                           6

total clients for volume portal-1 : 12 
-----------------------------------------------------------------

gluster volume status portal-1 clients
Client connections for volume portal-1
----------------------------------------------
Brick : backend.host-1:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.6:49120                                           311476       470002376           80000
10.3.90.6:49114                                         29147005        17456404           80000
10.3.90.7:49109                                            49228           48036           80000
10.3.90.7:48852                                          5282335         3697116           80000
10.3.90.8:49116                                             7132            6716           80000
10.3.90.8:49141                                          5035970         3523592           80000
10.3.90.9:49149                                             1356            1020           80000
10.3.90.9:49138                                      21755970018       188641540           80000
10.3.90.10:49147                                            1356            1020           80000
10.3.90.10:49142                                         4383160         3062712           80000
10.3.90.11:49099                                            1356            1020           80000
10.3.90.11:49146                                          620794          437268           80000
----------------------------------------------
Brick : backend.host-2:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.6:49145                                        470035340          246724           80000
10.3.90.6:49142                                         29272636       296508952           80000
10.3.90.7:49019                                            88696          110764           80000
10.3.90.7:48849                                          5625219       290487744           80000
10.3.90.8:49111                                             7132            6716           80000
10.3.90.8:49138                                          5362698       277707576           80000
10.3.90.9:49141                                             1356            1020           80000
10.3.90.9:49135                                      21753368298       353837668           80000
10.3.90.10:49141                                            1356            1020           80000
10.3.90.10:49135                                         4658892       233135492           80000
10.3.90.11:49097                                            1356            1020           80000
10.3.90.11:49144                                          665374        36157560           80000
----------------------------------------------
Brick : backend.host-3:/srv/gluster/portal-1/1/arbiter/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.7:49142                                            54272           56788           80000
10.3.90.7:49140                                          4805189         3466356           80000
10.3.90.6:49093                                          7701550         6754912           80000
10.3.90.6:49092                                            13968           13472           80000
10.3.90.8:49062                                            37392           50120           80000
10.3.90.8:49134                                          4733007         3418844           80000
10.3.90.9:49139                                             1356            1024           80000
10.3.90.9:49128                                         73525478        81692324           80000
10.3.90.10:49140                                            1356            1024           80000
10.3.90.10:49128                                         4129841         2983744           80000
10.3.90.11:49091                                            1356            1024           80000
10.3.90.11:49141                                          575280          417356           80000
----------------------------------------------
Brick : backend.host-3:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.7:49141                                          4590842         3324800           80000
10.3.90.7:49139                                             1820            2124           80000
10.3.90.6:49091                                             1820            2124           80000
10.3.90.6:49090                                         15120930         8441968           80000
10.3.90.8:49061                                         67439688       402923528           80000
10.3.90.8:49132                                          4513170         3269792           80000
10.3.90.9:49137                                             3980            4420           80000
10.3.90.9:49106                                      21826918259       129377840           80000
10.3.90.10:49138                                            1504            1532           80000
10.3.90.10:49106                                         3947196         2863564           80000
10.3.90.11:49085                                            1356            1020           80000
10.3.90.11:49140                                          532208          387968           80000
----------------------------------------------
Brick : backend.host-4:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.8:49145                                          4243870         3060600           80000
10.3.90.8:49144                                        402904720          228312           80000
10.3.90.7:49125                                             1588            1572           80000
10.3.90.7:49124                                          4301418         3105736           80000
10.3.90.6:49144                                         14035234         7383036           80000
10.3.90.6:49141                                             1588            1572           80000
10.3.90.9:49127                                            32492           46816           80000
10.3.90.9:49105                                      21826643087        97947212           80000
10.3.90.10:49136                                            1504            1532           80000
10.3.90.10:49104                                         3937904         2843364           80000
10.3.90.11:49083                                            1356            1020           80000
10.3.90.11:49138                                          530764          381124           80000
----------------------------------------------
Brick : backend.host-5:/srv/gluster/portal-1/1/arbiter/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.8:49135                                          3776134         2679796           80000
10.3.90.7:49136                                             1356            1024           80000
10.3.90.7:49135                                          3767300         2674004           80000
10.3.90.8:49131                                            40044           40144           80000
10.3.90.10:49126                                           25364           34740           80000
10.3.90.9:49126                                             1356            1024           80000
10.3.90.9:49123                                         70007700        79303280           80000
10.3.90.6:49138                                          5826136         5018700           80000
10.3.90.6:49137                                             1356            1024           80000
10.3.90.10:49102                                         3799340         2700480           80000
10.3.90.11:49080                                            1356            1024           80000
10.3.90.11:49136                                          506764          355696           80000
----------------------------------------------
Brick : backend.host-5.portal-1.dc-1.virt.dcwp.pl:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.8:49136                                             1820            2124           80000
10.3.90.8:49133                                          4664224         3673592           80000
10.3.90.7:49134                                          4672193         3682622           80000
10.3.90.7:49133                                             1820            2124           80000
10.3.90.10:49125                                          565940       939924800           80000
10.3.90.9:49125                                      21895440129       286893195           80000
10.3.90.9:49124                                             1820            2124           80000
10.3.90.6:49134                                         53287591         9416714           80000
10.3.90.6:49133                                        403120708       403013480           80000
10.3.90.10:49100                                         4712203         3705164           80000
10.3.90.11:49076                                            3832            3172           80000
10.3.90.11:49134                                          652173          518184           80000
----------------------------------------------
Brick : backend.host-6:/srv/gluster/portal-1/1/data/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.8:49143                                             1356            1020           80000
10.3.90.8:49142                                           775941          551612           80000
10.3.90.10:49137                                       604317856          302312           80000
10.3.90.10:49134                                          986329          700220           80000
10.3.90.6:49139                                        134309032           79932           80000
10.3.90.6:49136                                         12949195         2243332           80000
10.3.90.9:49136                                      21886674798       299135324           80000
10.3.90.9:49134                                             1356            1020           80000
10.3.90.11:49019                                            9344           10560           80000
10.3.90.7:49143                                             1356            1020           80000
10.3.90.7:49138                                           815278          579496           80000
10.3.90.11:49133                                          637393          453952           80000
----------------------------------------------
Brick : backend.host-1:/srv/gluster/portal-1/1/arbiter/brick
Clients connected : 12
Hostname                                               BytesRead    BytesWritten       OpVersion
--------                                               ---------    ------------       ---------
10.3.90.6:49119                                           426216          246860           80000
10.3.90.6:49099                                         10980059        10016248           80000
10.3.90.7:49082                                             2052            2692           80000
10.3.90.7:48838                                          5360132         3748772           80000
10.3.90.8:49095                                             2052            2692           80000
10.3.90.8:49125                                          5126404         3589536           80000
10.3.90.9:49129                                             2052            2692           80000
10.3.90.9:49100                                         72365868        80713240           80000
10.3.90.10:49133                                          401516          155992           80000
10.3.90.10:49099                                         4491474         3153044           80000
10.3.90.11:49075                                            3832            3180           80000
10.3.90.11:49132                                          614742          428860           80000
----------------------------------------------

Od: Strahil Nikolov <hunter86_bg at yahoo.com>
Wysłane: czwartek, 24 lutego 2022 13:19:15
Do: Proniakin Marcin; gluster-users at gluster.org
DW: Milewski Daniel
Temat: Re: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal info So you got the same ammount of clients connected to the bricks ? Can you check with the glustercli commands.I'm also interested in client & server op version. There wee some issues with op-version bellow 70000.
Best Regards,Strahil Nikolov


On Thu, Feb 24, 2022 at 10:41, Proniakin Marcin<Marcin.Proniakin at grupawp.pl> wrote:<!--#yiv9764001446 P {margin-top:0;margin-bottom:0;}-->
I'm using libgfapi on Gluster 6.9 and fuse on Gluster 8.6




If you're asking how I checked clients, I did it through .meta directory:

cat .meta/graphs/active/portal-1-client-*/private | grep connected

Od: Strahil Nikolov <hunter86_bg at yahoo.com>
Wysłane: środa, 23 lutego 2022 20:28:55
Do: Proniakin Marcin; gluster-users at gluster.org
DW: Milewski Daniel
Temat: Re: [Gluster-users] Issue(?) with gluster 8.6 volume heal info Are you using libgfapi or FUSE ?
I guess you run something like this:
gluster volume status <VOLUME> clientsgluster volume status <VOLUME> client-list
Best Regards,Strahil Nikolov


On Wed, Feb 23, 2022 at 18:58, Proniakin Marcin<Marcin.Proniakin at grupawp.pl> wrote:<!--#yiv9764001446 P {margin-top:0;margin-bottom:0;}-->
Hello,




During tests on a newly added Gluster 8.6 (on a new Ovirt cluster), I've noticed a lot of heal entries coming and going.

After verifying that all clients are connected, there are no increments in afr*client* attributes and no changes in indices/xattrop, decided to test my second gluster 8.6.




Ended up with the same behaviour. I could tell that during writting into a drive image,volume heal info was showing shards from that drive and shard numbers were increasing, which indicates that it showed pretty much file operations (writev).




I've been working for a longer time with gluster 6.9 and I did not see this amount of heal entries when doing gluster volume heal info and usually based issues with bricks when heal info was showing heal entries.

Additionally, I can tell that volume heal info works way slower on version 6.9 than on 8.6.





So, my question is:

Do I have a problem with my new gluster file systems or there has been a change in how volume heal info works?













|
|   |


Spółki Grupy Wirtualna Polska:

Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513

Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593

Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych wpolityce prywatności, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji opisaliśmy w polityce prywatności. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.
________



Community Meeting Calendar:

Schedule -
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC
Bridge: https://meet.google.com/cpu-eiue-hvk
Gluster-users mailing list
Gluster-users at gluster.org
https://lists.gluster.org/mailman/listinfo/gluster-users


|
|   |


Spółki Grupy Wirtualna Polska:

Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513

Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593

Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych wpolityce prywatności, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji opisaliśmy w polityce prywatności. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.


|
|   |


Spółki Grupy Wirtualna Polska:

Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513

Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593

Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych wpolityce prywatności, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji opisaliśmy w polityce prywatności. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.
  
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.gluster.org/pipermail/gluster-users/attachments/20220224/d1de30c7/attachment.html>


More information about the Gluster-users mailing list