<div dir="ltr"><div dir="ltr">Hi,<div><br></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 21, 2022 at 6:59 PM Proniakin Marcin <<a href="mailto:Marcin.Proniakin@grupawp.pl">Marcin.Proniakin@grupawp.pl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div id="gmail-m_1304011782047191876divtagdefaultwrapper" dir="ltr" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<div id="gmail-m_1304011782047191876divtagdefaultwrapper" dir="ltr" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<p><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1721355" id="gmail-m_1304011782047191876LPlnk804980" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1721355</a></p>
<p><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1774011" id="gmail-m_1304011782047191876LPlnk18711" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1774011</a></p>
<p><br>
</p>
<p>Could changes, mentioned in above bugzilla reports, to heal info (making heal info lockless), would result in glusterfs behaviour that I'm observing?</p></div></div></div></blockquote><div>It should be easy to verify if heal info is falsely reporting files as needing heal. In your 8.6 setup, when you see the file/gfid names in the heal info output and after they come down to zero, do either the mount logs or the self-heal daemon logs have messages about 'Completed xxx selfheal on yyy' gfid? </div><div><br></div><div>If they did, then heal info was not lying. We then need to see what type of heal xxx is (i.e. is it data, metadata or entry heal) and if the heal itself was falsely triggered (one bug was fixed recently via <a href="https://github.com/gluster/glusterfs/pull/3258">https://github.com/gluster/glusterfs/pull/3258</a> for spurious metadata heals). </div><div><br></div><div>If there were no heal completion messages, then it could *possibly* be a bug that was filed recently: <a href="https://github.com/gluster/glusterfs/issues/3200">https://github.com/gluster/glusterfs/issues/3200</a>. The fix is still in review.</div><div><br></div><div>Regards,</div><div>Ravi</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div id="gmail-m_1304011782047191876divtagdefaultwrapper" dir="ltr" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols"><div id="gmail-m_1304011782047191876divtagdefaultwrapper" dir="ltr" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
</div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_1304011782047191876divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" target="_blank">hunter86_bg@yahoo.com</a>><br>
<b>Wysłane:</b> czwartek, 3 marca 2022 13:22:57<br>
<b>Do:</b> Proniakin Marcin; Gluster Devel<br>
<b>DW:</b> <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>; Milewski Daniel<br>
<b>Temat:</b> Re: ODP: ODP: ODP: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal info</font>
<div> </div>
</div>
<div>I think we should add the devel list, as the options match the virt group of settings and I'm not sure if self-healing could ease the situation or get it worse.
<div><br>
</div>
<div>Short summary:</div>
<div>When the VM writes to it's image (oVirt Hyperconverged, sharding enabled) a lot of heals pending are observed which looks quite odd.</div>
<div><br>
</div>
<div>Best Regards,</div>
<div>Strahil Nikolov<br>
<br>
<blockquote style="margin:0px 0px 20px">
<div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)">
<div>On Wed, Mar 2, 2022 at 9:59, Proniakin Marcin</div>
<div><<a href="mailto:Marcin.Proniakin@grupawp.pl" target="_blank">Marcin.Proniakin@grupawp.pl</a>> wrote:</div>
</div>
<div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)">
<div id="gmail-m_1304011782047191876yiv9482240423">
<div>
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<div>gluster volume info</div>
<div><br clear="none">
</div>
<div>Volume Name: portal-1<br clear="none">
Type: Distributed-Replicate<br clear="none">
Volume ID: 5dc358a4-d807-4fec-8a81-52516abeeba9<br clear="none">
Status: Started<br clear="none">
Snapshot Count: 0<br clear="none">
Number of Bricks: 3 x (2 + 1) = 9<br clear="none">
Transport-type: tcp<br clear="none">
Bricks:<br clear="none">
Brick1: backend.host-1:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick2: backend.host-2:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick3: backend.host-3:/srv/gluster/portal-1/1/arbiter/brick (arbiter)<br clear="none">
Brick4: backend.host-3:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick5: backend.host-4:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick6: backend.host-5:/srv/gluster/portal-1/1/arbiter/brick (arbiter)<br clear="none">
Brick7: backend.host-5:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick8: backend.host-6:/srv/gluster/portal-1/1/data/brick<br clear="none">
Brick9: backend.host-1:/srv/gluster/portal-1/1/arbiter/brick (arbiter)<br clear="none">
Options Reconfigured:<br clear="none">
performance.client-io-threads: on<br clear="none">
nfs.disable: on<br clear="none">
transport.address-family: inet<br clear="none">
storage.fips-mode-rchecksum: on<br clear="none">
user.cifs: off<br clear="none">
storage.owner-uid: 36<br clear="none">
storage.owner-gid: 36<br clear="none">
server.event-threads: 4<br clear="none">
performance.strict-o-direct: on<br clear="none">
performance.read-ahead: off<br clear="none">
performance.quick-read: off<br clear="none">
performance.low-prio-threads: 32<br clear="none">
performance.io-cache: off<br clear="none">
network.remote-dio: off<br clear="none">
network.ping-timeout: 30<br clear="none">
features.shard: on<br clear="none">
cluster.shd-wait-qlength: 10000<br clear="none">
cluster.shd-max-threads: 8<br clear="none">
cluster.server-quorum-type: server<br clear="none">
cluster.rebal-throttle: lazy<br clear="none">
cluster.quorum-type: auto<br clear="none">
<b>cluster.lookup-optimize: off</b><br clear="none">
cluster.locking-scheme: granular<br clear="none">
cluster.granular-entry-heal: enable<br clear="none">
cluster.eager-lock: enable<br clear="none">
cluster.data-self-heal-algorithm: full<br clear="none">
cluster.choose-local: off<br clear="none">
client.event-threads: 4<br clear="none">
features.bitrot: on<br clear="none">
features.scrub: Active<br clear="none">
cluster.self-heal-daemon: enable<br clear="none">
<br clear="none">
</div>
<div><br clear="none">
</div>
</div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_1304011782047191876yiv9482240423yqt94092">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423divRplyFwdMsg"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> Sandro Bonazzola <<a href="mailto:sbonazzo@redhat.com" target="_blank">sbonazzo@redhat.com</a>><br clear="none">
<b>Wysłane:</b> piątek, 25 lutego 2022 17:47:11<br clear="none">
<b>Do:</b> Strahil Nikolov<br clear="none">
<b>DW:</b> Proniakin Marcin; <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>; Milewski Daniel<br clear="none">
<b>Temat:</b> Re: ODP: ODP: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal info</font>
<div> </div>
</div>
<div>
<div dir="ltr">
<div dir="ltr"><br clear="none">
</div>
<br clear="none">
<div>
<div dir="ltr">Il giorno ven 25 feb 2022 alle ore 17:05 Strahil Nikolov <<a shape="rect" href="mailto:hunter86_bg@yahoo.com" rel="noreferrer noopener" target="_blank">hunter86_bg@yahoo.com</a>> ha scritto:<br clear="none">
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Can you provode the gluster volume info.
<div><br clear="none">
</div>
<div>Also, check if lookup-optimize is in enabled state -> must be disabled as it might lead to serious issues [1] when reducing/expanding the volume.</div>
<div><br clear="none">
</div>
<div>@Sandro,</div>
<div><br clear="none">
</div>
<div>Can we move oVirt to a newer version of gluster. Sadly , 8.6 is too 'old' and will not receive some backports like:
<a shape="rect" href="https://github.com/gluster/glusterfs-selinux/issues/27#issuecomment-1029704403" rel="noreferrer noopener" target="_blank">
https://github.com/gluster/glusterfs-selinux/issues/27#issuecomment-1029704403</a> .</div>
</blockquote>
<div><br clear="none">
</div>
<div>We are moving to 10 in the next oVirt release.</div>
<div><br clear="none">
</div>
<div> </div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div><br clear="none">
</div>
<div>Best Regards,</div>
<div>Strahil Nikolov<br clear="none">
<br clear="none">
[1] <a shape="rect" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384linkextractor__1645805059068" href="https://lists.ovirt.org/archives/list/users@ovirt.org/message/LKZCDLGWCGWSNGS4CRZUZWK4JZJC5KMF/" rel="noreferrer noopener" target="_blank">
https://lists.ovirt.org/archives/list/users@ovirt.org/message/LKZCDLGWCGWSNGS4CRZUZWK4JZJC5KMF/</a></div>
<div><br clear="none">
</div>
<div><br clear="none">
</div>
<div><br clear="none">
<blockquote style="margin:0px 0px 20px">
<div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)">
<div>On Fri, Feb 25, 2022 at 12:18, Proniakin Marcin</div>
<div><<a shape="rect" href="mailto:Marcin.Proniakin@grupawp.pl" rel="noreferrer noopener" target="_blank">Marcin.Proniakin@grupawp.pl</a>> wrote:</div>
</div>
<div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977">
<div dir="ltr">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,UI,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,UI,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<p>Yes, everything is version 80000.</p>
<p><br clear="none">
</p>
<p>I can get heal entries as soon as vm does file operations on its drive.</p>
<p><br clear="none">
</p>
</div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977yqt60328">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divRplyFwdMsg">
<font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> Strahil Nikolov <<a shape="rect" href="mailto:hunter86_bg@yahoo.com" rel="noreferrer noopener" target="_blank">hunter86_bg@yahoo.com</a>><br clear="none">
<b>Wysłane:</b> czwartek, 24 lutego 2022 19:06:19<br clear="none">
<b>Do:</b> Proniakin Marcin; <a shape="rect" href="mailto:gluster-users@gluster.org" rel="noreferrer noopener" target="_blank">
gluster-users@gluster.org</a><br clear="none">
<b>DW:</b> Milewski Daniel<br clear="none">
<b>Temat:</b> Re: ODP: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal info</font>
<div> </div>
</div>
<div>I assume that the cluster op version is also 80000.
<div><br clear="none">
</div>
<div>How long ,after a new VM is created, you see the heals ?</div>
<div><br clear="none">
</div>
<div>Best Regards,</div>
<div>Strahil Nikolov<br clear="none">
<br clear="none">
<blockquote style="margin:0px 0px 20px">
<div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)">
<div>On Thu, Feb 24, 2022 at 16:50, Proniakin Marcin</div>
<div><<a shape="rect" href="mailto:Marcin.Proniakin@grupawp.pl" rel="noreferrer noopener" target="_blank">Marcin.Proniakin@grupawp.pl</a>> wrote:</div>
</div>
<div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977">
<div>
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,UI,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<div>gluster volume status portal-1 client-list<br clear="none">
Client connections for volume portal-1<br clear="none">
Name                                                       count<br clear="none">
-----                                                     ------<br clear="none">
glustershd                                                     6<br clear="none">
fuse                                                           6<br clear="none">
<br clear="none">
total clients for volume portal-1 : 12 <br clear="none">
-----------------------------------------------------------------<br clear="none">
<br clear="none">
gluster volume status portal-1 clients<br clear="none">
Client connections for volume portal-1<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-1:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.6:49120" rel="noreferrer noopener" target="_blank">10.3.90.6:49120</a>                                           311476       470002376           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49114" rel="noreferrer noopener" target="_blank">10.3.90.6:49114</a>                                         29147005        17456404           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49109" rel="noreferrer noopener" target="_blank">10.3.90.7:49109</a>                                            49228           48036           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:48852" rel="noreferrer noopener" target="_blank">10.3.90.7:48852</a>                                          5282335         3697116           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49116" rel="noreferrer noopener" target="_blank">10.3.90.8:49116</a>                                             7132            6716           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49141" rel="noreferrer noopener" target="_blank">10.3.90.8:49141</a>                                          5035970         3523592           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49149" rel="noreferrer noopener" target="_blank">10.3.90.9:49149</a>                                             1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49138" rel="noreferrer noopener" target="_blank">10.3.90.9:49138</a>                                      21755970018       188641540           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49147" rel="noreferrer noopener" target="_blank">10.3.90.10:49147</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49142" rel="noreferrer noopener" target="_blank">10.3.90.10:49142</a>                                         4383160         3062712           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49099" rel="noreferrer noopener" target="_blank">10.3.90.11:49099</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49146" rel="noreferrer noopener" target="_blank">10.3.90.11:49146</a>                                          620794          437268           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-2:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.6:49145" rel="noreferrer noopener" target="_blank">10.3.90.6:49145</a>                                        470035340          246724           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49142" rel="noreferrer noopener" target="_blank">10.3.90.6:49142</a>                                         29272636       296508952           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49019" rel="noreferrer noopener" target="_blank">10.3.90.7:49019</a>                                            88696          110764           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:48849" rel="noreferrer noopener" target="_blank">10.3.90.7:48849</a>                                          5625219       290487744           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49111" rel="noreferrer noopener" target="_blank">10.3.90.8:49111</a>                                             7132            6716           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49138" rel="noreferrer noopener" target="_blank">10.3.90.8:49138</a>                                          5362698       277707576           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49141" rel="noreferrer noopener" target="_blank">10.3.90.9:49141</a>                                             1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49135" rel="noreferrer noopener" target="_blank">10.3.90.9:49135</a>                                      21753368298       353837668           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49141" rel="noreferrer noopener" target="_blank">10.3.90.10:49141</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49135" rel="noreferrer noopener" target="_blank">10.3.90.10:49135</a>                                         4658892       233135492           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49097" rel="noreferrer noopener" target="_blank">10.3.90.11:49097</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49144" rel="noreferrer noopener" target="_blank">10.3.90.11:49144</a>                                          665374        36157560           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-3:/srv/gluster/portal-1/1/arbiter/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.7:49142" rel="noreferrer noopener" target="_blank">10.3.90.7:49142</a>                                            54272           56788           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49140" rel="noreferrer noopener" target="_blank">10.3.90.7:49140</a>                                          4805189         3466356           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49093" rel="noreferrer noopener" target="_blank">10.3.90.6:49093</a>                                          7701550         6754912           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49092" rel="noreferrer noopener" target="_blank">10.3.90.6:49092</a>                                            13968           13472           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49062" rel="noreferrer noopener" target="_blank">10.3.90.8:49062</a>                                            37392           50120           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49134" rel="noreferrer noopener" target="_blank">10.3.90.8:49134</a>                                          4733007         3418844           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49139" rel="noreferrer noopener" target="_blank">10.3.90.9:49139</a>                                             1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49128" rel="noreferrer noopener" target="_blank">10.3.90.9:49128</a>                                         73525478        81692324           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49140" rel="noreferrer noopener" target="_blank">10.3.90.10:49140</a>                                            1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49128" rel="noreferrer noopener" target="_blank">10.3.90.10:49128</a>                                         4129841         2983744           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49091" rel="noreferrer noopener" target="_blank">10.3.90.11:49091</a>                                            1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49141" rel="noreferrer noopener" target="_blank">10.3.90.11:49141</a>                                          575280          417356           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-3:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.7:49141" rel="noreferrer noopener" target="_blank">10.3.90.7:49141</a>                                          4590842         3324800           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49139" rel="noreferrer noopener" target="_blank">10.3.90.7:49139</a>                                             1820            2124           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49091" rel="noreferrer noopener" target="_blank">10.3.90.6:49091</a>                                             1820            2124           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49090" rel="noreferrer noopener" target="_blank">10.3.90.6:49090</a>                                         15120930         8441968           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49061" rel="noreferrer noopener" target="_blank">10.3.90.8:49061</a>                                         67439688       402923528           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49132" rel="noreferrer noopener" target="_blank">10.3.90.8:49132</a>                                          4513170         3269792           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49137" rel="noreferrer noopener" target="_blank">10.3.90.9:49137</a>                                             3980            4420           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49106" rel="noreferrer noopener" target="_blank">10.3.90.9:49106</a>                                      21826918259       129377840           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49138" rel="noreferrer noopener" target="_blank">10.3.90.10:49138</a>                                            1504            1532           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49106" rel="noreferrer noopener" target="_blank">10.3.90.10:49106</a>                                         3947196         2863564           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49085" rel="noreferrer noopener" target="_blank">10.3.90.11:49085</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49140" rel="noreferrer noopener" target="_blank">10.3.90.11:49140</a>                                          532208          387968           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-4:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.8:49145" rel="noreferrer noopener" target="_blank">10.3.90.8:49145</a>                                          4243870         3060600           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49144" rel="noreferrer noopener" target="_blank">10.3.90.8:49144</a>                                        402904720          228312           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49125" rel="noreferrer noopener" target="_blank">10.3.90.7:49125</a>                                             1588            1572           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49124" rel="noreferrer noopener" target="_blank">10.3.90.7:49124</a>                                          4301418         3105736           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49144" rel="noreferrer noopener" target="_blank">10.3.90.6:49144</a>                                         14035234         7383036           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49141" rel="noreferrer noopener" target="_blank">10.3.90.6:49141</a>                                             1588            1572           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49127" rel="noreferrer noopener" target="_blank">10.3.90.9:49127</a>                                            32492           46816           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49105" rel="noreferrer noopener" target="_blank">10.3.90.9:49105</a>                                      21826643087        97947212           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49136" rel="noreferrer noopener" target="_blank">10.3.90.10:49136</a>                                            1504            1532           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49104" rel="noreferrer noopener" target="_blank">10.3.90.10:49104</a>                                         3937904         2843364           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49083" rel="noreferrer noopener" target="_blank">10.3.90.11:49083</a>                                            1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49138" rel="noreferrer noopener" target="_blank">10.3.90.11:49138</a>                                          530764          381124           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-5:/srv/gluster/portal-1/1/arbiter/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.8:49135" rel="noreferrer noopener" target="_blank">10.3.90.8:49135</a>                                          3776134         2679796           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49136" rel="noreferrer noopener" target="_blank">10.3.90.7:49136</a>                                             1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49135" rel="noreferrer noopener" target="_blank">10.3.90.7:49135</a>                                          3767300         2674004           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49131" rel="noreferrer noopener" target="_blank">10.3.90.8:49131</a>                                            40044           40144           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49126" rel="noreferrer noopener" target="_blank">10.3.90.10:49126</a>                                           25364           34740           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49126" rel="noreferrer noopener" target="_blank">10.3.90.9:49126</a>                                             1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49123" rel="noreferrer noopener" target="_blank">10.3.90.9:49123</a>                                         70007700        79303280           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49138" rel="noreferrer noopener" target="_blank">10.3.90.6:49138</a>                                          5826136         5018700           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49137" rel="noreferrer noopener" target="_blank">10.3.90.6:49137</a>                                             1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49102" rel="noreferrer noopener" target="_blank">10.3.90.10:49102</a>                                         3799340         2700480           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49080" rel="noreferrer noopener" target="_blank">10.3.90.11:49080</a>                                            1356            1024           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49136" rel="noreferrer noopener" target="_blank">10.3.90.11:49136</a>                                          506764          355696           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-5.portal-1.dc-1.virt.dcwp.pl:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.8:49136" rel="noreferrer noopener" target="_blank">10.3.90.8:49136</a>                                             1820            2124           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49133" rel="noreferrer noopener" target="_blank">10.3.90.8:49133</a>                                          4664224         3673592           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49134" rel="noreferrer noopener" target="_blank">10.3.90.7:49134</a>                                          4672193         3682622           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49133" rel="noreferrer noopener" target="_blank">10.3.90.7:49133</a>                                             1820            2124           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49125" rel="noreferrer noopener" target="_blank">10.3.90.10:49125</a>                                          565940       939924800           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49125" rel="noreferrer noopener" target="_blank">10.3.90.9:49125</a>                                      21895440129       286893195           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49124" rel="noreferrer noopener" target="_blank">10.3.90.9:49124</a>                                             1820            2124           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49134" rel="noreferrer noopener" target="_blank">10.3.90.6:49134</a>                                         53287591         9416714           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49133" rel="noreferrer noopener" target="_blank">10.3.90.6:49133</a>                                        403120708       403013480           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49100" rel="noreferrer noopener" target="_blank">10.3.90.10:49100</a>                                         4712203         3705164           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49076" rel="noreferrer noopener" target="_blank">10.3.90.11:49076</a>                                            3832            3172           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49134" rel="noreferrer noopener" target="_blank">10.3.90.11:49134</a>                                          652173          518184           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-6:/srv/gluster/portal-1/1/data/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.8:49143" rel="noreferrer noopener" target="_blank">10.3.90.8:49143</a>                                             1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49142" rel="noreferrer noopener" target="_blank">10.3.90.8:49142</a>                                           775941          551612           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49137" rel="noreferrer noopener" target="_blank">10.3.90.10:49137</a>                                       604317856          302312           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49134" rel="noreferrer noopener" target="_blank">10.3.90.10:49134</a>                                          986329          700220           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49139" rel="noreferrer noopener" target="_blank">10.3.90.6:49139</a>                                        134309032           79932           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49136" rel="noreferrer noopener" target="_blank">10.3.90.6:49136</a>                                         12949195         2243332           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49136" rel="noreferrer noopener" target="_blank">10.3.90.9:49136</a>                                      21886674798       299135324           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49134" rel="noreferrer noopener" target="_blank">10.3.90.9:49134</a>                                             1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49019" rel="noreferrer noopener" target="_blank">10.3.90.11:49019</a>                                            9344           10560           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49143" rel="noreferrer noopener" target="_blank">10.3.90.7:49143</a>                                             1356            1020           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49138" rel="noreferrer noopener" target="_blank">10.3.90.7:49138</a>                                           815278          579496           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49133" rel="noreferrer noopener" target="_blank">10.3.90.11:49133</a>                                          637393          453952           80000<br clear="none">
----------------------------------------------<br clear="none">
Brick : backend.host-1:/srv/gluster/portal-1/1/arbiter/brick<br clear="none">
Clients connected : 12<br clear="none">
Hostname                                               BytesRead    BytesWritten       OpVersion<br clear="none">
--------                                               ---------    ------------       ---------<br clear="none">
<a shape="rect" href="http://10.3.90.6:49119" rel="noreferrer noopener" target="_blank">10.3.90.6:49119</a>                                           426216          246860           80000<br clear="none">
<a shape="rect" href="http://10.3.90.6:49099" rel="noreferrer noopener" target="_blank">10.3.90.6:49099</a>                                         10980059        10016248           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:49082" rel="noreferrer noopener" target="_blank">10.3.90.7:49082</a>                                             2052            2692           80000<br clear="none">
<a shape="rect" href="http://10.3.90.7:48838" rel="noreferrer noopener" target="_blank">10.3.90.7:48838</a>                                          5360132         3748772           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49095" rel="noreferrer noopener" target="_blank">10.3.90.8:49095</a>                                             2052            2692           80000<br clear="none">
<a shape="rect" href="http://10.3.90.8:49125" rel="noreferrer noopener" target="_blank">10.3.90.8:49125</a>                                          5126404         3589536           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49129" rel="noreferrer noopener" target="_blank">10.3.90.9:49129</a>                                             2052            2692           80000<br clear="none">
<a shape="rect" href="http://10.3.90.9:49100" rel="noreferrer noopener" target="_blank">10.3.90.9:49100</a>                                         72365868        80713240           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49133" rel="noreferrer noopener" target="_blank">10.3.90.10:49133</a>                                          401516          155992           80000<br clear="none">
<a shape="rect" href="http://10.3.90.10:49099" rel="noreferrer noopener" target="_blank">10.3.90.10:49099</a>                                         4491474         3153044           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49075" rel="noreferrer noopener" target="_blank">10.3.90.11:49075</a>                                            3832            3180           80000<br clear="none">
<a shape="rect" href="http://10.3.90.11:49132" rel="noreferrer noopener" target="_blank">10.3.90.11:49132</a>                                          614742          428860           80000<br clear="none">
----------------------------------------------<br clear="none">
</div>
<div><br clear="none">
</div>
</div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977yqt95830">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divRplyFwdMsg">
<font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> Strahil Nikolov <<a shape="rect" href="mailto:hunter86_bg@yahoo.com" rel="noreferrer noopener" target="_blank">hunter86_bg@yahoo.com</a>><br clear="none">
<b>Wysłane:</b> czwartek, 24 lutego 2022 13:19:15<br clear="none">
<b>Do:</b> Proniakin Marcin; <a shape="rect" href="mailto:gluster-users@gluster.org" rel="noreferrer noopener" target="_blank">
gluster-users@gluster.org</a><br clear="none">
<b>DW:</b> Milewski Daniel<br clear="none">
<b>Temat:</b> Re: ODP: [Gluster-users] Issue(?) with gluster 8.6 volume heal info</font>
<div> </div>
</div>
<div>So you got the same ammount of clients connected to the bricks ? Can you check with the glustercli commands.
<div>I'm also interested in client & server op version. There wee some issues with op-version bellow 70000.</div>
<div><br clear="none">
</div>
<div>Best Regards,</div>
<div>Strahil Nikolov<br clear="none">
<br clear="none">
<blockquote style="margin:0px 0px 20px">
<div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)">
<div>On Thu, Feb 24, 2022 at 10:41, Proniakin Marcin</div>
<div><<a shape="rect" href="mailto:Marcin.Proniakin@grupawp.pl" rel="noreferrer noopener" target="_blank">Marcin.Proniakin@grupawp.pl</a>> wrote:</div>
</div>
<div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977">
<div>
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,UI,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<p>I'm using libgfapi on Gluster 6.9 and fuse on Gluster 8.6</p>
<p><br clear="none">
</p>
<p>If you're asking how I checked clients, I did it through .meta directory:</p>
<p><span>cat .meta/graphs/active/<span>portal-1-client-*/private | grep connected</span></span><br clear="none">
</p>
</div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977yqt47890">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divRplyFwdMsg">
<font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> Strahil Nikolov <<a shape="rect" href="mailto:hunter86_bg@yahoo.com" rel="noreferrer noopener" target="_blank">hunter86_bg@yahoo.com</a>><br clear="none">
<b>Wysłane:</b> środa, 23 lutego 2022 20:28:55<br clear="none">
<b>Do:</b> Proniakin Marcin; <a shape="rect" href="mailto:gluster-users@gluster.org" rel="noreferrer noopener" target="_blank">
gluster-users@gluster.org</a><br clear="none">
<b>DW:</b> Milewski Daniel<br clear="none">
<b>Temat:</b> Re: [Gluster-users] Issue(?) with gluster 8.6 volume heal info</font>
<div> </div>
</div>
<div>Are you using libgfapi or FUSE ?
<div><br clear="none">
</div>
<div>I guess you run something like this:</div>
<div><br clear="none">
</div>
<div>gluster volume status <VOLUME> clients</div>
<div>gluster volume status <VOLUME> client-list</div>
<div><br clear="none">
</div>
<div>Best Regards,</div>
<div>Strahil Nikolov<br clear="none">
<br clear="none">
<blockquote style="margin:0px 0px 20px">
<div style="font-family:Roboto,sans-serif;color:rgb(109,0,246)">
<div>On Wed, Feb 23, 2022 at 18:58, Proniakin Marcin</div>
<div><<a shape="rect" href="mailto:Marcin.Proniakin@grupawp.pl" rel="noreferrer noopener" target="_blank">Marcin.Proniakin@grupawp.pl</a>> wrote:</div>
</div>
<div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246)">
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977">
<div dir="ltr">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,UI,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<p>Hello,</p>
<p><br clear="none">
</p>
<p>During tests on a newly added Gluster 8.6 (on a new Ovirt cluster), I've noticed a lot of heal entries coming and going.</p>
<p>After verifying that all clients are connected, there are no increments in afr*client* attributes and no changes in indices/xattrop, decided to test my second gluster 8.6.</p>
<p><br clear="none">
</p>
<p>Ended up with the same behaviour. I could tell that during writting into a drive image,volume heal info was showing shards from that drive and shard numbers were increasing, which indicates that it showed pretty much file operations (writev).
</p>
<p><br clear="none">
</p>
<p>I've been working for a longer time with gluster 6.9 and I did not see this amount of heal entries when doing gluster volume heal info and usually based issues with bricks when heal info was showing heal entries.</p>
<p>Additionally, I can tell that volume heal info works way slower on version 6.9 than on 8.6.
<br clear="none">
</p>
<p><br clear="none">
</p>
<p>So, my question is:</p>
<p>Do I have a problem with my new gluster file systems or there has been a change in how volume heal info works?</p>
<p><br clear="none">
</p>
<p><br clear="none">
</p>
<p><br clear="none">
</p>
<p><br clear="none">
</p>
<div id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977Signature">
<div dir="ltr" id="gmail-m_1304011782047191876yiv9482240423gmail-m_9091320406639956384yiv2814599977divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,"UI UI",EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<div style="font-family:Tahoma;font-size:13px"></div>
</div>
</div>
</div>
<table style="border-top:1px solid rgb(222,222,222)" width="100%" border="0">
<tbody>
<tr>
</tr>
<tr>
<td colspan="1" rowspan="1"> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
 jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych
 na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji
 opisaliśmy w <a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>
</div>
________<br clear="none">
<br clear="none">
<br clear="none">
<br clear="none">
Community Meeting Calendar:<br clear="none">
<br clear="none">
Schedule -<br clear="none">
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br clear="none">
Bridge: <a shape="rect" href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer noopener" target="_blank">
https://meet.google.com/cpu-eiue-hvk</a><br clear="none">
Gluster-users mailing list<br clear="none">
<a shape="rect" href="mailto:Gluster-users@gluster.org" rel="noreferrer noopener" target="_blank">Gluster-users@gluster.org</a><br clear="none">
<a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer noopener" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none">
</div>
</blockquote>
</div>
</div>
</div>
<table style="border-top:1px solid rgb(222,222,222)" width="100%" border="0">
<tbody>
<tr>
</tr>
<tr>
<td colspan="1" rowspan="1"> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
 jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych
 na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji
 opisaliśmy w <a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
<table style="border-top:1px solid rgb(222,222,222)" width="100%" border="0">
<tbody>
<tr>
</tr>
<tr>
<td colspan="1" rowspan="1"> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
 jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych
 na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji
 opisaliśmy w <a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
<table style="border-top:1px solid rgb(222,222,222)" width="100%" border="0">
<tbody>
<tr>
</tr>
<tr>
<td colspan="1" rowspan="1"> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla
<a shape="rect" href="http://m.st" rel="noreferrer noopener" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
 jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych
 na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji
 opisaliśmy w <a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
<br clear="all">
<div><br clear="none">
</div>
-- <br clear="none">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-weight:bold;margin:0px;padding:0px;font-size:14px">
<span>Sandro</span> <span>Bonazzola</span><span style="text-transform:uppercase;color:rgb(170,170,170);margin:0px"></span></p>
<p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:12px;margin:0px">
<span>MANAGER, SOFTWARE ENGINEERING, EMEA R&D RHV</span></p>
<p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;margin:0px 0px 4px;font-size:12px">
<a shape="rect" href="https://www.redhat.com/" rel="noreferrer noopener" style="color:rgb(0,136,206);margin:0px" target="_blank">Red Hat <span>EMEA</span></a></p>
<div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-bottom:4px">
</div>
<p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;margin:0px;font-size:12px">
<span style="margin:0px;padding:0px"><a shape="rect" href="mailto:sbonazzo@redhat.com" rel="noreferrer noopener" style="color:rgb(0,0,0);margin:0px" target="_blank">sbonazzo@redhat.com</a>   </span></p>
<div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-top:12px">
<div style="margin-top:12px">
<table border="0">
<tbody>
<tr>
<td colspan="1" rowspan="1" width="100px"><a shape="rect" href="https://www.redhat.com/" rel="noreferrer noopener" target="_blank"><img id="gmail-m_1304011782047191876ymail_ctr_id_-412151-2" width="96" height="23" src="https://static.redhat.com/libs/redhat/brand-assets/2/corp/logo--200.png"></a></td>
<td colspan="1" rowspan="1" style="font-size:12px">
<div></div>
</td>
</tr>
</tbody>
</table>
</div>
</div>
<table border="0">
<tbody>
<tr>
</tr>
</tbody>
</table>
<div style="margin-top:12px"><font size="1" face="arial, sans-serif" color="#000000"><b></b></font></div>
<div style="margin-top:12px"><font size="1" face="arial, sans-serif" color="#000000"><b>Red Hat respects your work life balance. Therefore there is no need to answer this email out of your office hours.<br clear="none">
</b></font></div>
<div style="margin-top:12px"><font size="1" face="arial, sans-serif" color="#000000"><b><br clear="none">
<br clear="none">
</b></font></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<table style="border-top:1px solid rgb(222,222,222)" width="100%" border="0">
<tbody>
<tr>
</tr>
<tr>
<td colspan="1" rowspan="1"> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla <a href="http://m.st" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130,
 kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla <a href="http://m.st" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004,
 kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
 jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych
 na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji
 opisaliśmy w <a shape="rect" href="https://onas.wp.pl/poufnosc.html" rel="noreferrer noopener" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

<table width="100%" border="0" style="border-top:1px solid rgb(222,222,222)">
<tbody>
<tr>
</tr>
<tr>
<td> </td>
</tr>
</tbody>
</table>
<div style="font-family:Corbel,Arial,Helvetica,sans-serif;font-size:10px;color:rgb(158,158,158)">
<p>Spółki Grupy Wirtualna Polska:</p>
<p>Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla <a href="http://m.st" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000407130,
 kapitał zakładowy: 1 461 895,65 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513</p>
<p>Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla <a href="http://m.st" target="_blank">m.st</a>. Warszawy w Warszawie pod nr KRS: 0000580004,
 kapitał zakładowy: 320 058 550,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593</p>
<p>Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem
 umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w
<a href="https://onas.wp.pl/poufnosc.html" target="_blank">polityce prywatności</a>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych
 jest prawnie uzasadniony interes jakim jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom
 uprawnionym do uzyskania danych na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa
 te oraz sposób ich realizacji opisaliśmy w <a href="https://onas.wp.pl/poufnosc.html" target="_blank">
polityce prywatności</a>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw.</p>
</div>
</div>

________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div></div>