Try finding if any of them is missing on one of the systems.<div><br></div><div>Best Regards,</div><div>Strahil Nikolov <br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Fri, Mar 24, 2023 at 15:59, Diego Zuccato</div><div><diego.zuccato@unibo.it> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">There are 285 files in /var/lib/glusterd/vols/cluster_data ... including <br></div><div dir="ltr">many files with names related to quorum bricks already moved to a <br></div><div dir="ltr">different path (like cluster_data.client.clustor02.srv-quorum-00-d.vol <br></div><div dir="ltr">that should already have been replaced by <br></div><div dir="ltr">cluster_data.clustor02.srv-bricks-00-q.vol -- and both vol files exist).<br></div><div dir="ltr"><br></div><div dir="ltr">Is there something I should check inside the volfiles?<br></div><div dir="ltr"><br></div><div dir="ltr">Diego<br></div><div dir="ltr"><br></div><div dir="ltr">Il 24/03/2023 13:05, Strahil Nikolov ha scritto:<br></div><div dir="ltr">> Can you check your volume file contents?<br></div><div dir="ltr">> Maybe it really can't find (or access) a specific volfile ?<br></div><div dir="ltr">> <br></div><div dir="ltr">> Best Regards,<br></div><div dir="ltr">> Strahil Nikolov<br></div><div dir="ltr">> <br></div><div dir="ltr">>     On Fri, Mar 24, 2023 at 8:07, Diego Zuccato<br></div><div dir="ltr">>     <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a>> wrote:<br></div><div dir="ltr">>     In glfsheal-Connection.log I see many lines like:<br></div><div dir="ltr">>     [2023-03-13 23:04:40.241481 +0000] E [MSGID: 104021]<br></div><div dir="ltr">>     [glfs-mgmt.c:586:glfs_mgmt_getspec_cbk] 0-gfapi: failed to get the<br></div><div dir="ltr">>     volume file [{from server}, {errno=2}, {error=File o directory non<br></div><div dir="ltr">>     esistente}]<br></div><div dir="ltr">> <br></div><div dir="ltr">>     And *lots* of gfid-mismatch errors in glustershd.log .<br></div><div dir="ltr">> <br></div><div dir="ltr">>     Couldn't find anything that would prevent heal to start. :(<br></div><div dir="ltr">> <br></div><div dir="ltr">>     Diego<br></div><div dir="ltr">> <br></div><div dir="ltr">>     Il 21/03/2023 20:39, Strahil Nikolov ha scritto:<br></div><div dir="ltr">>      > I have no clue. Have you checked for errors in the logs ? Maybe you<br></div><div dir="ltr">>      > might find something useful.<br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      > Best Regards,<br></div><div dir="ltr">>      > Strahil Nikolov<br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      >    On Tue, Mar 21, 2023 at 9:56, Diego Zuccato<br></div><div dir="ltr">>      >    <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a> <mailto:diego.zuccato@unibo.it>> wrote:<br></div><div dir="ltr">>      >    Killed glfsheal, after a day there were 218 processes, then<br></div><div dir="ltr">>     they got<br></div><div dir="ltr">>      >    killed by OOM during the weekend. Now there are no processes<br></div><div dir="ltr">>     active.<br></div><div dir="ltr">>      >    Trying to run "heal info" reports lots of files quite quickly<br></div><div dir="ltr">>     but does<br></div><div dir="ltr">>      >    not spawn any glfsheal process. And neither does restarting<br></div><div dir="ltr">>     glusterd.<br></div><div dir="ltr">>      >    Is there some way to selectively run glfsheal to fix one brick<br></div><div dir="ltr">>     at a<br></div><div dir="ltr">>      >    time?<br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      >    Diego<br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      >    Il 21/03/2023 01:21, Strahil Nikolov ha scritto:<br></div><div dir="ltr">>      >      > Theoretically it might help.<br></div><div dir="ltr">>      >      > If possible, try to resolve any pending heals.<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      > Best Regards,<br></div><div dir="ltr">>      >      > Strahil Nikolov<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    On Thu, Mar 16, 2023 at 15:29, Diego Zuccato<br></div><div dir="ltr">>      >      >    <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a> <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>     <mailto:diego.zuccato@unibo.it>> wrote:<br></div><div dir="ltr">>      >      >    In Debian stopping glusterd does not stop brick<br></div><div dir="ltr">>     processes: to stop<br></div><div dir="ltr">>      >      >    everything (and free the memory) I have to<br></div><div dir="ltr">>      >      >    systemctl stop glusterd<br></div><div dir="ltr">>      >      >        killall glusterfs{,d}<br></div><div dir="ltr">>      >      >        killall glfsheal<br></div><div dir="ltr">>      >      >        systemctl start glusterd<br></div><div dir="ltr">>      >      >    [this behaviour hangs a simple reboot of a machine running<br></div><div dir="ltr">>      >    glusterd...<br></div><div dir="ltr">>      >      >    not nice]<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    For now I just restarted glusterd w/o killing the bricks:<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    root@str957-clustor00:~# ps aux|grep glfsheal|wc -l ;<br></div><div dir="ltr">>      >    systemctl restart<br></div><div dir="ltr">>      >      >    glusterd ; ps aux|grep glfsheal|wc -l<br></div><div dir="ltr">>      >      >    618<br></div><div dir="ltr">>      >      >    618<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    No change neither in glfsheal processes nor in free<br></div><div dir="ltr">>     memory :(<br></div><div dir="ltr">>      >      >    Should I "killall glfsheal" before OOK kicks in?<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    Diego<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    Il 16/03/2023 12:37, Strahil Nikolov ha scritto:<br></div><div dir="ltr">>      >      >      > Can you restart glusterd service (first check that<br></div><div dir="ltr">>     it was not<br></div><div dir="ltr">>      >      >    modified<br></div><div dir="ltr">>      >      >      > to kill the bricks)?<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      > Best Regards,<br></div><div dir="ltr">>      >      >      > Strahil Nikolov<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    On Thu, Mar 16, 2023 at 8:26, Diego Zuccato<br></div><div dir="ltr">>      >      >      >    <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a><br></div><div dir="ltr">>     <mailto:diego.zuccato@unibo.it> <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >    <mailto:diego.zuccato@unibo.it>> wrote:<br></div><div dir="ltr">>      >      >      >    OOM is just just a matter of time.<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    Today mem use is up to 177G/187 and:<br></div><div dir="ltr">>      >      >      >    # ps aux|grep glfsheal|wc -l<br></div><div dir="ltr">>      >      >      >    551<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    (well, one is actually the grep process, so<br></div><div dir="ltr">>     "only" 550<br></div><div dir="ltr">>      >    glfsheal<br></div><div dir="ltr">>      >      >      >    processes.<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    I'll take the last 5:<br></div><div dir="ltr">>      >      >      >    root    3266352  0.5  0.0 600292 93044 ?        Sl<br></div><div dir="ltr">>      >    06:55  0:07<br></div><div dir="ltr">>      >      >      >    /usr/libexec/glusterfs/glfsheal cluster_data<br></div><div dir="ltr">>      >    info-summary --xml<br></div><div dir="ltr">>      >      >      >    root    3267220  0.7  0.0 600292 91964 ?        Sl<br></div><div dir="ltr">>      >    07:00  0:07<br></div><div dir="ltr">>      >      >      >    /usr/libexec/glusterfs/glfsheal cluster_data<br></div><div dir="ltr">>      >    info-summary --xml<br></div><div dir="ltr">>      >      >      >    root    3268076  1.0  0.0 600160 88216 ?        Sl<br></div><div dir="ltr">>      >    07:05  0:08<br></div><div dir="ltr">>      >      >      >    /usr/libexec/glusterfs/glfsheal cluster_data<br></div><div dir="ltr">>      >    info-summary --xml<br></div><div dir="ltr">>      >      >      >    root    3269492  1.6  0.0 600292 91248 ?        Sl<br></div><div dir="ltr">>      >    07:10  0:07<br></div><div dir="ltr">>      >      >      >    /usr/libexec/glusterfs/glfsheal cluster_data<br></div><div dir="ltr">>      >    info-summary --xml<br></div><div dir="ltr">>      >      >      >    root    3270354  4.4  0.0 600292 93260 ?        Sl<br></div><div dir="ltr">>      >    07:15  0:07<br></div><div dir="ltr">>      >      >      >    /usr/libexec/glusterfs/glfsheal cluster_data<br></div><div dir="ltr">>      >    info-summary --xml<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    -8<--<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps -o ppid= 3266352<br></div><div dir="ltr">>      >      >      >    3266345<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps -o ppid= 3267220<br></div><div dir="ltr">>      >      >      >    3267213<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps -o ppid= 3268076<br></div><div dir="ltr">>      >      >      >    3268069<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps -o ppid= 3269492<br></div><div dir="ltr">>      >      >      >    3269485<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps -o ppid= 3270354<br></div><div dir="ltr">>      >      >      >    3270347<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps aux|grep 3266345<br></div><div dir="ltr">>      >      >      >    root    3266345  0.0  0.0 430536 10764 ?        Sl<br></div><div dir="ltr">>      >    06:55  0:00<br></div><div dir="ltr">>      >      >      >    gluster volume heal cluster_data info summary --xml<br></div><div dir="ltr">>      >      >      >    root    3271532  0.0  0.0  6260  2500 pts/1    S+<br></div><div dir="ltr">>      >    07:21  0:00<br></div><div dir="ltr">>      >      >    grep<br></div><div dir="ltr">>      >      >      >    3266345<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps aux|grep 3267213<br></div><div dir="ltr">>      >      >      >    root    3267213  0.0  0.0 430536 10644 ?        Sl<br></div><div dir="ltr">>      >    07:00  0:00<br></div><div dir="ltr">>      >      >      >    gluster volume heal cluster_data info summary --xml<br></div><div dir="ltr">>      >      >      >    root    3271599  0.0  0.0  6260  2480 pts/1    S+<br></div><div dir="ltr">>      >    07:22  0:00<br></div><div dir="ltr">>      >      >    grep<br></div><div dir="ltr">>      >      >      >    3267213<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps aux|grep 3268069<br></div><div dir="ltr">>      >      >      >    root    3268069  0.0  0.0 430536 10704 ?        Sl<br></div><div dir="ltr">>      >    07:05  0:00<br></div><div dir="ltr">>      >      >      >    gluster volume heal cluster_data info summary --xml<br></div><div dir="ltr">>      >      >      >    root    3271626  0.0  0.0  6260  2516 pts/1    S+<br></div><div dir="ltr">>      >    07:22  0:00<br></div><div dir="ltr">>      >      >    grep<br></div><div dir="ltr">>      >      >      >    3268069<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps aux|grep 3269485<br></div><div dir="ltr">>      >      >      >    root    3269485  0.0  0.0 430536 10756 ?        Sl<br></div><div dir="ltr">>      >    07:10  0:00<br></div><div dir="ltr">>      >      >      >    gluster volume heal cluster_data info summary --xml<br></div><div dir="ltr">>      >      >      >    root    3271647  0.0  0.0  6260  2480 pts/1    S+<br></div><div dir="ltr">>      >    07:22  0:00<br></div><div dir="ltr">>      >      >    grep<br></div><div dir="ltr">>      >      >      >    3269485<br></div><div dir="ltr">>      >      >      >    root@str957-clustor00:~# ps aux|grep 3270347<br></div><div dir="ltr">>      >      >      >    root    3270347  0.0  0.0 430536 10672 ?        Sl<br></div><div dir="ltr">>      >    07:15  0:00<br></div><div dir="ltr">>      >      >      >    gluster volume heal cluster_data info summary --xml<br></div><div dir="ltr">>      >      >      >    root    3271666  0.0  0.0  6260  2568 pts/1    S+<br></div><div dir="ltr">>      >    07:22  0:00<br></div><div dir="ltr">>      >      >    grep<br></div><div dir="ltr">>      >      >      >    3270347<br></div><div dir="ltr">>      >      >      >    -8<--<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    Seems glfsheal is spawning more processes.<br></div><div dir="ltr">>      >      >      >    I can't rule out a metadata corruption (or at<br></div><div dir="ltr">>     least a<br></div><div dir="ltr">>      >    desync),<br></div><div dir="ltr">>      >      >    but it<br></div><div dir="ltr">>      >      >      >    shouldn't happen...<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    Diego<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    Il 15/03/2023 20:11, Strahil Nikolov ha scritto:<br></div><div dir="ltr">>      >      >      >      > If you don't experience any OOM , you can<br></div><div dir="ltr">>     focus on<br></div><div dir="ltr">>      >    the heals.<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      > 284 processes of glfsheal seems odd.<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      > Can you check the ppid for 2-3 randomly picked ?<br></div><div dir="ltr">>      >      >      >      > ps -o ppid= <pid><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      > Best Regards,<br></div><div dir="ltr">>      >      >      >      > Strahil Nikolov<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    On Wed, Mar 15, 2023 at 9:54, Diego Zuccato<br></div><div dir="ltr">>      >      >      >      >    <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a><br></div><div dir="ltr">>     <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >    <mailto:diego.zuccato@unibo.it> <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >      >    <mailto:diego.zuccato@unibo.it>> wrote:<br></div><div dir="ltr">>      >      >      >      >    I enabled it yesterday and that greatly<br></div><div dir="ltr">>     reduced<br></div><div dir="ltr">>      >    memory<br></div><div dir="ltr">>      >      >    pressure.<br></div><div dir="ltr">>      >      >      >      >    Current volume info:<br></div><div dir="ltr">>      >      >      >      >    -8<--<br></div><div dir="ltr">>      >      >      >      >    Volume Name: cluster_data<br></div><div dir="ltr">>      >      >      >      >    Type: Distributed-Replicate<br></div><div dir="ltr">>      >      >      >      >    Volume ID:<br></div><div dir="ltr">>     a8caaa90-d161-45bb-a68c-278263a8531a<br></div><div dir="ltr">>      >      >      >      >    Status: Started<br></div><div dir="ltr">>      >      >      >      >    Snapshot Count: 0<br></div><div dir="ltr">>      >      >      >      >    Number of Bricks: 45 x (2 + 1) = 135<br></div><div dir="ltr">>      >      >      >      >    Transport-type: tcp<br></div><div dir="ltr">>      >      >      >      >    Bricks:<br></div><div dir="ltr">>      >      >      >      >    Brick1: clustor00:/srv/bricks/00/d<br></div><div dir="ltr">>      >      >      >      >    Brick2: clustor01:/srv/bricks/00/d<br></div><div dir="ltr">>      >      >      >      >    Brick3: clustor02:/srv/bricks/00/q (arbiter)<br></div><div dir="ltr">>      >      >      >      >    [...]<br></div><div dir="ltr">>      >      >      >      >    Brick133: clustor01:/srv/bricks/29/d<br></div><div dir="ltr">>      >      >      >      >    Brick134: clustor02:/srv/bricks/29/d<br></div><div dir="ltr">>      >      >      >      >    Brick135: clustor00:/srv/bricks/14/q<br></div><div dir="ltr">>     (arbiter)<br></div><div dir="ltr">>      >      >      >      >    Options Reconfigured:<br></div><div dir="ltr">>      >      >      >      >    performance.quick-read: off<br></div><div dir="ltr">>      >      >      >      >    cluster.entry-self-heal: on<br></div><div dir="ltr">>      >      >      >      >    cluster.data-self-heal-algorithm: full<br></div><div dir="ltr">>      >      >      >      >    cluster.metadata-self-heal: on<br></div><div dir="ltr">>      >      >      >      >    cluster.shd-max-threads: 2<br></div><div dir="ltr">>      >      >      >      >    network.inode-lru-limit: 500000<br></div><div dir="ltr">>      >      >      >      >    performance.md-cache-timeout: 600<br></div><div dir="ltr">>      >      >      >      >    performance.cache-invalidation: on<br></div><div dir="ltr">>      >      >      >      >    features.cache-invalidation-timeout: 600<br></div><div dir="ltr">>      >      >      >      >    features.cache-invalidation: on<br></div><div dir="ltr">>      >      >      >      >    features.quota-deem-statfs: on<br></div><div dir="ltr">>      >      >      >      >    performance.readdir-ahead: on<br></div><div dir="ltr">>      >      >      >      >    cluster.granular-entry-heal: enable<br></div><div dir="ltr">>      >      >      >      >    features.scrub: Active<br></div><div dir="ltr">>      >      >      >      >    features.bitrot: on<br></div><div dir="ltr">>      >      >      >      >    cluster.lookup-optimize: on<br></div><div dir="ltr">>      >      >      >      >    performance.stat-prefetch: on<br></div><div dir="ltr">>      >      >      >      >    performance.cache-refresh-timeout: 60<br></div><div dir="ltr">>      >      >      >      >    performance.parallel-readdir: on<br></div><div dir="ltr">>      >      >      >      >    performance.write-behind-window-size: 128MB<br></div><div dir="ltr">>      >      >      >      >    cluster.self-heal-daemon: enable<br></div><div dir="ltr">>      >      >      >      >    features.inode-quota: on<br></div><div dir="ltr">>      >      >      >      >    features.quota: on<br></div><div dir="ltr">>      >      >      >      >    transport.address-family: inet<br></div><div dir="ltr">>      >      >      >      >    nfs.disable: on<br></div><div dir="ltr">>      >      >      >      >    performance.client-io-threads: off<br></div><div dir="ltr">>      >      >      >      >    client.event-threads: 1<br></div><div dir="ltr">>      >      >      >      >    features.scrub-throttle: normal<br></div><div dir="ltr">>      >      >      >      >    diagnostics.brick-log-level: ERROR<br></div><div dir="ltr">>      >      >      >      >    diagnostics.client-log-level: ERROR<br></div><div dir="ltr">>      >      >      >      >    config.brick-threads: 0<br></div><div dir="ltr">>      >      >      >      >    cluster.lookup-unhashed: on<br></div><div dir="ltr">>      >      >      >      >    config.client-threads: 1<br></div><div dir="ltr">>      >      >      >      >    cluster.use-anonymous-inode: off<br></div><div dir="ltr">>      >      >      >      >    diagnostics.brick-sys-log-level: CRITICAL<br></div><div dir="ltr">>      >      >      >      >    features.scrub-freq: monthly<br></div><div dir="ltr">>      >      >      >      >    cluster.data-self-heal: on<br></div><div dir="ltr">>      >      >      >      >    cluster.brick-multiplex: on<br></div><div dir="ltr">>      >      >      >      >    cluster.daemon-log-level: ERROR<br></div><div dir="ltr">>      >      >      >      >    -8<--<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    htop reports that memory usage is up to 143G,<br></div><div dir="ltr">>      >    there are 602<br></div><div dir="ltr">>      >      >      >    tasks and<br></div><div dir="ltr">>      >      >      >      >    5232 threads (~20 running) on clustor00,<br></div><div dir="ltr">>     117G/49<br></div><div dir="ltr">>      >    tasks/1565<br></div><div dir="ltr">>      >      >      >    threads on<br></div><div dir="ltr">>      >      >      >      >    clustor01 and 126G/45 tasks/1574 threads on<br></div><div dir="ltr">>      >    clustor02.<br></div><div dir="ltr">>      >      >      >      >    I see quite a lot (284!) of glfsheal<br></div><div dir="ltr">>     processes<br></div><div dir="ltr">>      >    running on<br></div><div dir="ltr">>      >      >      >    clustor00 (a<br></div><div dir="ltr">>      >      >      >      >    "gluster v heal cluster_data info summary" is<br></div><div dir="ltr">>      >    running<br></div><div dir="ltr">>      >      >    on clustor02<br></div><div dir="ltr">>      >      >      >      >    since<br></div><div dir="ltr">>      >      >      >      >    yesterday, still no output). Shouldn't be<br></div><div dir="ltr">>     just<br></div><div dir="ltr">>      >    one per<br></div><div dir="ltr">>      >      >    brick?<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    Diego<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    Il 15/03/2023 08:30, Strahil Nikolov ha<br></div><div dir="ltr">>     scritto:<br></div><div dir="ltr">>      >      >      >      >      > Do you use brick multiplexing ?<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      > Best Regards,<br></div><div dir="ltr">>      >      >      >      >      > Strahil Nikolov<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    On Tue, Mar 14, 2023 at 16:44,<br></div><div dir="ltr">>     Diego Zuccato<br></div><div dir="ltr">>      >      >      >      >      >    <<a ymailto="mailto:diego.zuccato@unibo.it" href="mailto:diego.zuccato@unibo.it">diego.zuccato@unibo.it</a><br></div><div dir="ltr">>     <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >    <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >      >    <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>     <mailto:diego.zuccato@unibo.it><br></div><div dir="ltr">>      >      >      >    <mailto:diego.zuccato@unibo.it>> wrote:<br></div><div dir="ltr">>      >      >      >      >      >    Hello all.<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    Our Gluster 9.6 cluster is showing<br></div><div dir="ltr">>     increasing<br></div><div dir="ltr">>      >      >    problems.<br></div><div dir="ltr">>      >      >      >      >      >    Currently it's composed of 3<br></div><div dir="ltr">>     servers (2x<br></div><div dir="ltr">>      >    Intel Xeon<br></div><div dir="ltr">>      >      >      >    4210 [20<br></div><div dir="ltr">>      >      >      >      >    cores dual<br></div><div dir="ltr">>      >      >      >      >      >    thread, total 40 threads], 192GB<br></div><div dir="ltr">>     RAM, 30x<br></div><div dir="ltr">>      >    HGST<br></div><div dir="ltr">>      >      >      >    HUH721212AL5200<br></div><div dir="ltr">>      >      >      >      >    [12TB]),<br></div><div dir="ltr">>      >      >      >      >      >    configured in replica 3 arbiter 1.<br></div><div dir="ltr">>     Using<br></div><div dir="ltr">>      >    Debian<br></div><div dir="ltr">>      >      >      >    packages from<br></div><div dir="ltr">>      >      >      >      >    Gluster<br></div><div dir="ltr">>      >      >      >      >      >    9.x latest repository.<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    Seems 192G RAM are not enough to<br></div><div dir="ltr">>     handle<br></div><div dir="ltr">>      >    30 data<br></div><div dir="ltr">>      >      >    bricks + 15<br></div><div dir="ltr">>      >      >      >      >    arbiters<br></div><div dir="ltr">>      >      >      >      >      >    and<br></div><div dir="ltr">>      >      >      >      >      >    I often had to reload glusterfsd<br></div><div dir="ltr">>     because<br></div><div dir="ltr">>      >    glusterfs<br></div><div dir="ltr">>      >      >      >    processed<br></div><div dir="ltr">>      >      >      >      >    got killed<br></div><div dir="ltr">>      >      >      >      >      >    for OOM.<br></div><div dir="ltr">>      >      >      >      >      >    On top of that, performance have been<br></div><div dir="ltr">>      >    quite bad,<br></div><div dir="ltr">>      >      >    especially<br></div><div dir="ltr">>      >      >      >      >    when we<br></div><div dir="ltr">>      >      >      >      >      >    reached about 20M files. On top of<br></div><div dir="ltr">>     that,<br></div><div dir="ltr">>      >    one of<br></div><div dir="ltr">>      >      >    the servers<br></div><div dir="ltr">>      >      >      >      >    have had<br></div><div dir="ltr">>      >      >      >      >      >    mobo issues that resulted in memory<br></div><div dir="ltr">>      >    errors that<br></div><div dir="ltr">>      >      >      >    corrupted some<br></div><div dir="ltr">>      >      >      >      >      >    bricks fs<br></div><div dir="ltr">>      >      >      >      >      >    (XFS, it required "xfs_reparir -L"<br></div><div dir="ltr">>     to fix).<br></div><div dir="ltr">>      >      >      >      >      >    Now I'm getting lots of "stale<br></div><div dir="ltr">>     file handle"<br></div><div dir="ltr">>      >      >    errors and<br></div><div dir="ltr">>      >      >      >    other<br></div><div dir="ltr">>      >      >      >      >    errors<br></div><div dir="ltr">>      >      >      >      >      >    (like directories that seem empty<br></div><div dir="ltr">>     from the<br></div><div dir="ltr">>      >      >    client but still<br></div><div dir="ltr">>      >      >      >      >    containing<br></div><div dir="ltr">>      >      >      >      >      >    files in some bricks) and auto<br></div><div dir="ltr">>     healing seems<br></div><div dir="ltr">>      >      >    unable to<br></div><div dir="ltr">>      >      >      >    complete.<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    Since I can't keep up continuing to<br></div><div dir="ltr">>      >    manually fix<br></div><div dir="ltr">>      >      >    all the<br></div><div dir="ltr">>      >      >      >      >    issues, I'm<br></div><div dir="ltr">>      >      >      >      >      >    thinking about backup+destroy+recreate<br></div><div dir="ltr">>      >    strategy.<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    I think that if I reduce the number of<br></div><div dir="ltr">>      >    bricks per<br></div><div dir="ltr">>      >      >      >    server to just 5<br></div><div dir="ltr">>      >      >      >      >      >    (RAID1 of 6x12TB disks) I might<br></div><div dir="ltr">>     resolve RAM<br></div><div dir="ltr">>      >      >    issues - at the<br></div><div dir="ltr">>      >      >      >      >    cost of<br></div><div dir="ltr">>      >      >      >      >      >    longer heal times in case a disk<br></div><div dir="ltr">>     fails. Am I<br></div><div dir="ltr">>      >      >    right or it's<br></div><div dir="ltr">>      >      >      >      >    useless?<br></div><div dir="ltr">>      >      >      >      >      >    Other recommendations?<br></div><div dir="ltr">>      >      >      >      >      >    Servers have space for another 6<br></div><div dir="ltr">>     disks.<br></div><div dir="ltr">>      >    Maybe those<br></div><div dir="ltr">>      >      >      >    could be<br></div><div dir="ltr">>      >      >      >      >    used for<br></div><div dir="ltr">>      >      >      >      >      >    some SSDs to speed up access?<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    TIA.<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    --<br></div><div dir="ltr">>      >      >      >      >      >    Diego Zuccato<br></div><div dir="ltr">>      >      >      >      >      >    DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>      >      >      >      >      >    Servizi Informatici<br></div><div dir="ltr">>      >      >      >      >      >    Alma Mater Studiorum - Università<br></div><div dir="ltr">>     di Bologna<br></div><div dir="ltr">>      >      >      >      >      >    V.le Berti-Pichat 6/2 - 40127<br></div><div dir="ltr">>     Bologna - Italy<br></div><div dir="ltr">>      >      >      >      >      >    tel.: +39 051 20 95786<br></div><div dir="ltr">>      >      >      >      >      >    ________<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    Community Meeting Calendar:<br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      >    Schedule -<br></div><div dir="ltr">>      >      >      >      >      >    Every 2nd and 4th Tuesday at 14:30<br></div><div dir="ltr">>     IST /<br></div><div dir="ltr">>      >    09:00 UTC<br></div><div dir="ltr">>      >      >      >      >      >    Bridge:<br></div><div dir="ltr">>      > <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>><br></div><div dir="ltr">>      >      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>>><br></div><div dir="ltr">>      >      >      >      >      >   <br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>><br></div><div dir="ltr">>      >      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>>>><br></div><div dir="ltr">>      >      >      >      >      >    Gluster-users mailing list<br></div><div dir="ltr">>      >      >      >      >      > <a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr">>     <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      > <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>>><br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>>>><br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >      ><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    --<br></div><div dir="ltr">>      >      >      >      >    Diego Zuccato<br></div><div dir="ltr">>      >      >      >      >    DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>      >      >      >      >    Servizi Informatici<br></div><div dir="ltr">>      >      >      >      >    Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">>      >      >      >      >    V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">>      >      >      >      >    tel.: +39 051 20 95786<br></div><div dir="ltr">>      >      >      >      >    ________<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    Community Meeting Calendar:<br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      >      >    Schedule -<br></div><div dir="ltr">>      >      >      >      >    Every 2nd and 4th Tuesday at 14:30 IST /<br></div><div dir="ltr">>     09:00 UTC<br></div><div dir="ltr">>      >      >      >      >    Bridge:<br></div><div dir="ltr">>     <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>><br></div><div dir="ltr">>      >      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>><br></div><div dir="ltr">>      >      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>><br></div><div dir="ltr">>      >      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>><br></div><div dir="ltr">>      >    <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">>     <<a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a>>>>>><br></div><div dir="ltr">>      >      >      >      >    Gluster-users mailing list<br></div><div dir="ltr">>      >      >      >      > <a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr">>     <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >      >    <mailto:Gluster-users@gluster.org><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      > <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>><br></div><div dir="ltr">>      >      >   <br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>><br></div><div dir="ltr">>      >    <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div><div dir="ltr">>     <<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a>>>>>><br></div><div dir="ltr">>      >      >      >      ><br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      >      >    --<br></div><div dir="ltr">>      >      >      >    Diego Zuccato<br></div><div dir="ltr">>      >      >      >    DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>      >      >      >    Servizi Informatici<br></div><div dir="ltr">>      >      >      >    Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">>      >      >      >    V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">>      >      >      >    tel.: +39 051 20 95786<br></div><div dir="ltr">>      >      >      ><br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      >      >    --<br></div><div dir="ltr">>      >      >    Diego Zuccato<br></div><div dir="ltr">>      >      >    DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>      >      >    Servizi Informatici<br></div><div dir="ltr">>      >      >    Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">>      >      >    V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">>      >      >    tel.: +39 051 20 95786<br></div><div dir="ltr">>      >      ><br></div><div dir="ltr">>      ><br></div><div dir="ltr">>      >    --<br></div><div dir="ltr">>      >    Diego Zuccato<br></div><div dir="ltr">>      >    DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>      >    Servizi Informatici<br></div><div dir="ltr">>      >    Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">>      >    V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">>      >    tel.: +39 051 20 95786<br></div><div dir="ltr">>      ><br></div><div dir="ltr">> <br></div><div dir="ltr">>     -- <br></div><div dir="ltr">>     Diego Zuccato<br></div><div dir="ltr">>     DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">>     Servizi Informatici<br></div><div dir="ltr">>     Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">>     V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">>     tel.: +39 051 20 95786<br></div><div dir="ltr">> <br></div><div dir="ltr"><br></div><div dir="ltr">-- <br></div><div dir="ltr">Diego Zuccato<br></div><div dir="ltr">DIFA - Dip. di Fisica e Astronomia<br></div><div dir="ltr">Servizi Informatici<br></div><div dir="ltr">Alma Mater Studiorum - Università di Bologna<br></div><div dir="ltr">V.le Berti-Pichat 6/2 - 40127 Bologna - Italy<br></div><div dir="ltr">tel.: +39 051 20 95786<br></div> </div> </blockquote></div>