By the way, try to capture the traffic on the systems and compare if only specific packages are not delivered to the destination.<div><br></div><div>Overall JF won't give you a 2-digit improvement, so in your case I would switch to 1500 MTU.</div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov <br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;">  </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> I already updated the firmware of the NICs few weeks ago. The switch <br clear="none">firmware is up to date. I already changed the whole switch to a <br clear="none">completely different model without effect before (maybe 6 months ago). <br clear="none">There are no other systems which are using jumbo frames attached to the <br clear="none">switch.<br clear="none"><br clear="none"><div class="yqt3439121579" id="yqtfd00488"><br clear="none">Am 18.09.2022 21:07 schrieb Strahil Nikolov:<br clear="none">> We are currently shooting in the dark...<br clear="none">> If possible update the Firmware of the NICs and FW of the switch .<br clear="none">> <br clear="none">> Have you tried if other systems (on the same switch) have issues with<br clear="none">> the Jumbo Frames ?<br clear="none">> <br clear="none">> Best Regards,<br clear="none">> Strahil Nikolov<br clear="none">> <br clear="none">>> Yes, i did test the ping with a jumbo frame mtu and it worked<br clear="none">>> without<br clear="none">>> problems. There is no firewall between the storage nodes and the<br clear="none">>> hypervisors. They are using the same layer 2 subnet, so there is<br clear="none">>> only<br clear="none">>> the switch in between. On the switch jumbo frames for the specific<br clear="none">>> wlan<br clear="none">>> is enabled.<br clear="none">>> <br clear="none">>> I also increased the tx and rx queue length, without succes in<br clear="none">>> relation<br clear="none">>> to the problem.<br clear="none">>> <br clear="none">>> Am 17.09.2022 10:39 schrieb Strahil Nikolov:<br clear="none">>>> Usually that kind of problems could be on many places.<br clear="none">>>> When you set the MTU to 9000, did you test with ping and the "Do<br clear="none">>> not<br clear="none">>>> fragment" Flag ?<br clear="none">>>> <br clear="none">>>> If there is a device on the path that is not configured (or<br clear="none">>> doesn't<br clear="none">>>> support MTU9000) , it will fragment all packets and that could<br clear="none">>> lead to<br clear="none">>>> excessive device CPU consumption. I have seen many firewalls to<br clear="none">>> not<br clear="none">>>> use JF by default.<br clear="none">>>> <br clear="none">>>> ping <IP/HOSTNAME from brick definition> -M do -s 8972<br clear="none">>>> <br clear="none">>>> Best Regards,<br clear="none">>>> Strahil Nikolov<br clear="none">>>> <br clear="none">>>> В петък, 16 септември 2022 г., 22:24:14 ч.<br clear="none">>>> Гринуич+3, Gionatan Danti <<a shape="rect" ymailto="mailto:g.danti@assyoma.it" href="mailto:g.danti@assyoma.it">g.danti@assyoma.it</a>><br clear="none">>> написа:<br clear="none">>>> <br clear="none">>>> Il 2022-09-16 18:41 <a shape="rect" ymailto="mailto:dpgluster@posteo.de" href="mailto:dpgluster@posteo.de">dpgluster@posteo.de</a> ha scritto:<br clear="none">>>>> I have made extensive load tests in the last few days and figured<br clear="none">>>> out<br clear="none">>>>> it's definitely a network related issue. I changed from jumbo<br clear="none">>> frames<br clear="none">>>>> (mtu 9000) to default mtu of 1500. With a mtu of 1500 the problem<br clear="none">>>>> doesn't occur. I'm able to bump the io-wait of our gluster<br clear="none">>> storage<br clear="none">>>>> servers to the max possible values of the disks without any error<br clear="none">>> or<br clear="none">>>>> connection loss between the hypervisors or the storage nodes.<br clear="none">>>>> <br clear="none">>>>> As mentioned in multiple gluster best practices it's recommended<br clear="none">>> to<br clear="none">>>>> use jumbo frames in gluster setups for better performance. So I<br clear="none">>>> would<br clear="none">>>>> like to use jumbo frames in my datacenter.<br clear="none">>>>> <br clear="none">>>>> What could be the issue here?<br clear="none">>>> <br clear="none">>>> I would try with a jumbo frame setting of 4074 (or 4088) bytes.<br clear="none">>>> <br clear="none">>>> Regards.<br clear="none">>>> <br clear="none">>>> --<br clear="none">>>> Danti Gionatan<br clear="none">>>> Supporto Tecnico<br clear="none">>>> Assyoma S.r.l. - www.assyoma.it<br clear="none">>>> email: <a shape="rect" ymailto="mailto:g.danti@assyoma.it" href="mailto:g.danti@assyoma.it">g.danti@assyoma.it</a> - <a shape="rect" ymailto="mailto:info@assyoma.it" href="mailto:info@assyoma.it">info@assyoma.it</a><br clear="none">>>> GPG public key ID: FF5F32A8<br clear="none"></div> </div> </blockquote></div>