Also,<div id="yMail_cursorElementTracker_1642668606984">it's worth selecting noop/none as I/O scheduler in VMs as deadline (or other schedulers) reorders the I/O requests (and thus delays I/O) , so the Hypervisor do the same (reordering and merging requests from multiple VMs).</div><div id="yMail_cursorElementTracker_1642668706717"><br></div><div id="yMail_cursorElementTracker_1642668706942">Also, mount options and FS play significant role.</div><div id="yMail_cursorElementTracker_1642668720564">For example, using noatime/relatime on the bricks reduces the ammount of unnecessary I/O. On top of that, if you use SELINUX, I would recommend you to use 'context="system_u:object_r:glusterd_brick_t:s0" ' (remove the single quotes) which tells the kernel that the brick contains only objects of type glusterd_brick_t and skips reading the SELINUX Label .</div><div id="yMail_cursorElementTracker_1642669007422"><br></div><div id="yMail_cursorElementTracker_1642669007613">It was discussed several times in the lists that with more threads, at some point a locking contention is observed - leading to poor performance.</div><div id="yMail_cursorElementTracker_1642669065517"><br></div><div id="yMail_cursorElementTracker_1642669065741">In VmWare you should tune the VM for high performance and low lattency and also disable Large Receive Offload for the gluster NICs as lattency introduced can interfere with your results . Disabling LRO increases cpu consumption, so adjust the number of cores.</div><div id="yMail_cursorElementTracker_1642669326224"><br></div><div id="yMail_cursorElementTracker_1642669326422">Using Hyperthreading on Hypervisor level could also show differences in your results. The second thread of a core is not as performant as you need.</div><div id="yMail_cursorElementTracker_1642669439339"><br></div><div id="yMail_cursorElementTracker_1642669470290">Another tunable that you can enable is the rhgs-random-io tuned profile.</div><div id="yMail_cursorElementTracker_1642669713761">[main]</div><div id="yMail_cursorElementTracker_1642669722108">include=throughput-performance</div><div id="yMail_cursorElementTracker_1642669736284"><br></div><div id="yMail_cursorElementTracker_1642669736727">[sysctl]</div><div id="yMail_cursorElementTracker_1642669742639">vm.dirty_ratio = 5</div><div id="yMail_cursorElementTracker_1642669758330">vm.dirty_backgroud_ratio = 2</div><div id="yMail_cursorElementTracker_1642669785673"><br></div><div id="yMail_cursorElementTracker_1642669822289"><br></div><div id="yMail_cursorElementTracker_1642669822527">From Infra perspective there are a lot of tunables (even some I didn't mention) for VmWare Hypervisor, VM and OS.</div><div id="yMail_cursorElementTracker_1642669786076"><br></div><div id="yMail_cursorElementTracker_1642669439592">Best Regards,</div><div id="yMail_cursorElementTracker_1642669465200">Strahil Nikolov</div><div id="yMail_cursorElementTracker_1642669294721"><br></div><div id="yMail_cursorElementTracker_1642669294933"><br></div><div id="yMail_cursorElementTracker_1642668678932"> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Thu, Jan 20, 2022 at 10:42, Yaniv Kaul</div><div><ykaul@redhat.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> -------<br clear="none"><br clear="none">Community Meeting Calendar:<br clear="none">Schedule -<br clear="none">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br clear="none">Bridge: <a shape="rect" href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br clear="none"><br clear="none">Gluster-devel mailing list<br clear="none"><a shape="rect" ymailto="mailto:Gluster-devel@gluster.org" href="mailto:Gluster-devel@gluster.org">Gluster-devel@gluster.org</a><br clear="none"><a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-devel" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-devel</a><br clear="none"><br clear="none"> </div> </blockquote></div>