
<html><head></head><body><div class="ydp91dc637fyahoo-style-wrap" style="font-family:courier new, courier, monaco, monospace, sans-serif;font-size:16px;"><div></div>

        <div dir="ltr" data-setdir="false">Hi Michael,</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">For the I/O Scheduler - none is used for multiqueue , while noop is used when multiqueue is disabled - keep it none.</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">It's strange that all reads go to&nbsp;<span><span style="color: rgb(38, 40, 42); font-family: monospace;">node1:/data/nvme/testvol1/brick, they should be equally balanced between bricks.</span></span></div><div dir="ltr" data-setdir="false"><span><span style="color: rgb(38, 40, 42); font-family: monospace;"><br></span></span></div><div dir="ltr" data-setdir="false"><span><span style="color: rgb(38, 40, 42); font-family: monospace;">Can you provide your gluster volume's info ?</span></span></div><div dir="ltr" data-setdir="false">What is the cluster.choose-local value ?</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">Maybe you can give a try of the sharding option (once enabled - do not disable it . If you need you data , just create a regular volume and copy the data there). Maybe the file is quite large and is located on a single brick and that's why you are using only it for reads , while all writes have to be pushed to all nodes.</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">You can define Jumbo Frames (MTU 9000) for the gluster's interfaces - this should potentially give some extra juice.</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">If you need extra performance ,I guess you should get rid of the FUSE and use NFS Ganesha, which uses libgfapi and performance is better.</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">Best Regards,</div><div dir="ltr" data-setdir="false">Strahil Nikolov</div><div><br></div>

        

        </div><div id="ydpd1dce270yahoo_quoted_8813287336" class="ydpd1dce270yahoo_quoted">

            <div style="font-family:'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:13px;color:#26282a;">

                

                <div>

                    В понеделник, 6 януари 2020 г., 00:31:42 ч. Гринуич+2, Michael Richardson &lt;hello@mikerichardson.com.au&gt; написа:

                </div>

                <div><br></div>

                <div><br></div>

                <div><div id="ydpd1dce270yiv1334309804"><div><div dir="ltr">Hi Mohit and Strahil,<div><br clear="none"></div><div>Thank you for taking the time to share your advice. Strahil, unfortunately your message didn't come to my inbox, so I'm combining my reply to both yourself and Mohit.&nbsp;</div><div><br clear="none"></div><div>Mohit,&nbsp;</div><div><br clear="none"></div><div>I mentioned there was no performance difference between using SSL and not using SSL. I did try setting it to AES128 anyway, but that seemed to have no effect as well.&nbsp;<br clear="none"><br clear="none">Strahil,</div><div><br clear="none"></div><div>I've had a go at various different settings this morning, including all of those you've supplied. I couldn't see any improvement in throughput when messing with these, but I could make it worse by adjusting things like event-threads.&nbsp;</div><div><br clear="none"></div><div>I've also tried adjusting the fio test types from one large file to many small files and a mix in between without any real change in peak performance.&nbsp;</div><div><br clear="none"></div><div>In answer to your other question, I'm running Gluster 7.1-1 on Debian 10. I have confirmed that blk-mq is on and my scheduler is 'none'. I don't seem to have an option to change it to 'noop' but I'm not sure why.&nbsp;</div><div><br clear="none"></div><div>Here's some profile output as well, in case that's helpful. These' values don't look so bad (to me, at least), but again this is much less than the raw nvme output that I was hoping to get closer to.&nbsp;</div><div><br clear="none"></div><div><font face="monospace">Brick: node1:/data/nvme/testvol1/brick<br clear="none">-------------------------------------------------------------<br clear="none">Cumulative Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 492397<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 22 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;33.67 us &nbsp; &nbsp; &nbsp;30.56 us &nbsp; &nbsp; &nbsp;43.31 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.01 &nbsp; &nbsp; &nbsp;26.05 us &nbsp; &nbsp; &nbsp;14.36 us &nbsp; &nbsp; 128.33 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.02 &nbsp; &nbsp; &nbsp;53.48 us &nbsp; &nbsp; &nbsp;43.23 us &nbsp; &nbsp; &nbsp;87.31 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.02 &nbsp; &nbsp; &nbsp;58.54 us &nbsp; &nbsp; &nbsp;46.75 us &nbsp; &nbsp; &nbsp;94.94 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.04 &nbsp; &nbsp; &nbsp;24.21 us &nbsp; &nbsp; &nbsp; 9.58 us &nbsp; &nbsp; 679.17 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.04 &nbsp; &nbsp; 145.95 us &nbsp; &nbsp; 116.32 us &nbsp; &nbsp; 211.72 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.28 &nbsp; &nbsp; 211.24 us &nbsp; &nbsp; &nbsp;32.92 us &nbsp; 17442.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 0.38 &nbsp; &nbsp; &nbsp;82.16 us &nbsp; &nbsp; &nbsp;34.00 us &nbsp; 15537.54 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 1.92 &nbsp; &nbsp;6683.77 us &nbsp; &nbsp; 437.30 us &nbsp; 28616.62 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp; 2.03 &nbsp; &nbsp; &nbsp;48.87 us &nbsp; &nbsp; &nbsp; 7.50 us &nbsp; 24840.37 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;18.97 &nbsp; &nbsp; 455.94 us &nbsp; &nbsp; &nbsp;43.78 us &nbsp; 43701.58 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;28.06 &nbsp; &nbsp; 134.43 us &nbsp; &nbsp; &nbsp;41.87 us &nbsp; 36537.65 us &nbsp; &nbsp; &nbsp; &nbsp; 316217 &nbsp; &nbsp; &nbsp; WRITE<br clear="none">&nbsp; &nbsp; &nbsp;48.22 &nbsp; &nbsp; 611.65 us &nbsp; &nbsp; 100.31 us &nbsp; 43842.80 us &nbsp; &nbsp; &nbsp; &nbsp; 119420 &nbsp; &nbsp; &nbsp; &nbsp;READ<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3505 seconds<br clear="none">&nbsp; &nbsp;Data Read: 8067432448 bytes<br clear="none">Data Written: 46685782016 bytes<br clear="none"><br clear="none">Interval 0 Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 492397<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 22 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;33.67 us &nbsp; &nbsp; &nbsp;30.56 us &nbsp; &nbsp; &nbsp;43.31 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.01 &nbsp; &nbsp; &nbsp;26.05 us &nbsp; &nbsp; &nbsp;14.36 us &nbsp; &nbsp; 128.33 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.02 &nbsp; &nbsp; &nbsp;53.48 us &nbsp; &nbsp; &nbsp;43.23 us &nbsp; &nbsp; &nbsp;87.31 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.02 &nbsp; &nbsp; &nbsp;58.54 us &nbsp; &nbsp; &nbsp;46.75 us &nbsp; &nbsp; &nbsp;94.94 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.04 &nbsp; &nbsp; &nbsp;24.21 us &nbsp; &nbsp; &nbsp; 9.58 us &nbsp; &nbsp; 679.17 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.04 &nbsp; &nbsp; 145.95 us &nbsp; &nbsp; 116.32 us &nbsp; &nbsp; 211.72 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.28 &nbsp; &nbsp; 211.24 us &nbsp; &nbsp; &nbsp;32.92 us &nbsp; 17442.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 0.38 &nbsp; &nbsp; &nbsp;82.16 us &nbsp; &nbsp; &nbsp;34.00 us &nbsp; 15537.54 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 1.92 &nbsp; &nbsp;6683.77 us &nbsp; &nbsp; 437.30 us &nbsp; 28616.62 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp; 2.03 &nbsp; &nbsp; &nbsp;48.87 us &nbsp; &nbsp; &nbsp; 7.50 us &nbsp; 24840.37 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;18.97 &nbsp; &nbsp; 455.94 us &nbsp; &nbsp; &nbsp;43.78 us &nbsp; 43701.58 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;28.06 &nbsp; &nbsp; 134.43 us &nbsp; &nbsp; &nbsp;41.87 us &nbsp; 36537.65 us &nbsp; &nbsp; &nbsp; &nbsp; 316217 &nbsp; &nbsp; &nbsp; WRITE<br clear="none">&nbsp; &nbsp; &nbsp;48.23 &nbsp; &nbsp; 611.65 us &nbsp; &nbsp; 100.31 us &nbsp; 43842.80 us &nbsp; &nbsp; &nbsp; &nbsp; 119420 &nbsp; &nbsp; &nbsp; &nbsp;READ<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3505 seconds<br clear="none">&nbsp; &nbsp;Data Read: 8067432448 bytes<br clear="none">Data Written: 46685782016 bytes<br clear="none"><br clear="none">Brick: node2:/data/nvme/testvol1/brick<br clear="none">-------------------------------------------------------------<br clear="none">Cumulative Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 22 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;27.59 us &nbsp; &nbsp; &nbsp;26.48 us &nbsp; &nbsp; &nbsp;28.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.06 &nbsp; &nbsp; &nbsp;16.31 us &nbsp; &nbsp; &nbsp;11.92 us &nbsp; &nbsp; &nbsp;43.37 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.07 &nbsp; &nbsp; &nbsp;40.53 us &nbsp; &nbsp; &nbsp;36.62 us &nbsp; &nbsp; 163.89 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.08 &nbsp; &nbsp; &nbsp;43.30 us &nbsp; &nbsp; &nbsp;38.41 us &nbsp; &nbsp; &nbsp;70.49 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.13 &nbsp; &nbsp; &nbsp;12.82 us &nbsp; &nbsp; &nbsp; 9.48 us &nbsp; &nbsp; &nbsp;79.63 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.21 &nbsp; &nbsp; 114.31 us &nbsp; &nbsp; &nbsp;96.53 us &nbsp; &nbsp; 166.02 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 1.53 &nbsp; &nbsp; 184.29 us &nbsp; &nbsp; &nbsp;24.29 us &nbsp; 19723.10 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 1.82 &nbsp; &nbsp; &nbsp;63.25 us &nbsp; &nbsp; &nbsp;25.23 us &nbsp; 19525.54 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 4.81 &nbsp; &nbsp; &nbsp;18.44 us &nbsp; &nbsp; &nbsp; 9.06 us &nbsp; &nbsp; 182.62 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;11.69 &nbsp; &nbsp;6473.51 us &nbsp; &nbsp; 380.98 us &nbsp; 17129.47 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp;17.41 &nbsp; &nbsp; &nbsp;66.69 us &nbsp; &nbsp; &nbsp;44.52 us &nbsp; 12198.65 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;62.20 &nbsp; &nbsp; &nbsp;47.49 us &nbsp; &nbsp; &nbsp;31.49 us &nbsp; 16215.18 us &nbsp; &nbsp; &nbsp; &nbsp; 316195 &nbsp; &nbsp; &nbsp; WRITE<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3486 seconds<br clear="none">&nbsp; &nbsp;Data Read: 0 bytes<br clear="none">Data Written: 46685782016 bytes<br clear="none"><br clear="none">Interval 0 Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 22 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;27.59 us &nbsp; &nbsp; &nbsp;26.48 us &nbsp; &nbsp; &nbsp;28.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.06 &nbsp; &nbsp; &nbsp;16.31 us &nbsp; &nbsp; &nbsp;11.92 us &nbsp; &nbsp; &nbsp;43.37 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.07 &nbsp; &nbsp; &nbsp;40.53 us &nbsp; &nbsp; &nbsp;36.62 us &nbsp; &nbsp; 163.89 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.08 &nbsp; &nbsp; &nbsp;43.30 us &nbsp; &nbsp; &nbsp;38.41 us &nbsp; &nbsp; &nbsp;70.49 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.13 &nbsp; &nbsp; &nbsp;12.82 us &nbsp; &nbsp; &nbsp; 9.48 us &nbsp; &nbsp; &nbsp;79.63 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.21 &nbsp; &nbsp; 114.31 us &nbsp; &nbsp; &nbsp;96.53 us &nbsp; &nbsp; 166.02 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 1.53 &nbsp; &nbsp; 184.29 us &nbsp; &nbsp; &nbsp;24.29 us &nbsp; 19723.10 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 1.82 &nbsp; &nbsp; &nbsp;63.25 us &nbsp; &nbsp; &nbsp;25.23 us &nbsp; 19525.54 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 4.81 &nbsp; &nbsp; &nbsp;18.44 us &nbsp; &nbsp; &nbsp; 9.06 us &nbsp; &nbsp; 182.62 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;11.69 &nbsp; &nbsp;6473.51 us &nbsp; &nbsp; 380.98 us &nbsp; 17129.47 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp;17.41 &nbsp; &nbsp; &nbsp;66.69 us &nbsp; &nbsp; &nbsp;44.52 us &nbsp; 12198.65 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;62.20 &nbsp; &nbsp; &nbsp;47.49 us &nbsp; &nbsp; &nbsp;31.49 us &nbsp; 16215.18 us &nbsp; &nbsp; &nbsp; &nbsp; 316195 &nbsp; &nbsp; &nbsp; WRITE<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3486 seconds<br clear="none">&nbsp; &nbsp;Data Read: 0 bytes<br clear="none">Data Written: 46685782016 bytes<br clear="none"><br clear="none">Brick: node3:/data/nvme/testvol1/brick<br clear="none">-------------------------------------------------------------<br clear="none">Cumulative Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 19 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;30.60 us &nbsp; &nbsp; &nbsp;27.30 us &nbsp; &nbsp; &nbsp;39.71 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.06 &nbsp; &nbsp; &nbsp;17.42 us &nbsp; &nbsp; &nbsp;12.10 us &nbsp; &nbsp; &nbsp;61.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.07 &nbsp; &nbsp; &nbsp;40.77 us &nbsp; &nbsp; &nbsp;36.20 us &nbsp; &nbsp; &nbsp;58.29 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.08 &nbsp; &nbsp; &nbsp;45.15 us &nbsp; &nbsp; &nbsp;38.82 us &nbsp; &nbsp; &nbsp;68.36 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.13 &nbsp; &nbsp; &nbsp;13.22 us &nbsp; &nbsp; &nbsp; 9.49 us &nbsp; &nbsp; &nbsp;79.73 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.21 &nbsp; &nbsp; 117.47 us &nbsp; &nbsp; &nbsp;98.17 us &nbsp; &nbsp; 169.38 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 1.47 &nbsp; &nbsp; 176.64 us &nbsp; &nbsp; &nbsp;26.93 us &nbsp; 19510.96 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 1.78 &nbsp; &nbsp; &nbsp;61.78 us &nbsp; &nbsp; &nbsp;25.32 us &nbsp; 17795.12 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 4.98 &nbsp; &nbsp; &nbsp;19.05 us &nbsp; &nbsp; &nbsp;10.17 us &nbsp; &nbsp;7635.73 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;11.53 &nbsp; &nbsp;6369.75 us &nbsp; &nbsp; 392.09 us &nbsp; 16146.95 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp;17.82 &nbsp; &nbsp; &nbsp;68.11 us &nbsp; &nbsp; &nbsp;44.52 us &nbsp; 11326.21 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;61.85 &nbsp; &nbsp; &nbsp;47.11 us &nbsp; &nbsp; &nbsp;30.86 us &nbsp; &nbsp;3458.30 us &nbsp; &nbsp; &nbsp; &nbsp; 316194 &nbsp; &nbsp; &nbsp; WRITE<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3481 seconds<br clear="none">&nbsp; &nbsp;Data Read: 0 bytes<br clear="none">Data Written: 46685782016 bytes<br clear="none"><br clear="none">Interval 0 Stats:<br clear="none">&nbsp; &nbsp;Block Size: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16384b+<br clear="none">&nbsp;No. of Reads: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br clear="none">No. of Writes: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2849474<br clear="none">&nbsp;%-latency &nbsp; Avg-latency &nbsp; Min-Latency &nbsp; Max-Latency &nbsp; No. of calls &nbsp; &nbsp; &nbsp; &nbsp; Fop<br clear="none">&nbsp;--------- &nbsp; ----------- &nbsp; ----------- &nbsp; ----------- &nbsp; ------------ &nbsp; &nbsp; &nbsp; &nbsp;----<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 &nbsp; &nbsp; &nbsp;FORGET<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4133 &nbsp; &nbsp; RELEASE<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; 0.00 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 19 &nbsp;RELEASEDIR<br clear="none">&nbsp; &nbsp; &nbsp; 0.00 &nbsp; &nbsp; &nbsp;30.60 us &nbsp; &nbsp; &nbsp;27.30 us &nbsp; &nbsp; &nbsp;39.71 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp;GETXATTR<br clear="none">&nbsp; &nbsp; &nbsp; 0.06 &nbsp; &nbsp; &nbsp;17.42 us &nbsp; &nbsp; &nbsp;12.10 us &nbsp; &nbsp; &nbsp;61.92 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;870 &nbsp; &nbsp; ENTRYLK<br clear="none">&nbsp; &nbsp; &nbsp; 0.07 &nbsp; &nbsp; &nbsp;40.77 us &nbsp; &nbsp; &nbsp;36.20 us &nbsp; &nbsp; &nbsp;58.29 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FTRUNCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.08 &nbsp; &nbsp; &nbsp;45.15 us &nbsp; &nbsp; &nbsp;38.82 us &nbsp; &nbsp; &nbsp;68.36 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; FALLOCATE<br clear="none">&nbsp; &nbsp; &nbsp; 0.13 &nbsp; &nbsp; &nbsp;13.22 us &nbsp; &nbsp; &nbsp; 9.49 us &nbsp; &nbsp; &nbsp;79.73 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2436 &nbsp; &nbsp; &nbsp; FLUSH<br clear="none">&nbsp; &nbsp; &nbsp; 0.21 &nbsp; &nbsp; 117.47 us &nbsp; &nbsp; &nbsp;98.17 us &nbsp; &nbsp; 169.38 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;435 &nbsp; &nbsp; &nbsp;CREATE<br clear="none">&nbsp; &nbsp; &nbsp; 1.47 &nbsp; &nbsp; 176.64 us &nbsp; &nbsp; &nbsp;26.93 us &nbsp; 19510.96 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2000 &nbsp; &nbsp; &nbsp; &nbsp;OPEN<br clear="none">&nbsp; &nbsp; &nbsp; 1.78 &nbsp; &nbsp; &nbsp;61.78 us &nbsp; &nbsp; &nbsp;25.32 us &nbsp; 17795.12 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6929 &nbsp; &nbsp; &nbsp;LOOKUP<br clear="none">&nbsp; &nbsp; &nbsp; 4.98 &nbsp; &nbsp; &nbsp;19.05 us &nbsp; &nbsp; &nbsp;10.17 us &nbsp; &nbsp;7635.73 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FINODELK<br clear="none">&nbsp; &nbsp; &nbsp;11.53 &nbsp; &nbsp;6369.75 us &nbsp; &nbsp; 392.09 us &nbsp; 16146.95 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;436 &nbsp; &nbsp; &nbsp; FSYNC<br clear="none">&nbsp; &nbsp; &nbsp;17.82 &nbsp; &nbsp; &nbsp;68.11 us &nbsp; &nbsp; &nbsp;44.52 us &nbsp; 11326.21 us &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;63019 &nbsp; &nbsp;FXATTROP<br clear="none">&nbsp; &nbsp; &nbsp;61.85 &nbsp; &nbsp; &nbsp;47.12 us &nbsp; &nbsp; &nbsp;30.86 us &nbsp; &nbsp;3458.30 us &nbsp; &nbsp; &nbsp; &nbsp; 316194 &nbsp; &nbsp; &nbsp; WRITE<br clear="none"><br clear="none">&nbsp; &nbsp; Duration: 3481 seconds<br clear="none">&nbsp; &nbsp;Data Read: 0 bytes<br clear="none">Data Written: 46685782016 bytes</font><br clear="none"></div><div><br clear="none"></div><div><br clear="none"></div></div><br clear="none"><div class="ydpd1dce270yiv1334309804gmail_quote"><div class="ydpd1dce270yiv1334309804yqt2849936680" id="ydpd1dce270yiv1334309804yqt02252"><div class="ydpd1dce270yiv1334309804gmail_attr" dir="ltr">On Mon, Jan 6, 2020 at 12:49 AM Mohit Agrawal &lt;<a shape="rect" href="mailto:moagrawa@redhat.com" rel="nofollow" target="_blank">moagrawa@redhat.com</a>&gt; wrote:<br clear="none"></div><blockquote class="ydpd1dce270yiv1334309804gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex;"><div dir="ltr">Hi,<div><br clear="none"></div><div>Along with previous tunning suggested by&nbsp;<span style="color:rgb(0,0,0);white-space:pre-wrap;">Strahil please configure "</span><span style="color:rgb(139,0,0);white-space:pre-wrap;">ssl.cipher-list"</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">to AES128 for specific volume to improve the performance. As you mentioned you</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">have configured SSL on a volume and </span><span style="color:rgb(139,0,0);white-space:pre-wrap;">the </span><span style="color:rgb(139,0,0);white-space:pre-wrap;">performance is drop in case of SSL. To improve the same please configure the AES128 cipher list, I hope you should get sufficient performance improvement.</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;"><br clear="none"></span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">Please share the result of a performance improvement after configuring the cipher</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">AES128 if it is possible for you.</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;"><br clear="none"></span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">Thanks,</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;">Mohit Agrawal</span></div><div><span style="color:rgb(139,0,0);white-space:pre-wrap;"><br clear="none"></span></div></div>

________<br clear="none">

<br clear="none">

Community Meeting Calendar:<br clear="none">

<br clear="none">

APAC Schedule -<br clear="none">

Every 2nd and 4th Tuesday at 11:30 AM IST<br clear="none">

Bridge: <a shape="rect" href="https://bluejeans.com/441850968" rel="nofollow" target="_blank">https://bluejeans.com/441850968</a><br clear="none">

<br clear="none">

NA/EMEA Schedule -<br clear="none">

Every 1st and 3rd Tuesday at 01:00 PM EDT<br clear="none">

Bridge: <a shape="rect" href="https://bluejeans.com/441850968" rel="nofollow" target="_blank">https://bluejeans.com/441850968</a><br clear="none">

<br clear="none">

Gluster-users mailing list<br clear="none">

<a shape="rect" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br clear="none">

<a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none">

</blockquote></div></div>

</div></div><div class="ydpd1dce270yqt2849936680" id="ydpd1dce270yqt89744">________<br clear="none"><br clear="none">Community Meeting Calendar:<br clear="none"><br clear="none">APAC Schedule -<br clear="none">Every 2nd and 4th Tuesday at 11:30 AM IST<br clear="none">Bridge: <a shape="rect" href="https://bluejeans.com/441850968" rel="nofollow" target="_blank">https://bluejeans.com/441850968</a><br clear="none"><br clear="none">NA/EMEA Schedule -<br clear="none">Every 1st and 3rd Tuesday at 01:00 PM EDT<br clear="none">Bridge: <a shape="rect" href="https://bluejeans.com/441850968" rel="nofollow" target="_blank">https://bluejeans.com/441850968</a><br clear="none"><br clear="none">Gluster-users mailing list<br clear="none"><a shape="rect" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br clear="none"><a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none"></div></div>

            </div>

        </div></body></html>