<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:DengXian;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@DengXian";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.25in 1.0in 1.25in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Hi, All</p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have glusterfs 3.10.0 running with two replicated nodes, but one of the node has a bad CPU performance:</p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Node1/Node2: 4 core, 8GB, using thin LVM for volumes</p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This is node1:</p>
<p class="MsoNormal"><img width="724" height="162" style="width:7.5416in;height:1.6875in" id="Picture_x0020_6" src="cid:image005.png@01D2AA33.B41E14D0"></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">And this is node2:</p>
<p class="MsoNormal"><img width="724" height="162" style="width:7.5416in;height:1.6875in" id="Picture_x0020_5" src="cid:image006.png@01D2AA33.B41E14D0"></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Currently I have only Prometheus using glusterfs volumes, so I started profile on volume prometheus and got this:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Brick: 10.10.0.100:/glusterfsvolumes/devops/devops-prometheus/brick<o:p></o:p></p>
<p class="MsoNormal">-------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">Cumulative Stats:<o:p></o:p></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 4 6 32
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 154 281 484
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <o:p>
</o:p></p>
<p class="MsoNormal"> No. of Reads: 993 15290 <o:p>
</o:p></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <o:p>
</o:p></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<o:p></o:p></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245895 RELEASE<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.00 20.50 us 19.00 us 22.00 us 2 FSYNCDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 99.00 us 99.00 us 99.00 us 1 GETXATTR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 68.50 us 48.00 us 89.00 us 2 OPENDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.03 84.33 us 40.00 us 164.00 us 6 FSTAT<o:p></o:p></p>
<p class="MsoNormal"> 0.10 64.35 us 34.00 us 177.00 us 23 STATFS<o:p></o:p></p>
<p class="MsoNormal"> 0.16 62.87 us 29.00 us 172.00 us 38 STAT<o:p></o:p></p>
<p class="MsoNormal"> 0.17 54.76 us 22.00 us 194.00 us 46 ENTRYLK<o:p></o:p></p>
<p class="MsoNormal"> 0.18 41.66 us 24.00 us 95.00 us 62 FLUSH<o:p></o:p></p>
<p class="MsoNormal"> 0.22 198.44 us 138.00 us 339.00 us 16 CREATE<o:p></o:p></p>
<p class="MsoNormal"> 0.32 101.65 us 65.00 us 184.00 us 46 OPEN<o:p></o:p></p>
<p class="MsoNormal"> 0.35 726.43 us 350.00 us 1165.00 us 7 UNLINK<o:p></o:p></p>
<p class="MsoNormal"> 0.52 56.22 us 25.00 us 228.00 us 136 FINODELK<o:p></o:p></p>
<p class="MsoNormal"> 0.77 129.15 us 49.00 us 1138.00 us 87 READ<o:p></o:p></p>
<p class="MsoNormal"> 1.57 154.70 us 59.00 us 360.00 us 148 FXATTROP<o:p></o:p></p>
<p class="MsoNormal"> 2.44 159.13 us 41.00 us 5836.00 us 224 WRITE<o:p></o:p></p>
<p class="MsoNormal"> 3.64 188.62 us 54.00 us 848.00 us 282 LOOKUP<o:p></o:p></p>
<p class="MsoNormal"> 89.50 20741.70 us 9457.00 us 84733.00 us 63 FSYNC<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> Duration: 362318 seconds<o:p></o:p></p>
<p class="MsoNormal"> Data Read: 2132763575 bytes<o:p></o:p></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">Interval 0 Stats:<o:p></o:p></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 4 6 32
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 154 281 484
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <o:p>
</o:p></p>
<p class="MsoNormal"> No. of Reads: 993 15290 <o:p>
</o:p></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <o:p>
</o:p></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<o:p></o:p></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245895 RELEASE<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.00 20.50 us 19.00 us 22.00 us 2 FSYNCDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 99.00 us 99.00 us 99.00 us 1 GETXATTR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 68.50 us 48.00 us 89.00 us 2 OPENDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.03 84.33 us 40.00 us 164.00 us 6 FSTAT<o:p></o:p></p>
<p class="MsoNormal"> 0.10 64.35 us 34.00 us 177.00 us 23 STATFS<o:p></o:p></p>
<p class="MsoNormal"> 0.16 62.87 us 29.00 us 172.00 us 38 STAT<o:p></o:p></p>
<p class="MsoNormal"> 0.17 54.76 us 22.00 us 194.00 us 46 ENTRYLK<o:p></o:p></p>
<p class="MsoNormal"> 0.18 41.66 us 24.00 us 95.00 us 62 FLUSH<o:p></o:p></p>
<p class="MsoNormal"> 0.22 198.44 us 138.00 us 339.00 us 16 CREATE<o:p></o:p></p>
<p class="MsoNormal"> 0.32 101.65 us 65.00 us 184.00 us 46 OPEN<o:p></o:p></p>
<p class="MsoNormal"> 0.35 726.43 us 350.00 us 1165.00 us 7 UNLINK<o:p></o:p></p>
<p class="MsoNormal"> 0.52 56.22 us 25.00 us 228.00 us 136 FINODELK<o:p></o:p></p>
<p class="MsoNormal"> 0.77 129.15 us 49.00 us 1138.00 us 87 READ<o:p></o:p></p>
<p class="MsoNormal"> 1.57 154.70 us 59.00 us 360.00 us 148 FXATTROP<o:p></o:p></p>
<p class="MsoNormal"> 2.44 159.13 us 41.00 us 5836.00 us 224 WRITE<o:p></o:p></p>
<p class="MsoNormal"> 3.64 188.62 us 54.00 us 848.00 us 282 LOOKUP<o:p></o:p></p>
<p class="MsoNormal"> 89.50 20741.70 us 9457.00 us 84733.00 us 63 FSYNC<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> Duration: 362318 seconds<o:p></o:p></p>
<p class="MsoNormal"> Data Read: 2132763575 bytes<o:p></o:p></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">Brick: 10.10.0.101:/glusterfsvolumes/devops/devops-prometheus/brick<o:p></o:p></p>
<p class="MsoNormal">-------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">Cumulative Stats:<o:p></o:p></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 1 3 2
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 2 14 22
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 166 253 502
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <o:p>
</o:p></p>
<p class="MsoNormal"> No. of Reads: 893 14392 <o:p>
</o:p></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <o:p>
</o:p></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<o:p></o:p></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245861 RELEASE<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 89.00 us 89.00 us 89.00 us 1 GETXATTR<o:p></o:p></p>
<p class="MsoNormal"> 0.02 62.00 us 53.00 us 71.00 us 2 OPENDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.02 57.00 us 51.00 us 61.00 us 3 FSTAT<o:p></o:p></p>
<p class="MsoNormal"> 0.04 178.00 us 38.00 us 318.00 us 2 FSYNCDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.12 474.00 us 451.00 us 497.00 us 2 READDIRP<o:p></o:p></p>
<p class="MsoNormal"> 0.18 64.00 us 28.00 us 113.00 us 23 STATFS<o:p></o:p></p>
<p class="MsoNormal"> 0.28 48.30 us 18.00 us 184.00 us 46 ENTRYLK<o:p></o:p></p>
<p class="MsoNormal"> 0.31 41.33 us 18.00 us 87.00 us 60 FLUSH<o:p></o:p></p>
<p class="MsoNormal"> 0.33 66.12 us 28.00 us 246.00 us 40 STAT<o:p></o:p></p>
<p class="MsoNormal"> 0.57 102.39 us 62.00 us 236.00 us 44 OPEN<o:p></o:p></p>
<p class="MsoNormal"> 0.58 664.86 us 311.00 us 855.00 us 7 UNLINK<o:p></o:p></p>
<p class="MsoNormal"> 0.86 51.37 us 22.00 us 101.00 us 134 FINODELK<o:p></o:p></p>
<p class="MsoNormal"> 1.07 118.28 us 46.00 us 437.00 us 72 READ<o:p></o:p></p>
<p class="MsoNormal"> 3.83 137.39 us 41.00 us 2431.00 us 222 WRITE<o:p></o:p></p>
<p class="MsoNormal"> 4.54 250.94 us 57.00 us 15444.00 us 144 FXATTROP<o:p></o:p></p>
<p class="MsoNormal"> 5.89 2932.56 us 134.00 us 17675.00 us 16 CREATE<o:p></o:p></p>
<p class="MsoNormal"> 7.83 224.34 us 61.00 us 12509.00 us 278 LOOKUP<o:p></o:p></p>
<p class="MsoNormal"> 73.50 9592.56 us 6897.00 us 36321.00 us 61 FSYNC<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> Duration: 362152 seconds<o:p></o:p></p>
<p class="MsoNormal"> Data Read: 2005452176 bytes<o:p></o:p></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">Interval 0 Stats:<o:p></o:p></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 1 3 2
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 2 14 22
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<o:p></o:p></p>
<p class="MsoNormal"> No. of Reads: 166 253 502
<o:p></o:p></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <o:p>
</o:p></p>
<p class="MsoNormal"> No. of Reads: 893 14392 <o:p>
</o:p></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <o:p>
</o:p></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<o:p></o:p></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245861 RELEASE<o:p></o:p></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.01 89.00 us 89.00 us 89.00 us 1 GETXATTR<o:p></o:p></p>
<p class="MsoNormal"> 0.02 62.00 us 53.00 us 71.00 us 2 OPENDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.02 57.00 us 51.00 us 61.00 us 3 FSTAT<o:p></o:p></p>
<p class="MsoNormal"> 0.04 178.00 us 38.00 us 318.00 us 2 FSYNCDIR<o:p></o:p></p>
<p class="MsoNormal"> 0.12 474.00 us 451.00 us 497.00 us 2 READDIRP<o:p></o:p></p>
<p class="MsoNormal"> 0.18 64.00 us 28.00 us 113.00 us 23 STATFS<o:p></o:p></p>
<p class="MsoNormal"> 0.28 48.30 us 18.00 us 184.00 us 46 ENTRYLK<o:p></o:p></p>
<p class="MsoNormal"> 0.31 41.33 us 18.00 us 87.00 us 60 FLUSH<o:p></o:p></p>
<p class="MsoNormal"> 0.33 66.12 us 28.00 us 246.00 us 40 STAT<o:p></o:p></p>
<p class="MsoNormal"> 0.57 102.39 us 62.00 us 236.00 us 44 OPEN<o:p></o:p></p>
<p class="MsoNormal"> 0.58 664.86 us 311.00 us 855.00 us 7 UNLINK<o:p></o:p></p>
<p class="MsoNormal"> 0.86 51.37 us 22.00 us 101.00 us 134 FINODELK<o:p></o:p></p>
<p class="MsoNormal"> 1.07 118.28 us 46.00 us 437.00 us 72 READ<o:p></o:p></p>
<p class="MsoNormal"> 3.83 137.39 us 41.00 us 2431.00 us 222 WRITE<o:p></o:p></p>
<p class="MsoNormal"> 4.54 250.94 us 57.00 us 15444.00 us 144 FXATTROP<o:p></o:p></p>
<p class="MsoNormal"> 5.89 2932.56 us 134.00 us 17675.00 us 16 CREATE<o:p></o:p></p>
<p class="MsoNormal"> 7.83 224.34 us 61.00 us 12509.00 us 278 LOOKUP<o:p></o:p></p>
<p class="MsoNormal"> 73.50 9592.56 us 6897.00 us 36321.00 us 61 FSYNC<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> Duration: 362152 seconds<o:p></o:p></p>
<p class="MsoNormal"> Data Read: 2005452176 bytes<o:p></o:p></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Seems latency of FSYNC is very high. Sometimes cpu wait is also very high:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">top - 15:27:39 up 4 days, 4:58, 2 users, load average: 0.75, 0.72, 0.70<o:p></o:p></p>
<p class="MsoNormal">Tasks: 210 total, 1 running, 209 sleeping, 0 stopped, 0 zombie<o:p></o:p></p>
<p class="MsoNormal">%Cpu(s): 0.3 us, 0.2 sy, 0.0 ni, 62.9 id, <b><span style="color:red">36.5</span></b><span style="color:red">
</span>wa, 0.0 hi, 0.1 si, 0.0 st<o:p></o:p></p>
<p class="MsoNormal">KiB Mem : 8043984 total, 883420 free, 1788912 used, 5371652 buff/cache<o:p></o:p></p>
<p class="MsoNormal">KiB Swap: 0 total, 0 free, 0 used. 5819396 avail Mem<br>
<br>
<o:p></o:p></p>
<p class="MsoNormal">Any ideas?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks.<o:p></o:p></p>
</div>
</body>
</html>