<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body>
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:DengXian;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@DengXian";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.25in 1.0in 1.25in;}
div.WordSection1
        {page:WordSection1;}
--></style>
<div class="WordSection1">
<p class="MsoNormal">Hi, Serkan</p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I’m using Glusterfs as my Kubernetes storage backend, and Prometheus is running inside Kubernetes cluster. If this is not recommended I’ll consider running Prometheus outside of Kubernetes. But why performance is totally different on two
nodes? Will data be written to both nodes at the same time?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="mso-element:para-border-div;border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="border:none;padding:0in"><b>From: </b><a href="mailto:cobanserkan@gmail.com">Serkan Çoban</a><br>
<b>Sent: </b>Friday, March 31, 2017 4:08 PM<br>
<b>To: </b><a href="mailto:hiscal@outlook.com">Yong Zhang</a><br>
<b>Cc: </b><a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
<b>Subject: </b>Re: [Gluster-users] High CPU/load, High latency on FSYNC</p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div dir="ltr">
<div>Prometheus uses *LOTS* of small files and do small random-io.<br>
I do not recommend to use data volume of prometheus on glusterfs.<br>
</div>
Why you need that?<br>
<div><br>
</div>
</div>
<div class="gmail_extra"><br>
<div class="gmail_quote">On Fri, Mar 31, 2017 at 10:30 AM, Yong Zhang <span dir="ltr">
<<a href="mailto:hiscal@outlook.com" target="_blank">hiscal@outlook.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div link="blue" vlink="#954F72" lang="EN-US">
<div class="m_-5538157401829768130WordSection1">
<p class="MsoNormal">Hi, All</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">I have glusterfs 3.10.0 running with two replicated nodes, but one of the node has a bad CPU performance:</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Node1/Node2: 4 core, 8GB, using thin LVM for volumes</p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">This is node1:</p>
<p class="MsoNormal"><img style="width:7.5416in;height:1.6875in" id="m_-5538157401829768130Picture_x0020_6" src="cid:image005.png@01D2AA33.B41E14D0" height="162" width="724"></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">And this is node2:</p>
<p class="MsoNormal"><img style="width:7.5416in;height:1.6875in" id="m_-5538157401829768130Picture_x0020_5" src="cid:image006.png@01D2AA33.B41E14D0" height="162" width="724"></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Currently I have only Prometheus using glusterfs volumes, so I started profile on volume prometheus and got this:<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Brick: 10.10.0.100:/glusterfsvolumes/<wbr>devops/devops-prometheus/brick<u></u><u></u></p>
<p class="MsoNormal">------------------------------<wbr>------------------------------<wbr>-------<u></u><u></u></p>
<p class="MsoNormal">Cumulative Stats:<u></u><u></u></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 4 6 32
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 154 281 484
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <u>
</u><u></u></p>
<p class="MsoNormal"> No. of Reads: 993 15290 <u>
</u><u></u></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <u>
</u><u></u></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<u></u><u></u></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245895 RELEASE<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.00 20.50 us 19.00 us 22.00 us 2 FSYNCDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 99.00 us 99.00 us 99.00 us 1 GETXATTR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 68.50 us 48.00 us 89.00 us 2 OPENDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.03 84.33 us 40.00 us 164.00 us 6 FSTAT<u></u><u></u></p>
<p class="MsoNormal"> 0.10 64.35 us 34.00 us 177.00 us 23 STATFS<u></u><u></u></p>
<p class="MsoNormal"> 0.16 62.87 us 29.00 us 172.00 us 38 STAT<u></u><u></u></p>
<p class="MsoNormal"> 0.17 54.76 us 22.00 us 194.00 us 46 ENTRYLK<u></u><u></u></p>
<p class="MsoNormal"> 0.18 41.66 us 24.00 us 95.00 us 62 FLUSH<u></u><u></u></p>
<p class="MsoNormal"> 0.22 198.44 us 138.00 us 339.00 us 16 CREATE<u></u><u></u></p>
<p class="MsoNormal"> 0.32 101.65 us 65.00 us 184.00 us 46 OPEN<u></u><u></u></p>
<p class="MsoNormal"> 0.35 726.43 us 350.00 us 1165.00 us 7 UNLINK<u></u><u></u></p>
<p class="MsoNormal"> 0.52 56.22 us 25.00 us 228.00 us 136 FINODELK<u></u><u></u></p>
<p class="MsoNormal"> 0.77 129.15 us 49.00 us 1138.00 us 87 READ<u></u><u></u></p>
<p class="MsoNormal"> 1.57 154.70 us 59.00 us 360.00 us 148 FXATTROP<u></u><u></u></p>
<p class="MsoNormal"> 2.44 159.13 us 41.00 us 5836.00 us 224 WRITE<u></u><u></u></p>
<p class="MsoNormal"> 3.64 188.62 us 54.00 us 848.00 us 282 LOOKUP<u></u><u></u></p>
<p class="MsoNormal"> 89.50 20741.70 us 9457.00 us 84733.00 us 63 FSYNC<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"> Duration: 362318 seconds<u></u><u></u></p>
<p class="MsoNormal"> Data Read: <a href="tel:(213)%20276-3575" value="+12132763575" target="_blank">
2132763575</a> bytes<u></u><u></u></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal">Interval 0 Stats:<u></u><u></u></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 1 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 4 6 32
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 154 281 484
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <u>
</u><u></u></p>
<p class="MsoNormal"> No. of Reads: 993 15290 <u>
</u><u></u></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <u>
</u><u></u></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<u></u><u></u></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245895 RELEASE<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.00 20.50 us 19.00 us 22.00 us 2 FSYNCDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 99.00 us 99.00 us 99.00 us 1 GETXATTR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 68.50 us 48.00 us 89.00 us 2 OPENDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.03 84.33 us 40.00 us 164.00 us 6 FSTAT<u></u><u></u></p>
<p class="MsoNormal"> 0.10 64.35 us 34.00 us 177.00 us 23 STATFS<u></u><u></u></p>
<p class="MsoNormal"> 0.16 62.87 us 29.00 us 172.00 us 38 STAT<u></u><u></u></p>
<p class="MsoNormal"> 0.17 54.76 us 22.00 us 194.00 us 46 ENTRYLK<u></u><u></u></p>
<p class="MsoNormal"> 0.18 41.66 us 24.00 us 95.00 us 62 FLUSH<u></u><u></u></p>
<p class="MsoNormal"> 0.22 198.44 us 138.00 us 339.00 us 16 CREATE<u></u><u></u></p>
<p class="MsoNormal"> 0.32 101.65 us 65.00 us 184.00 us 46 OPEN<u></u><u></u></p>
<p class="MsoNormal"> 0.35 726.43 us 350.00 us 1165.00 us 7 UNLINK<u></u><u></u></p>
<p class="MsoNormal"> 0.52 56.22 us 25.00 us 228.00 us 136 FINODELK<u></u><u></u></p>
<p class="MsoNormal"> 0.77 129.15 us 49.00 us 1138.00 us 87 READ<u></u><u></u></p>
<p class="MsoNormal"> 1.57 154.70 us 59.00 us 360.00 us 148 FXATTROP<u></u><u></u></p>
<p class="MsoNormal"> 2.44 159.13 us 41.00 us 5836.00 us 224 WRITE<u></u><u></u></p>
<p class="MsoNormal"> 3.64 188.62 us 54.00 us 848.00 us 282 LOOKUP<u></u><u></u></p>
<p class="MsoNormal"> 89.50 20741.70 us 9457.00 us 84733.00 us 63 FSYNC<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"> Duration: 362318 seconds<u></u><u></u></p>
<p class="MsoNormal"> Data Read: <a href="tel:(213)%20276-3575" value="+12132763575" target="_blank">
2132763575</a> bytes<u></u><u></u></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal">Brick: 10.10.0.101:/glusterfsvolumes/<wbr>devops/devops-prometheus/brick<u></u><u></u></p>
<p class="MsoNormal">------------------------------<wbr>------------------------------<wbr>-------<u></u><u></u></p>
<p class="MsoNormal">Cumulative Stats:<u></u><u></u></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 1 3 2
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 2 14 22
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 166 253 502
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <u>
</u><u></u></p>
<p class="MsoNormal"> No. of Reads: 893 14392 <u>
</u><u></u></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <u>
</u><u></u></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<u></u><u></u></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245861 RELEASE<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 89.00 us 89.00 us 89.00 us 1 GETXATTR<u></u><u></u></p>
<p class="MsoNormal"> 0.02 62.00 us 53.00 us 71.00 us 2 OPENDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.02 57.00 us 51.00 us 61.00 us 3 FSTAT<u></u><u></u></p>
<p class="MsoNormal"> 0.04 178.00 us 38.00 us 318.00 us 2 FSYNCDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.12 474.00 us 451.00 us 497.00 us 2 READDIRP<u></u><u></u></p>
<p class="MsoNormal"> 0.18 64.00 us 28.00 us 113.00 us 23 STATFS<u></u><u></u></p>
<p class="MsoNormal"> 0.28 48.30 us 18.00 us 184.00 us 46 ENTRYLK<u></u><u></u></p>
<p class="MsoNormal"> 0.31 41.33 us 18.00 us 87.00 us 60 FLUSH<u></u><u></u></p>
<p class="MsoNormal"> 0.33 66.12 us 28.00 us 246.00 us 40 STAT<u></u><u></u></p>
<p class="MsoNormal"> 0.57 102.39 us 62.00 us 236.00 us 44 OPEN<u></u><u></u></p>
<p class="MsoNormal"> 0.58 664.86 us 311.00 us 855.00 us 7 UNLINK<u></u><u></u></p>
<p class="MsoNormal"> 0.86 51.37 us 22.00 us 101.00 us 134 FINODELK<u></u><u></u></p>
<p class="MsoNormal"> 1.07 118.28 us 46.00 us 437.00 us 72 READ<u></u><u></u></p>
<p class="MsoNormal"> 3.83 137.39 us 41.00 us 2431.00 us 222 WRITE<u></u><u></u></p>
<p class="MsoNormal"> 4.54 250.94 us 57.00 us 15444.00 us 144 FXATTROP<u></u><u></u></p>
<p class="MsoNormal"> 5.89 2932.56 us 134.00 us 17675.00 us 16 CREATE<u></u><u></u></p>
<p class="MsoNormal"> 7.83 224.34 us 61.00 us 12509.00 us 278 LOOKUP<u></u><u></u></p>
<p class="MsoNormal"> 73.50 9592.56 us 6897.00 us 36321.00 us 61 FSYNC<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"> Duration: 362152 seconds<u></u><u></u></p>
<p class="MsoNormal"> Data Read: 2005452176 bytes<u></u><u></u></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal">Interval 0 Stats:<u></u><u></u></p>
<p class="MsoNormal"> Block Size: 2b+ 4b+ 8b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 1 1 31
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 16b+ 32b+ 64b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 0 <wbr> 0 0
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 20 4283 3085
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 128b+ 256b+ 512b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 1 3 2
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 395 465 555
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 1024b+ 2048b+ 4096b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 2 14 22
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 72453 62462 52882
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 8192b+ 16384b+ 32768b+
<u></u><u></u></p>
<p class="MsoNormal"> No. of Reads: 166 253 502
<u></u><u></u></p>
<p class="MsoNormal">No. of Writes: 43122 21700 17817
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> Block Size: 65536b+ 131072b+ <u>
</u><u></u></p>
<p class="MsoNormal"> No. of Reads: 893 14392 <u>
</u><u></u></p>
<p class="MsoNormal">No. of Writes: 56237 581071 <u>
</u><u></u></p>
<p class="MsoNormal"> %-latency Avg-latency Min-Latency Max-Latency No. of calls Fop<u></u><u></u></p>
<p class="MsoNormal">--------- ----------- ----------- ----------- ------------ ----<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 205094 FORGET<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 245861 RELEASE<u></u><u></u></p>
<p class="MsoNormal"> 0.00 0.00 us 0.00 us 0.00 us 40492 RELEASEDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.01 89.00 us 89.00 us 89.00 us 1 GETXATTR<u></u><u></u></p>
<p class="MsoNormal"> 0.02 62.00 us 53.00 us 71.00 us 2 OPENDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.02 57.00 us 51.00 us 61.00 us 3 FSTAT<u></u><u></u></p>
<p class="MsoNormal"> 0.04 178.00 us 38.00 us 318.00 us 2 FSYNCDIR<u></u><u></u></p>
<p class="MsoNormal"> 0.12 474.00 us 451.00 us 497.00 us 2 READDIRP<u></u><u></u></p>
<p class="MsoNormal"> 0.18 64.00 us 28.00 us 113.00 us 23 STATFS<u></u><u></u></p>
<p class="MsoNormal"> 0.28 48.30 us 18.00 us 184.00 us 46 ENTRYLK<u></u><u></u></p>
<p class="MsoNormal"> 0.31 41.33 us 18.00 us 87.00 us 60 FLUSH<u></u><u></u></p>
<p class="MsoNormal"> 0.33 66.12 us 28.00 us 246.00 us 40 STAT<u></u><u></u></p>
<p class="MsoNormal"> 0.57 102.39 us 62.00 us 236.00 us 44 OPEN<u></u><u></u></p>
<p class="MsoNormal"> 0.58 664.86 us 311.00 us 855.00 us 7 UNLINK<u></u><u></u></p>
<p class="MsoNormal"> 0.86 51.37 us 22.00 us 101.00 us 134 FINODELK<u></u><u></u></p>
<p class="MsoNormal"> 1.07 118.28 us 46.00 us 437.00 us 72 READ<u></u><u></u></p>
<p class="MsoNormal"> 3.83 137.39 us 41.00 us 2431.00 us 222 WRITE<u></u><u></u></p>
<p class="MsoNormal"> 4.54 250.94 us 57.00 us 15444.00 us 144 FXATTROP<u></u><u></u></p>
<p class="MsoNormal"> 5.89 2932.56 us 134.00 us 17675.00 us 16 CREATE<u></u><u></u></p>
<p class="MsoNormal"> 7.83 224.34 us 61.00 us 12509.00 us 278 LOOKUP<u></u><u></u></p>
<p class="MsoNormal"> 73.50 9592.56 us 6897.00 us 36321.00 us 61 FSYNC<u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"> Duration: 362152 seconds<u></u><u></u></p>
<p class="MsoNormal"> Data Read: 2005452176 bytes<u></u><u></u></p>
<p class="MsoNormal">Data Written: 83056358475 bytes<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Seems latency of FSYNC is very high. Sometimes cpu wait is also very high:<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">top - 15:27:39 up 4 days, 4:58, 2 users, load average: 0.75, 0.72, 0.70<u></u><u></u></p>
<p class="MsoNormal">Tasks: 210 total, 1 running, 209 sleeping, 0 stopped, 0 zombie<u></u><u></u></p>
<p class="MsoNormal">%Cpu(s): 0.3 us, 0.2 sy, 0.0 ni, 62.9 id, <b><span style="color:red">36.5</span></b><span style="color:red">
</span>wa, 0.0 hi, 0.1 si, 0.0 st<u></u><u></u></p>
<p class="MsoNormal">KiB Mem : 8043984 total, 883420 free, 1788912 used, 5371652 buff/cache<u></u><u></u></p>
<p class="MsoNormal">KiB Swap: 0 total, 0 free, 0 used. 5819396 avail Mem<br>
<br>
<u></u><u></u></p>
<p class="MsoNormal">Any ideas?<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Thanks.<u></u><u></u></p>
</div>
</div>
<br>
______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
</blockquote>
</div>
<br>
</div>
</div>
</body>
</html>