<html><head></head><body><div class="ydpef75d35cyahoo-style-wrap" style="font-family: courier new, courier, monaco, monospace, sans-serif; font-size: 16px;"><div></div>
        <div>Dear Darrell,</div><div><br></div><div>I found the issue and now I can reach the maximum of the network with a fuse client.</div><div>Here is a short overview:</div><div>1. I noticed that working with a new gluster volume is reaching my network speed - I was quite excited.</div><div>2. Then I have destroyed my gluster volume and created a new one and started adding features from ovirt</div><div><br></div><div>Once I have added features.shard on -&gt; I hit the same performance from before. Increasing the shard size to 16MB didn't help at all.</div><div><br></div><div>For my case where I have 2 Virtualization hosts with single data gluster volume - sharding is not neccessary, but for larger setups it will be a problem.</div><div><br></div><div>As this looks to me as a bug - can someone tell me where I can report it ?</div><div><br></div><div>Thanks to all who guided me in this journey of GlusterFS ! I have learned so much , as my prior knowledge was only in Ceph.</div><div><br></div><div>Best Regards,</div><div>Strahil Nikolov<br></div><div><br></div>
        
        </div><div id="ydp658cfa08yahoo_quoted_9323618734" class="ydp658cfa08yahoo_quoted">
            <div style="font-family:'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:13px;color:#26282a;">
                
                <div>
                    В четвъртък, 24 януари 2019 г., 17:53:50 ч. Гринуич+2, Darrell Budic &lt;budic@onholyground.com&gt; написа:
                </div>
                <div><br></div>
                <div><br></div>
                <div><div id="ydp658cfa08yiv2833557303"><div>Strahil-<div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">The fuse client is what it is, it’s limited by operating in user land and waiting for the gluster servers to acknowledge all the writes. I noted you're using ovirt, you should look into enabling the libgfapi engine setting to run your VMs with libgf natively. You can’t test directly from the host with that, but you can run your tests inside the VMs. I saw significant throughput and latency improvements that way. It’s still somewhat beta, so you’ll probably need to search the overt-users mailing list to find info on enabling it.&nbsp;</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">Good luck!</div><div class="ydp658cfa08yiv2833557303"><div><br class="ydp658cfa08yiv2833557303" clear="none"><blockquote class="ydp658cfa08yiv2833557303" type="cite"><div class="ydp658cfa08yiv2833557303yqt8646561959" id="ydp658cfa08yiv2833557303yqt97590"><div class="ydp658cfa08yiv2833557303">On Jan 24, 2019, at 4:32 AM, Strahil Nikolov &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:hunter86_bg@yahoo.com" rel="nofollow" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:</div><br class="ydp658cfa08yiv2833557303Apple-interchange-newline" clear="none"><div class="ydp658cfa08yiv2833557303"><div class="ydp658cfa08yiv2833557303"><div class="ydp658cfa08yiv2833557303" style="background-color:rgb(255, 255, 255);"><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7272"><span class="ydp658cfa08yiv2833557303">Dear Amar, Community,</span></div><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7274"><span class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></span></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7275"><span class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7299">it seems the issue is in the fuse client itself</span>.</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7384"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7383">Here is the latest update:</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7300">1. I have added the following:</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7385">server.event-threads: 4<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7416" clear="none">client.event-threads: 4<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7417" clear="none">performance.stat-prefetch: on</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7610">performance.strict-o-direct: off<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7418" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7608">Results: no change</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7645"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7662">2. Allowed nfs and connected ovirt1 to the gluster volume:</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7661">nfs.disable: off<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7665" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr">Results: Drastic improvement in performance as follows:</div><div class="ydp658cfa08yiv2833557303" dir="ltr"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7788">[root@ovirt1 data]# dd if=/dev/zero of=largeio bs=1M count=5000 status=progress<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7800" clear="none">5000+0 records in<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7801" clear="none">5000+0 records out<br class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7802" clear="none">5242880000 bytes (5.2 GB) copied, 53.0443 s, 98.8 MB/s</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7841"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7961">So I would be happy if anyone guide me in order to fix the situation as the fuse client is the best way to use glusterfs, and it seems the glusterfs-server is not the guilty one.</div><div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7962"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr">Thanks in advance for your guidance.I have learned so much.</div><div class="ydp658cfa08yiv2833557303" dir="ltr"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" dir="ltr">Best Regards,</div><div class="ydp658cfa08yiv2833557303" dir="ltr">Strahil Nikolov<br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303qtdSeparateBR"><br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303yahoo_quoted" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7305" style="display:block;">  <div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7304" style="font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:16px;"> <div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7303" style="font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:16px;"> <div class="ydp658cfa08yiv2833557303" dir="ltr" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7302"> <font class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7301" size="2" face="Arial"> </font><hr class="ydp658cfa08yiv2833557303" size="1"> <b class="ydp658cfa08yiv2833557303"><span class="ydp658cfa08yiv2833557303" style="font-weight:bold;">От:</span></b> Strahil &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:hunter86_bg@yahoo.com" rel="nofollow" target="_blank">hunter86_bg@yahoo.com</a>&gt;<br class="ydp658cfa08yiv2833557303" clear="none"> <b class="ydp658cfa08yiv2833557303"><span class="ydp658cfa08yiv2833557303" style="font-weight:bold;">До:</span></b> Amar Tumballi Suryanarayan &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:atumball@redhat.com" rel="nofollow" target="_blank">atumball@redhat.com</a>&gt; <br class="ydp658cfa08yiv2833557303" clear="none"><b class="ydp658cfa08yiv2833557303"><span class="ydp658cfa08yiv2833557303" style="font-weight:bold;">Копие:</span></b> Gluster-users &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:gluster-users@gluster.org" rel="nofollow" target="_blank">gluster-users@gluster.org</a>&gt;<br class="ydp658cfa08yiv2833557303" clear="none"> <b class="ydp658cfa08yiv2833557303"><span class="ydp658cfa08yiv2833557303" style="font-weight:bold;">Изпратен:</span></b> сряда, 23 януари 2019 г. 18:44<br class="ydp658cfa08yiv2833557303" clear="none"> <b class="ydp658cfa08yiv2833557303"><span class="ydp658cfa08yiv2833557303" style="font-weight:bold;">Тема:</span></b> Re: [Gluster-users] Gluster performance issues - need advise<br class="ydp658cfa08yiv2833557303" clear="none">  </div> <div class="ydp658cfa08yiv2833557303y_msg_container" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7382"><br class="ydp658cfa08yiv2833557303" clear="none"><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303"><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7381"><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7380"><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7379">Dear Amar,<div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303" id="ydp658cfa08yiv2833557303yui_3_16_0_ym19_1_1548325460022_7378">Thanks for your email.</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">Actually my concerns were on both topics.</div><div class="ydp658cfa08yiv2833557303">Would you recommend any perf options that will be suitable ?</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">After mentioning the network usage, I just checked it and it seems duringthe test session, ovirt1 (both client and host) is using no more than 455Mbit/s which is half the network bandwidth.</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">I'm still in the middle of nowhere, so any ideas are welcome.</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">Best Regards,</div><div class="ydp658cfa08yiv2833557303">Strahil Nikolov</div></div><div class="ydp658cfa08yiv2833557303yqt8450526150" id="ydp658cfa08yiv2833557303yqt03107"><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"><div class="ydp658cfa08yiv2833557303elided-text">On Jan 23, 2019 17:49, Amar Tumballi Suryanarayan &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:atumball@redhat.com" rel="nofollow" target="_blank">atumball@redhat.com</a>&gt; wrote:<br class="ydp658cfa08yiv2833557303" clear="none"><blockquote class="ydp658cfa08yiv2833557303" style="margin:0 0 0 0.8ex;border-left:1px #ccc solid;padding-left:1ex;"><div class="ydp658cfa08yiv2833557303" dir="ltr">I didn't understand the issue properly. Mostly I missed something.<div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">Are you concerned the performance is 49MB/s with and without perf options? or are you expecting it to be 123MB/s as over the n/w you get that speed?</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">If it is the first problem, then you are actually having 'performance.write-behind on' in both options, and it is the only perf xlator which comes into action during the test you ran.</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">If it is the second, then please be informed that gluster does client side replication, which means, n/w would be split in half for write operations (like write(), creat() etc), so the number you are getting is almost the maximum with 1GbE.</div><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div><div class="ydp658cfa08yiv2833557303">Regards,</div><div class="ydp658cfa08yiv2833557303">Amar</div></div><br class="ydp658cfa08yiv2833557303" clear="none"><div class="ydp658cfa08yiv2833557303elided-text"><div class="ydp658cfa08yiv2833557303" dir="ltr">On Wed, Jan 23, 2019 at 8:38 PM Strahil Nikolov &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:hunter86_bg@yahoo.com" rel="nofollow" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:<br class="ydp658cfa08yiv2833557303" clear="none"></div><blockquote class="ydp658cfa08yiv2833557303" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb( 204 , 204 , 204 );padding-left:1ex;">Hello Community,<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
recently I have built a new lab based on oVirt and CentOS 7.<br class="ydp658cfa08yiv2833557303" clear="none">
During deployment I had some hicups, but now the engine is up and running - but gluster is causing me trouble.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Symptoms: Slow VM install from DVD, poor write performance. The latter has been tested via:<br class="ydp658cfa08yiv2833557303" clear="none">
dd if=/dev/zero of=/rhev/data-center/mnt/glusterSD/ovirt1.localdomain:_data bs=1M count=1000 status=progress<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
The reported speed is 60MB/s which is way too low for my setup.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
My lab design:<br class="ydp658cfa08yiv2833557303" clear="none">
<a shape="rect" class="ydp658cfa08yiv2833557303" href="https://drive.google.com/file/d/1SiW21ASPXHRAEuE_jZ50R3FoO-NcnFqT/view?usp=sharing" rel="nofollow" target="_blank">https://drive.google.com/file/d/1SiW21ASPXHRAEuE_jZ50R3FoO-NcnFqT/view?usp=sharing</a><br class="ydp658cfa08yiv2833557303" clear="none">
Gluster version is 3.12.15<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
So far I have done:<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
1. Added 'server.allow-insecure on' (with 'option rpc-auth-allow-insecure on' in glusterd.vol)<br class="ydp658cfa08yiv2833557303" clear="none">
Volume info after that change:<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Volume Name: data<br class="ydp658cfa08yiv2833557303" clear="none">
Type: Replicate<br class="ydp658cfa08yiv2833557303" clear="none">
Volume ID: 9b06a1e9-8102-4cd7-bc56-84960a1efaa2<br class="ydp658cfa08yiv2833557303" clear="none">
Status: Started<br class="ydp658cfa08yiv2833557303" clear="none">
Snapshot Count: 0<br class="ydp658cfa08yiv2833557303" clear="none">
Number of Bricks: 1 x (2 + 1) = 3<br class="ydp658cfa08yiv2833557303" clear="none">
Transport-type: tcp<br class="ydp658cfa08yiv2833557303" clear="none">
Bricks:<br class="ydp658cfa08yiv2833557303" clear="none">
Brick1: ovirt1.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">
Brick2: ovirt2.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">
Brick3: ovirt3.localdomain:/gluster_bricks/data/data (arbiter)<br class="ydp658cfa08yiv2833557303" clear="none">
Options Reconfigured:<br class="ydp658cfa08yiv2833557303" clear="none">
performance.client-io-threads: off<br class="ydp658cfa08yiv2833557303" clear="none">
nfs.disable: on<br class="ydp658cfa08yiv2833557303" clear="none">
transport.address-family: inet<br class="ydp658cfa08yiv2833557303" clear="none">
performance.quick-read: off<br class="ydp658cfa08yiv2833557303" clear="none">
performance.read-ahead: off<br class="ydp658cfa08yiv2833557303" clear="none">
<a shape="rect" class="ydp658cfa08yiv2833557303" href="http://performance.io" rel="nofollow" target="_blank">performance.io</a>-cache: off<br class="ydp658cfa08yiv2833557303" clear="none">
performance.low-prio-threads: 32<br class="ydp658cfa08yiv2833557303" clear="none">
network.remote-dio: off<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.eager-lock: enable<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.quorum-type: auto<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.server-quorum-type: server<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.data-self-heal-algorithm: full<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.locking-scheme: granular<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.shd-max-threads: 8<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.shd-wait-qlength: 10000<br class="ydp658cfa08yiv2833557303" clear="none">
features.shard: on<br class="ydp658cfa08yiv2833557303" clear="none">
user.cifs: off<br class="ydp658cfa08yiv2833557303" clear="none">
storage.owner-uid: 36<br class="ydp658cfa08yiv2833557303" clear="none">
storage.owner-gid: 36<br class="ydp658cfa08yiv2833557303" clear="none">
network.ping-timeout: 30<br class="ydp658cfa08yiv2833557303" clear="none">
performance.strict-o-direct: on<br class="ydp658cfa08yiv2833557303" clear="none">
cluster.granular-entry-heal: enable<br class="ydp658cfa08yiv2833557303" clear="none">
server.allow-insecure: on<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Seems no positive or negative effect so far.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
2. Tested with tmpfs&nbsp; on all bricks -&gt; ovirt1 mounted gluster volume -&gt;&nbsp; max 60MB/s (bs=1M without 'oflag=direct')<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
[root@ovirt1 data]# dd if=/dev/zero of=large_io bs=1M&nbsp; count=4000 status=progress<br class="ydp658cfa08yiv2833557303" clear="none">
4177526784 bytes (4.2 GB) copied, 70.843409 s, 59.0 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">
4000+0 records in<br class="ydp658cfa08yiv2833557303" clear="none">
4000+0 records out<br class="ydp658cfa08yiv2833557303" clear="none">
4194304000 bytes (4.2 GB) copied, 71.1407 s, 59.0 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">
[root@ovirt1 data]# rm -f large_io<br class="ydp658cfa08yiv2833557303" clear="none">
[root@ovirt1 data]# gluster volume profile data info<br class="ydp658cfa08yiv2833557303" clear="none">
Brick: ovirt1.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">
---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">
Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 35&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 35.67 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; &nbsp; 73.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 45.80 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; &nbsp; 54.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 227.67 us&nbsp; &nbsp; 216.00 us&nbsp; &nbsp; 242.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 113.38 us&nbsp; &nbsp; &nbsp; 68.00 us&nbsp; &nbsp; 381.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8&nbsp; &nbsp; &nbsp; &nbsp; READ<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 39.82 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 148.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 67.54 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 24&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 59.97 us&nbsp; &nbsp; &nbsp; 45.00 us&nbsp; &nbsp; 113.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 24.41 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; &nbsp; 89.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 161&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 43.43 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 214.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 93&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 246.35 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; 1155.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; 233.00 us&nbsp; &nbsp; 353.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 153.23 us&nbsp; &nbsp; 122.00 us&nbsp; &nbsp; 259.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 99.77 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 258.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 442&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
0.31&nbsp; &nbsp; &nbsp; 49.22 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 540.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 45620&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.77&nbsp; &nbsp; 124.24 us&nbsp; &nbsp; &nbsp; 87.00 us&nbsp; &nbsp; 604.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
0.93&nbsp; 15767.71 us&nbsp; &nbsp; &nbsp; 15.00 us&nbsp; 305833.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 431&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
1.99&nbsp; 160711.39 us&nbsp; &nbsp; 3332.00 us&nbsp; 406037.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 90&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
96.00&nbsp; &nbsp; 5167.82 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 55972.00 us&nbsp; &nbsp; &nbsp; &nbsp; 135349&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 380 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 1048576 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 5894045696 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 35&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 35.67 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; &nbsp; 73.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 45.80 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; &nbsp; 54.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 227.67 us&nbsp; &nbsp; 216.00 us&nbsp; &nbsp; 242.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 113.38 us&nbsp; &nbsp; &nbsp; 68.00 us&nbsp; &nbsp; 381.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8&nbsp; &nbsp; &nbsp; &nbsp; READ<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 39.82 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 148.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 67.54 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 24&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 59.97 us&nbsp; &nbsp; &nbsp; 45.00 us&nbsp; &nbsp; 113.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 24.41 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; &nbsp; 89.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 161&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 43.43 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 214.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 93&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 246.35 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; 1155.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; 233.00 us&nbsp; &nbsp; 353.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 153.23 us&nbsp; &nbsp; 122.00 us&nbsp; &nbsp; 259.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 99.77 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 258.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 442&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
0.31&nbsp; &nbsp; &nbsp; 49.22 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 540.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 45620&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.77&nbsp; &nbsp; 124.24 us&nbsp; &nbsp; &nbsp; 87.00 us&nbsp; &nbsp; 604.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
0.93&nbsp; 15767.71 us&nbsp; &nbsp; &nbsp; 15.00 us&nbsp; 305833.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 431&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
1.99&nbsp; 160711.39 us&nbsp; &nbsp; 3332.00 us&nbsp; 406037.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 90&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
96.00&nbsp; &nbsp; 5167.82 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 55972.00 us&nbsp; &nbsp; &nbsp; &nbsp; 135349&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 380 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 1048576 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 5894045696 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Brick: ovirt3.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">
---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">
Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 51.50 us&nbsp; &nbsp; &nbsp; 20.00 us&nbsp; &nbsp; &nbsp; 81.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; 219.50 us&nbsp; &nbsp; 188.00 us&nbsp; &nbsp; 251.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 43.45 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; &nbsp; 90.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 62.30 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; 119.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 50.59 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 102.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 24.60 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; &nbsp; 64.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 40&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 176.30 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 765.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.07&nbsp; &nbsp; &nbsp; 63.08 us&nbsp; &nbsp; &nbsp; 39.00 us&nbsp; &nbsp; 133.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
0.13&nbsp; &nbsp; &nbsp; 27.35 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; &nbsp; 91.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 333&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
0.13&nbsp; &nbsp; 126.89 us&nbsp; &nbsp; &nbsp; 99.00 us&nbsp; &nbsp; 179.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.42&nbsp; &nbsp; 116.70 us&nbsp; &nbsp; &nbsp; 8.00 us&nbsp; &nbsp; 8661.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 261&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
28.73&nbsp; &nbsp; &nbsp; 51.79 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; 2574.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39822&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
29.52&nbsp; &nbsp; &nbsp; 53.87 us&nbsp; &nbsp; &nbsp; 16.00 us&nbsp; &nbsp; 3290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
40.92&nbsp; &nbsp; &nbsp; 24.71 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 3224.00 us&nbsp; &nbsp; &nbsp; &nbsp; 118864&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 189 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 39328 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 51.50 us&nbsp; &nbsp; &nbsp; 20.00 us&nbsp; &nbsp; &nbsp; 81.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; 219.50 us&nbsp; &nbsp; 188.00 us&nbsp; &nbsp; 251.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 43.45 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; &nbsp; 90.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 62.30 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; 119.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 50.59 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 102.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 24.60 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; &nbsp; 64.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 40&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 176.30 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 765.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.07&nbsp; &nbsp; &nbsp; 63.08 us&nbsp; &nbsp; &nbsp; 39.00 us&nbsp; &nbsp; 133.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
0.13&nbsp; &nbsp; &nbsp; 27.35 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; &nbsp; 91.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 333&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
0.13&nbsp; &nbsp; 126.89 us&nbsp; &nbsp; &nbsp; 99.00 us&nbsp; &nbsp; 179.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.42&nbsp; &nbsp; 116.70 us&nbsp; &nbsp; &nbsp; 8.00 us&nbsp; &nbsp; 8661.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 261&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
28.73&nbsp; &nbsp; &nbsp; 51.79 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; 2574.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39822&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
29.52&nbsp; &nbsp; &nbsp; 53.87 us&nbsp; &nbsp; &nbsp; 16.00 us&nbsp; &nbsp; 3290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
40.92&nbsp; &nbsp; &nbsp; 24.71 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 3224.00 us&nbsp; &nbsp; &nbsp; &nbsp; 118864&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 189 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 39328 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Brick: ovirt2.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">
---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">
Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 512b+&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 36&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76758 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 100.50 us&nbsp; &nbsp; &nbsp; 80.00 us&nbsp; &nbsp; 121.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 REMOVEXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; SETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 36.18 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 57.44 us&nbsp; &nbsp; &nbsp; 42.00 us&nbsp; &nbsp; &nbsp; 77.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; FTRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 82.56 us&nbsp; &nbsp; &nbsp; 59.00 us&nbsp; &nbsp; 138.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 89.42 us&nbsp; &nbsp; &nbsp; 67.00 us&nbsp; &nbsp; 161.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; SETATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 272.40 us&nbsp; &nbsp; 235.00 us&nbsp; &nbsp; 296.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; 154.28 us&nbsp; &nbsp; &nbsp; 88.00 us&nbsp; &nbsp; 320.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 45.29 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 319.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 86.69 us&nbsp; &nbsp; &nbsp; 30.00 us&nbsp; &nbsp; 379.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 62&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 64.30 us&nbsp; &nbsp; &nbsp; 47.00 us&nbsp; &nbsp; 169.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 84&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 107.34 us&nbsp; &nbsp; &nbsp; 23.00 us&nbsp; &nbsp; 273.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 73&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 4688.00 us&nbsp; &nbsp; &nbsp; 86.00 us&nbsp; &nbsp; 9290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; TRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; &nbsp; 59.29 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; 394.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 165&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.03&nbsp; &nbsp; 128.51 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 338.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; &nbsp; FSYNC<br class="ydp658cfa08yiv2833557303" clear="none">
0.03&nbsp; &nbsp; 240.75 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 1943.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.04&nbsp; &nbsp; &nbsp; 65.59 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; 293.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 279&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">
0.06&nbsp; &nbsp; 180.77 us&nbsp; &nbsp; 118.00 us&nbsp; &nbsp; 306.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 148&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.14&nbsp; &nbsp; &nbsp; 37.98 us&nbsp; &nbsp; &nbsp; 17.00 us&nbsp; &nbsp; 192.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1598&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.67&nbsp; &nbsp; &nbsp; 91.68 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; 1141.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3186&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
10.10&nbsp; &nbsp; &nbsp; 55.92 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 1658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78608&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
11.89&nbsp; &nbsp; 6814.76 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 301246.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 760&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
19.44&nbsp; &nbsp; &nbsp; 36.55 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 2353.00 us&nbsp; &nbsp; &nbsp; &nbsp; 231535&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
25.21&nbsp; &nbsp; 142.92 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; 593.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76794&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
32.28&nbsp; 91283.68 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; 316658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 154&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 1206 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 10060843008 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">
Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 512b+&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">
No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 36&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76758 <br class="ydp658cfa08yiv2833557303" clear="none">
%-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">
---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 100.50 us&nbsp; &nbsp; &nbsp; 80.00 us&nbsp; &nbsp; 121.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 REMOVEXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; SETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 36.18 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 57.44 us&nbsp; &nbsp; &nbsp; 42.00 us&nbsp; &nbsp; &nbsp; 77.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; FTRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 82.56 us&nbsp; &nbsp; &nbsp; 59.00 us&nbsp; &nbsp; 138.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; &nbsp; 89.42 us&nbsp; &nbsp; &nbsp; 67.00 us&nbsp; &nbsp; 161.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; SETATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.00&nbsp; &nbsp; 272.40 us&nbsp; &nbsp; 235.00 us&nbsp; &nbsp; 296.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; 154.28 us&nbsp; &nbsp; &nbsp; 88.00 us&nbsp; &nbsp; 320.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 45.29 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 319.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 86.69 us&nbsp; &nbsp; &nbsp; 30.00 us&nbsp; &nbsp; 379.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 62&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">
0.01&nbsp; &nbsp; &nbsp; 64.30 us&nbsp; &nbsp; &nbsp; 47.00 us&nbsp; &nbsp; 169.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 84&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 107.34 us&nbsp; &nbsp; &nbsp; 23.00 us&nbsp; &nbsp; 273.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 73&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; 4688.00 us&nbsp; &nbsp; &nbsp; 86.00 us&nbsp; &nbsp; 9290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; TRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">
0.02&nbsp; &nbsp; &nbsp; 59.29 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; 394.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 165&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">
0.03&nbsp; &nbsp; 128.51 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 338.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; &nbsp; FSYNC<br class="ydp658cfa08yiv2833557303" clear="none">
0.03&nbsp; &nbsp; 240.75 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 1943.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">
0.04&nbsp; &nbsp; &nbsp; 65.59 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; 293.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 279&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">
0.06&nbsp; &nbsp; 180.77 us&nbsp; &nbsp; 118.00 us&nbsp; &nbsp; 306.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 148&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">
0.14&nbsp; &nbsp; &nbsp; 37.98 us&nbsp; &nbsp; &nbsp; 17.00 us&nbsp; &nbsp; 192.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1598&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">
0.67&nbsp; &nbsp; &nbsp; 91.66 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; 1141.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3186&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">
10.10&nbsp; &nbsp; &nbsp; 55.92 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 1658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78608&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">
11.89&nbsp; &nbsp; 6814.76 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 301246.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 760&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">
19.44&nbsp; &nbsp; &nbsp; 36.55 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 2353.00 us&nbsp; &nbsp; &nbsp; &nbsp; 231535&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">
25.21&nbsp; &nbsp; 142.92 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; 593.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76794&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">
32.28&nbsp; 91283.68 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; 316658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 154&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Duration: 1206 seconds<br class="ydp658cfa08yiv2833557303" clear="none">
Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
Data Written: 10060843008 bytes<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
This indicates to me that it's not a problem in Disk/LVM/FileSystem layout.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Most probably I haven't created the volume properly or some option/feature is disabled ?!?<br class="ydp658cfa08yiv2833557303" clear="none">
Network shows OK for a gigabit:<br class="ydp658cfa08yiv2833557303" clear="none">
[root@ovirt1 data]# dd if=/dev/zero status=progress | nc ovirt2 9999<br class="ydp658cfa08yiv2833557303" clear="none">
3569227264 bytes (3.6 GB) copied, 29.001052 s, 123 MB/s^C<br class="ydp658cfa08yiv2833557303" clear="none">
7180980+0 records in<br class="ydp658cfa08yiv2833557303" clear="none">
7180979+0 records out<br class="ydp658cfa08yiv2833557303" clear="none">
3676661248 bytes (3.7 GB) copied, 29.8739 s, 123 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
I'm looking for any help... you can share your volume info also.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Thanks in advance.<br class="ydp658cfa08yiv2833557303" clear="none">
<br class="ydp658cfa08yiv2833557303" clear="none">
Best Regards,<br class="ydp658cfa08yiv2833557303" clear="none">
Strahil Nikolov<br class="ydp658cfa08yiv2833557303" clear="none">
_______________________________________________<br class="ydp658cfa08yiv2833557303" clear="none">
Gluster-users mailing list<br class="ydp658cfa08yiv2833557303" clear="none">
<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br class="ydp658cfa08yiv2833557303" clear="none">
<a shape="rect" class="ydp658cfa08yiv2833557303" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br class="ydp658cfa08yiv2833557303" clear="none">
</blockquote></div><br class="ydp658cfa08yiv2833557303" clear="all"><div class="ydp658cfa08yiv2833557303"><br class="ydp658cfa08yiv2833557303" clear="none"></div>-- <br class="ydp658cfa08yiv2833557303" clear="none"><div class="ydp658cfa08yiv2833557303" dir="ltr"><div class="ydp658cfa08yiv2833557303" dir="ltr"><div class="ydp658cfa08yiv2833557303"><div class="ydp658cfa08yiv2833557303" dir="ltr"><div class="ydp658cfa08yiv2833557303">Amar Tumballi (amarts)<br class="ydp658cfa08yiv2833557303" clear="none"></div></div></div></div></div>
</blockquote></div><br class="ydp658cfa08yiv2833557303" clear="none"></div></div></div></div></div><div class="ydp658cfa08yiv2833557303yqt8450526150" id="ydp658cfa08yiv2833557303yqt99954">Dear Amar,<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">Thanks for your email.<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">Actually my concerns were on both topics.<br class="ydp658cfa08yiv2833557303" clear="none">Would you recommend any perf options that will be suitable ?<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">After mentioning the network usage, I just checked it and it seems duringthe test session, ovirt1 (both client and host) is using no more than 455Mbit/s which is half the network bandwidth.<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">I'm still in the middle of nowhere, so any ideas are welcome.<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">Best Regards,<br class="ydp658cfa08yiv2833557303" clear="none">Strahil Nikolov<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none">On Jan 23, 2019 17:49, Amar Tumballi Suryanarayan &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:atumball@redhat.com" rel="nofollow" target="_blank">atumball@redhat.com</a>&gt; wrote:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; I didn't understand the issue properly. Mostly I missed something.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; Are you concerned the performance is 49MB/s with and without perf options? or are you expecting it to be 123MB/s as over the n/w you get that speed?<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; If it is the first problem, then you are actually having 'performance.write-behind on' in both options, and it is the only perf xlator which comes into action during the test you ran.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; If it is the second, then please be informed that gluster does client side replication, which means, n/w would be split in half for write operations (like write(), creat() etc), so the number you are getting is almost the maximum with 1GbE.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; Regards,<br class="ydp658cfa08yiv2833557303" clear="none">&gt; Amar<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; On Wed, Jan 23, 2019 at 8:38 PM Strahil Nikolov &lt;<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:hunter86_bg@yahoo.com" rel="nofollow" target="_blank">hunter86_bg@yahoo.com</a>&gt; wrote:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Hello Community,<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; recently I have built a new lab based on oVirt and CentOS 7.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; During deployment I had some hicups, but now the engine is up and running - but gluster is causing me trouble.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Symptoms: Slow VM install from DVD, poor write performance. The latter has been tested via:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; dd if=/dev/zero of=/rhev/data-center/mnt/glusterSD/ovirt1.localdomain:_data bs=1M count=1000 status=progress<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; The reported speed is 60MB/s which is way too low for my setup.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; My lab design:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; <a shape="rect" class="ydp658cfa08yiv2833557303" href="https://drive.google.com/file/d/1SiW21ASPXHRAEuE_jZ50R3FoO-NcnFqT/view?usp=sharing" rel="nofollow" target="_blank">https://drive.google.com/file/d/1SiW21ASPXHRAEuE_jZ50R3FoO-NcnFqT/view?usp=sharing</a><br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Gluster version is 3.12.15<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; So far I have done:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 1. Added 'server.allow-insecure on' (with 'option rpc-auth-allow-insecure on' in glusterd.vol)<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Volume info after that change:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Volume Name: data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Type: Replicate<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Volume ID: 9b06a1e9-8102-4cd7-bc56-84960a1efaa2<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Status: Started<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Snapshot Count: 0<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Number of Bricks: 1 x (2 + 1) = 3<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Transport-type: tcp<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Bricks:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick1: ovirt1.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick2: ovirt2.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick3: ovirt3.localdomain:/gluster_bricks/data/data (arbiter)<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Options Reconfigured:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; performance.client-io-threads: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; nfs.disable: on<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; transport.address-family: inet<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; performance.quick-read: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; performance.read-ahead: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; <a shape="rect" class="ydp658cfa08yiv2833557303" href="http://performance.io" rel="nofollow" target="_blank">performance.io</a>-cache: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; performance.low-prio-threads: 32<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; network.remote-dio: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.eager-lock: enable<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.quorum-type: auto<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.server-quorum-type: server<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.data-self-heal-algorithm: full<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.locking-scheme: granular<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.shd-max-threads: 8<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.shd-wait-qlength: 10000<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; features.shard: on<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; user.cifs: off<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; storage.owner-uid: 36<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; storage.owner-gid: 36<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; network.ping-timeout: 30<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; performance.strict-o-direct: on<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; cluster.granular-entry-heal: enable<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; server.allow-insecure: on<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Seems no positive or negative effect so far.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 2. Tested with tmpfs&nbsp; on all bricks -&gt; ovirt1 mounted gluster volume -&gt;&nbsp; max 60MB/s (bs=1M without 'oflag=direct')<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; [<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:root@ovirt1" rel="nofollow" target="_blank">root@ovirt1</a> data]# dd if=/dev/zero of=large_io bs=1M&nbsp; count=4000 status=progress<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 4177526784 bytes (4.2 GB) copied, 70.843409 s, 59.0 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 4000+0 records in<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 4000+0 records out<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 4194304000 bytes (4.2 GB) copied, 71.1407 s, 59.0 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; [<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:root@ovirt1" rel="nofollow" target="_blank">root@ovirt1</a> data]# rm -f large_io<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; [<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:root@ovirt1" rel="nofollow" target="_blank">root@ovirt1</a> data]# gluster volume profile data info<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick: ovirt1.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 35&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 35.67 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; &nbsp; 73.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 45.80 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; &nbsp; 54.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 227.67 us&nbsp; &nbsp; 216.00 us&nbsp; &nbsp; 242.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 113.38 us&nbsp; &nbsp; &nbsp; 68.00 us&nbsp; &nbsp; 381.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8&nbsp; &nbsp; &nbsp; &nbsp; READ<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 39.82 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 148.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 67.54 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 24&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 59.97 us&nbsp; &nbsp; &nbsp; 45.00 us&nbsp; &nbsp; 113.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 24.41 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; &nbsp; 89.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 161&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 43.43 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 214.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 93&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 246.35 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; 1155.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; 233.00 us&nbsp; &nbsp; 353.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 153.23 us&nbsp; &nbsp; 122.00 us&nbsp; &nbsp; 259.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 99.77 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 258.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 442&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.31&nbsp; &nbsp; &nbsp; 49.22 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 540.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 45620&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.77&nbsp; &nbsp; 124.24 us&nbsp; &nbsp; &nbsp; 87.00 us&nbsp; &nbsp; 604.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.93&nbsp; 15767.71 us&nbsp; &nbsp; &nbsp; 15.00 us&nbsp; 305833.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 431&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 1.99&nbsp; 160711.39 us&nbsp; &nbsp; 3332.00 us&nbsp; 406037.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 90&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 96.00&nbsp; &nbsp; 5167.82 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 55972.00 us&nbsp; &nbsp; &nbsp; &nbsp; 135349&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 380 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 1048576 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 5894045696 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 35&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; 78.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 35.67 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; &nbsp; 73.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; 324.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 45.80 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; &nbsp; 54.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 227.67 us&nbsp; &nbsp; 216.00 us&nbsp; &nbsp; 242.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 113.38 us&nbsp; &nbsp; &nbsp; 68.00 us&nbsp; &nbsp; 381.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8&nbsp; &nbsp; &nbsp; &nbsp; READ<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 39.82 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 148.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 28&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 67.54 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 24&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 59.97 us&nbsp; &nbsp; &nbsp; 45.00 us&nbsp; &nbsp; 113.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 24.41 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; &nbsp; 89.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 161&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 43.43 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 214.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 93&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 246.35 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; 1155.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 283.00 us&nbsp; &nbsp; 233.00 us&nbsp; &nbsp; 353.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 153.23 us&nbsp; &nbsp; 122.00 us&nbsp; &nbsp; 259.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 99.77 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 258.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 442&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.31&nbsp; &nbsp; &nbsp; 49.22 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 540.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 45620&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.77&nbsp; &nbsp; 124.24 us&nbsp; &nbsp; &nbsp; 87.00 us&nbsp; &nbsp; 604.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 44968&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.93&nbsp; 15767.71 us&nbsp; &nbsp; &nbsp; 15.00 us&nbsp; 305833.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 431&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 1.99&nbsp; 160711.39 us&nbsp; &nbsp; 3332.00 us&nbsp; 406037.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 90&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 96.00&nbsp; &nbsp; 5167.82 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 55972.00 us&nbsp; &nbsp; &nbsp; &nbsp; 135349&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 380 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 1048576 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 5894045696 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick: ovirt3.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 51.50 us&nbsp; &nbsp; &nbsp; 20.00 us&nbsp; &nbsp; &nbsp; 81.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; 219.50 us&nbsp; &nbsp; 188.00 us&nbsp; &nbsp; 251.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 43.45 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; &nbsp; 90.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 62.30 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; 119.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 50.59 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 102.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 24.60 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; &nbsp; 64.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 40&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 176.30 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 765.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.07&nbsp; &nbsp; &nbsp; 63.08 us&nbsp; &nbsp; &nbsp; 39.00 us&nbsp; &nbsp; 133.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.13&nbsp; &nbsp; &nbsp; 27.35 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; &nbsp; 91.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 333&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.13&nbsp; &nbsp; 126.89 us&nbsp; &nbsp; &nbsp; 99.00 us&nbsp; &nbsp; 179.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.42&nbsp; &nbsp; 116.70 us&nbsp; &nbsp; &nbsp; 8.00 us&nbsp; &nbsp; 8661.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 261&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 28.73&nbsp; &nbsp; &nbsp; 51.79 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; 2574.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39822&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 29.52&nbsp; &nbsp; &nbsp; 53.87 us&nbsp; &nbsp; &nbsp; 16.00 us&nbsp; &nbsp; 3290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 40.92&nbsp; &nbsp; &nbsp; 24.71 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 3224.00 us&nbsp; &nbsp; &nbsp; &nbsp; 118864&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 189 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 39328 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 51.50 us&nbsp; &nbsp; &nbsp; 20.00 us&nbsp; &nbsp; &nbsp; 81.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; 219.50 us&nbsp; &nbsp; 188.00 us&nbsp; &nbsp; 251.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 43.45 us&nbsp; &nbsp; &nbsp; 11.00 us&nbsp; &nbsp; &nbsp; 90.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 62.30 us&nbsp; &nbsp; &nbsp; 38.00 us&nbsp; &nbsp; 119.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 50.59 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 102.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 17&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 24.60 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; &nbsp; 64.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 40&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 176.30 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 765.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.07&nbsp; &nbsp; &nbsp; 63.08 us&nbsp; &nbsp; &nbsp; 39.00 us&nbsp; &nbsp; 133.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.13&nbsp; &nbsp; &nbsp; 27.35 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; &nbsp; 91.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 333&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.13&nbsp; &nbsp; 126.89 us&nbsp; &nbsp; &nbsp; 99.00 us&nbsp; &nbsp; 179.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.42&nbsp; &nbsp; 116.70 us&nbsp; &nbsp; &nbsp; 8.00 us&nbsp; &nbsp; 8661.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 261&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 28.73&nbsp; &nbsp; &nbsp; 51.79 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; 2574.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39822&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 29.52&nbsp; &nbsp; &nbsp; 53.87 us&nbsp; &nbsp; &nbsp; 16.00 us&nbsp; &nbsp; 3290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 39328&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 40.92&nbsp; &nbsp; &nbsp; 24.71 us&nbsp; &nbsp; &nbsp; 10.00 us&nbsp; &nbsp; 3224.00 us&nbsp; &nbsp; &nbsp; &nbsp; 118864&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 189 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 39328 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Brick: ovirt2.localdomain:/gluster_bricks/data/data<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------------------------------------------------<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Cumulative Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 512b+&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 36&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76758 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 100.50 us&nbsp; &nbsp; &nbsp; 80.00 us&nbsp; &nbsp; 121.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 REMOVEXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; SETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 36.18 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 57.44 us&nbsp; &nbsp; &nbsp; 42.00 us&nbsp; &nbsp; &nbsp; 77.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; FTRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 82.56 us&nbsp; &nbsp; &nbsp; 59.00 us&nbsp; &nbsp; 138.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 89.42 us&nbsp; &nbsp; &nbsp; 67.00 us&nbsp; &nbsp; 161.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; SETATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 272.40 us&nbsp; &nbsp; 235.00 us&nbsp; &nbsp; 296.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; 154.28 us&nbsp; &nbsp; &nbsp; 88.00 us&nbsp; &nbsp; 320.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 45.29 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 319.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 86.69 us&nbsp; &nbsp; &nbsp; 30.00 us&nbsp; &nbsp; 379.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 62&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 64.30 us&nbsp; &nbsp; &nbsp; 47.00 us&nbsp; &nbsp; 169.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 84&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 107.34 us&nbsp; &nbsp; &nbsp; 23.00 us&nbsp; &nbsp; 273.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 73&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 4688.00 us&nbsp; &nbsp; &nbsp; 86.00 us&nbsp; &nbsp; 9290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; TRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; &nbsp; 59.29 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; 394.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 165&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.03&nbsp; &nbsp; 128.51 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 338.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; &nbsp; FSYNC<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.03&nbsp; &nbsp; 240.75 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 1943.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.04&nbsp; &nbsp; &nbsp; 65.59 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; 293.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 279&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.06&nbsp; &nbsp; 180.77 us&nbsp; &nbsp; 118.00 us&nbsp; &nbsp; 306.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 148&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.14&nbsp; &nbsp; &nbsp; 37.98 us&nbsp; &nbsp; &nbsp; 17.00 us&nbsp; &nbsp; 192.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1598&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.67&nbsp; &nbsp; &nbsp; 91.68 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; 1141.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3186&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 10.10&nbsp; &nbsp; &nbsp; 55.92 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 1658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78608&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 11.89&nbsp; &nbsp; 6814.76 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 301246.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 760&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 19.44&nbsp; &nbsp; &nbsp; 36.55 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 2353.00 us&nbsp; &nbsp; &nbsp; &nbsp; 231535&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 25.21&nbsp; &nbsp; 142.92 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; 593.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76794&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 32.28&nbsp; 91283.68 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; 316658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 154&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 1206 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 10060843008 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Interval 0 Stats:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Block Size:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 512b+&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072b+ <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Reads:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; No. of Writes:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 36&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76758 <br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; %-latency&nbsp; Avg-latency&nbsp; Min-Latency&nbsp; Max-Latency&nbsp; No. of calls&nbsp; &nbsp; &nbsp; &nbsp; Fop<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; ---------&nbsp; -----------&nbsp; -----------&nbsp; -----------&nbsp; ------------&nbsp; &nbsp; &nbsp; &nbsp; ----<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6&nbsp; &nbsp; &nbsp; FORGET<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 87&nbsp; &nbsp; RELEASE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; 0.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; RELEASEDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 100.50 us&nbsp; &nbsp; &nbsp; 80.00 us&nbsp; &nbsp; 121.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 REMOVEXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; 101.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; SETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 36.18 us&nbsp; &nbsp; &nbsp; 22.00 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 11&nbsp; &nbsp; &nbsp; FLUSH<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 57.44 us&nbsp; &nbsp; &nbsp; 42.00 us&nbsp; &nbsp; &nbsp; 77.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; FTRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 82.56 us&nbsp; &nbsp; &nbsp; 59.00 us&nbsp; &nbsp; 138.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9&nbsp; &nbsp; &nbsp; FSTAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; &nbsp; 89.42 us&nbsp; &nbsp; &nbsp; 67.00 us&nbsp; &nbsp; 161.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12&nbsp; &nbsp; SETATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.00&nbsp; &nbsp; 272.40 us&nbsp; &nbsp; 235.00 us&nbsp; &nbsp; 296.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5&nbsp; &nbsp; &nbsp; CREATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; 154.28 us&nbsp; &nbsp; &nbsp; 88.00 us&nbsp; &nbsp; 320.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 18&nbsp; &nbsp; XATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 45.29 us&nbsp; &nbsp; &nbsp; 1.00 us&nbsp; &nbsp; 319.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; OPENDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 86.69 us&nbsp; &nbsp; &nbsp; 30.00 us&nbsp; &nbsp; 379.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 62&nbsp; &nbsp; &nbsp; &nbsp; STAT<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.01&nbsp; &nbsp; &nbsp; 64.30 us&nbsp; &nbsp; &nbsp; 47.00 us&nbsp; &nbsp; 169.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 84&nbsp; &nbsp; &nbsp; &nbsp; OPEN<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 107.34 us&nbsp; &nbsp; &nbsp; 23.00 us&nbsp; &nbsp; 273.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 73&nbsp; &nbsp; READDIRP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; 4688.00 us&nbsp; &nbsp; &nbsp; 86.00 us&nbsp; &nbsp; 9290.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2&nbsp; &nbsp; TRUNCATE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.02&nbsp; &nbsp; &nbsp; 59.29 us&nbsp; &nbsp; &nbsp; 13.00 us&nbsp; &nbsp; 394.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 165&nbsp; &nbsp; GETXATTR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.03&nbsp; &nbsp; 128.51 us&nbsp; &nbsp; &nbsp; 27.00 us&nbsp; &nbsp; 338.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 96&nbsp; &nbsp; &nbsp; FSYNC<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.03&nbsp; &nbsp; 240.75 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 1943.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52&nbsp; &nbsp; READDIR<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.04&nbsp; &nbsp; &nbsp; 65.59 us&nbsp; &nbsp; &nbsp; 26.00 us&nbsp; &nbsp; 293.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 279&nbsp; &nbsp; &nbsp; STATFS<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.06&nbsp; &nbsp; 180.77 us&nbsp; &nbsp; 118.00 us&nbsp; &nbsp; 306.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 148&nbsp; &nbsp; &nbsp; MKNOD<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.14&nbsp; &nbsp; &nbsp; 37.98 us&nbsp; &nbsp; &nbsp; 17.00 us&nbsp; &nbsp; 192.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1598&nbsp; &nbsp; INODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 0.67&nbsp; &nbsp; &nbsp; 91.66 us&nbsp; &nbsp; &nbsp; 12.00 us&nbsp; &nbsp; 1141.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3186&nbsp; &nbsp; &nbsp; LOOKUP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 10.10&nbsp; &nbsp; &nbsp; 55.92 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; &nbsp; 1658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 78608&nbsp; &nbsp; FXATTROP<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 11.89&nbsp; &nbsp; 6814.76 us&nbsp; &nbsp; &nbsp; 18.00 us&nbsp; 301246.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 760&nbsp; &nbsp; ENTRYLK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 19.44&nbsp; &nbsp; &nbsp; 36.55 us&nbsp; &nbsp; &nbsp; 14.00 us&nbsp; &nbsp; 2353.00 us&nbsp; &nbsp; &nbsp; &nbsp; 231535&nbsp; &nbsp; FINODELK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 25.21&nbsp; &nbsp; 142.92 us&nbsp; &nbsp; &nbsp; 62.00 us&nbsp; &nbsp; 593.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 76794&nbsp; &nbsp; &nbsp; WRITE<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 32.28&nbsp; 91283.68 us&nbsp; &nbsp; &nbsp; 28.00 us&nbsp; 316658.00 us&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 154&nbsp; &nbsp; &nbsp; UNLINK<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Duration: 1206 seconds<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Read: 0 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Data Written: 10060843008 bytes<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; This indicates to me that it's not a problem in Disk/LVM/FileSystem layout.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Most probably I haven't created the volume properly or some option/feature is disabled ?!?<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Network shows OK for a gigabit:<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; [<a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:root@ovirt1" rel="nofollow" target="_blank">root@ovirt1</a> data]# dd if=/dev/zero status=progress | nc ovirt2 9999<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 3569227264 bytes (3.6 GB) copied, 29.001052 s, 123 MB/s^C<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 7180980+0 records in<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 7180979+0 records out<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; 3676661248 bytes (3.7 GB) copied, 29.8739 s, 123 MB/s<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; I'm looking for any help... you can share your volume info also.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Thanks in advance.<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Best Regards,<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Strahil Nikolov<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; _______________________________________________<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; Gluster-users mailing list<br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; <a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br class="ydp658cfa08yiv2833557303" clear="none">&gt;&gt; <a shape="rect" class="ydp658cfa08yiv2833557303" href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt;<br class="ydp658cfa08yiv2833557303" clear="none">&gt; -- <br class="ydp658cfa08yiv2833557303" clear="none">&gt; Amar Tumballi (amarts)<br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none"></div><br class="ydp658cfa08yiv2833557303" clear="none"><br class="ydp658cfa08yiv2833557303" clear="none"></div> </div> </div>  </div></div></div>_______________________________________________<br class="ydp658cfa08yiv2833557303" clear="none">Gluster-users mailing list<br class="ydp658cfa08yiv2833557303" clear="none"><a shape="rect" class="ydp658cfa08yiv2833557303" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a><br class="ydp658cfa08yiv2833557303" clear="none">https://lists.gluster.org/mailman/listinfo/gluster-users</div></div></blockquote></div><br class="ydp658cfa08yiv2833557303" clear="none"></div></div></div></div>
            </div>
        </div></body></html>