<div dir="ltr">There seems to be too many lookup operations compared to any other operations. What is the workload on the volume?<br></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Aug 17, 2018 at 12:47 PM Hu Bert &lt;<a href="mailto:revirii@googlemail.com">revirii@googlemail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">i hope i did get it right.<br>
<br>
gluster volume profile shared start<br>
wait 10 minutes<br>
gluster volume profile shared info<br>
gluster volume profile shared stop<br>
<br>
If that&#39;s ok, i&#39;ve attached the output of the info command.<br>
<br>
<br>
2018-08-17 8:31 GMT+02:00 Pranith Kumar Karampuri &lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;:<br>
&gt; Please do volume profile also for around 10 minutes when CPU% is high.<br>
&gt;<br>
&gt; On Fri, Aug 17, 2018 at 11:56 AM Pranith Kumar Karampuri<br>
&gt; &lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; As per the output, all io-threads are using a lot of CPU. It is better to<br>
&gt;&gt; check what the volume profile is to see what is leading to so much work for<br>
&gt;&gt; io-threads. Please follow the documentation at<br>
&gt;&gt; <a href="https://gluster.readthedocs.io/en/latest/Administrator%20Guide/Monitoring%20Workload/" rel="noreferrer" target="_blank">https://gluster.readthedocs.io/en/latest/Administrator%20Guide/Monitoring%20Workload/</a><br>
&gt;&gt; section: &quot;<br>
&gt;&gt;<br>
&gt;&gt; Running GlusterFS Volume Profile Command&quot;<br>
&gt;&gt;<br>
&gt;&gt; and attach output of  &quot;gluster volume profile info&quot;,<br>
&gt;&gt;<br>
&gt;&gt; On Fri, Aug 17, 2018 at 11:24 AM Hu Bert &lt;<a href="mailto:revirii@googlemail.com" target="_blank">revirii@googlemail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Good morning,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; i ran the command during 100% CPU usage and attached the file.<br>
&gt;&gt;&gt; Hopefully it helps.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 2018-08-17 7:33 GMT+02:00 Pranith Kumar Karampuri &lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;:<br>
&gt;&gt;&gt; &gt; Could you do the following on one of the nodes where you are observing<br>
&gt;&gt;&gt; &gt; high<br>
&gt;&gt;&gt; &gt; CPU usage and attach that file to this thread? We can find what<br>
&gt;&gt;&gt; &gt; threads/processes are leading to high usage. Do this for say 10 minutes<br>
&gt;&gt;&gt; &gt; when<br>
&gt;&gt;&gt; &gt; you see the ~100% CPU.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; top -bHd 5 &gt; /tmp/top.${HOSTNAME}.txt<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; On Wed, Aug 15, 2018 at 2:37 PM Hu Bert &lt;<a href="mailto:revirii@googlemail.com" target="_blank">revirii@googlemail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Hello again :-)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; The self heal must have finished as there are no log entries in<br>
&gt;&gt;&gt; &gt;&gt; glustershd.log files anymore. According to munin disk latency (average<br>
&gt;&gt;&gt; &gt;&gt; io wait) has gone down to 100 ms, and disk utilization has gone down<br>
&gt;&gt;&gt; &gt;&gt; to ~60% - both on all servers and hard disks.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; But now system load on 2 servers (which were in the good state)<br>
&gt;&gt;&gt; &gt;&gt; fluctuates between 60 and 100; the server with the formerly failed<br>
&gt;&gt;&gt; &gt;&gt; disk has a load of 20-30.I&#39;ve uploaded some munin graphics of the cpu<br>
&gt;&gt;&gt; &gt;&gt; usage:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; <a href="https://abload.de/img/gluster11_cpu31d3a.png" rel="noreferrer" target="_blank">https://abload.de/img/gluster11_cpu31d3a.png</a><br>
&gt;&gt;&gt; &gt;&gt; <a href="https://abload.de/img/gluster12_cpu8sem7.png" rel="noreferrer" target="_blank">https://abload.de/img/gluster12_cpu8sem7.png</a><br>
&gt;&gt;&gt; &gt;&gt; <a href="https://abload.de/img/gluster13_cpud7eni.png" rel="noreferrer" target="_blank">https://abload.de/img/gluster13_cpud7eni.png</a><br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; This can&#39;t be normal. 2 of the servers under heavy load and one not<br>
&gt;&gt;&gt; &gt;&gt; that much. Does anyone have an explanation of this strange behaviour?<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Thx :-)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; 2018-08-14 9:37 GMT+02:00 Hu Bert &lt;<a href="mailto:revirii@googlemail.com" target="_blank">revirii@googlemail.com</a>&gt;:<br>
&gt;&gt;&gt; &gt;&gt; &gt; Hi there,<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; well, it seems the heal has finally finished. Couldn&#39;t see/find any<br>
&gt;&gt;&gt; &gt;&gt; &gt; related log message; is there such a message in a specific log file?<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; But i see the same behaviour when the last heal finished: all CPU<br>
&gt;&gt;&gt; &gt;&gt; &gt; cores are consumed by brick processes; not only by the formerly<br>
&gt;&gt;&gt; &gt;&gt; &gt; failed<br>
&gt;&gt;&gt; &gt;&gt; &gt; bricksdd1, but by all 4 brick processes (and their threads). Load<br>
&gt;&gt;&gt; &gt;&gt; &gt; goes<br>
&gt;&gt;&gt; &gt;&gt; &gt; up to &gt; 100 on the 2 servers with the not-failed brick, and<br>
&gt;&gt;&gt; &gt;&gt; &gt; glustershd.log gets filled with a lot of entries. Load on the server<br>
&gt;&gt;&gt; &gt;&gt; &gt; with the then failed brick not that high, but still ~60.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Is this behaviour normal? Is there some post-heal after a heal has<br>
&gt;&gt;&gt; &gt;&gt; &gt; finished?<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; thx in advance :-)<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; --<br>
&gt;&gt;&gt; &gt; Pranith<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Pranith<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Pranith<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Pranith<br></div></div>