<font size=2 face="sans-serif">Hi Raghavendra,</font>
<br>
<br><font size=2 face="sans-serif">Could you please have look my issue
If you have time.</font>
<br><font size=2 face="sans-serif">Thanks in advance.</font>
<br>
<br><font size=2 face="sans-serif">BR</font>
<br><font size=2 face="sans-serif">Salam</font>
<br>
<br>
<br>
<br><font size=1 color=#5f5f5f face="sans-serif">From: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">Shaik Salam &lt;shaik.salam@tcs.com&gt;</font>
<br><font size=1 color=#5f5f5f face="sans-serif">To: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">rtalur@redhat.com</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Cc: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">&quot;gluster-users@gluster.org
List&quot; &lt;gluster-users@gluster.org&gt;, John Mulligan &lt;jmulliga@redhat.com&gt;,
Michael Adam &lt;madam@redhat.com&gt;</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Date: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">01/28/2019 12:42 PM</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Subject: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">Re: [Gluster-users]
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Sent by: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">gluster-users-bounces@gluster.org</font>
<br>
<hr noshade>
<br>
<br>
<br><font size=2 color=#ff8141><b>&quot;External email. Open with Caution&quot;</b></font>
<br><font size=2 color=#2f2f2f face="Segoe UI">&nbsp;</font><font size=3>
</font>
<p><font size=2 color=#2f2f2f face="Segoe UI">Hi Raghavendra,</font><font size=3>
</font>
<p><font size=2 color=#2f2f2f face="Segoe UI">We are also facing following
issue which is mentioned in case on openshift origin while we are creating
pvc for pods.</font><font size=3> </font><font size=2 color=#2f2f2f face="Segoe UI">&nbsp;(Please
provide workaround to move further (pod restart doesn't workout)</font><font size=3>
</font>
<p><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1630117"><font size=2 color=blue face="Segoe UI"><u>https://bugzilla.redhat.com/show_bug.cgi?id=1630117</u></font></a><font size=3>
</font>
<p><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1636912"><font size=2 color=blue face="Segoe UI"><u>https://bugzilla.redhat.com/show_bug.cgi?id=1636912</u></font></a><font size=2 color=#2f2f2f face="Segoe UI"><br>
<br>
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: create volume err: error creating volume<br>
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: create volume err: error creating volume Server busy. Retry
operation later..</font><font size=3> </font>
<p><font size=2 color=#2f2f2f face="Segoe UI">at a time to create only
one volume when in-flight operations are zero. Once volume requested it
reaches to 8.</font><font size=3> </font>
<p><font size=2 color=#2f2f2f face="Segoe UI">Now single volume not able
to create and we are till now mostly 10 volumes are created.<br>
<br>
Please find heketidb dump and log</font><font size=3> </font>
<p><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 98.699µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 106.654µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 185.406µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 102.664µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 192.658µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 198.611µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 124.254µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 101.491µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 116.997µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 100.171µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 109.238µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/28 06:50:57 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 191.118µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 188.791µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 94.436µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 110.893µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 112.132µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 96.15µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 112.682µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 140.543µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 182.066µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /queue/2604dd5965445711a4b6bc28592cb0f6</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 151.572µs</font><font size=3> <br>
</font><font size=2 face="sans-serif"><br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> <br>
<br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Shaik
Salam/HYD/TCS</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;John
Mulligan&quot; &lt;jmulliga@redhat.com&gt;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;gluster-users@gluster.org
List&quot; &lt;gluster-users@gluster.org&gt;, &quot;Michael Adam&quot;
&lt;madam@redhat.com&gt;, Madhu Rajanna &lt;mrajanna@redhat.com&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/25/2019
04:03 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
[Gluster-users] Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=3><br>
</font><font size=2 face="sans-serif"><br>
Hi John,</font><font size=3> <br>
</font><font size=2 face="sans-serif"><br>
Could you please have look my issue If you have time (atleast provide workaround).</font><font size=3>
</font><font size=2 face="sans-serif"><br>
Thanks in advance.</font><font size=3> <br>
</font><font size=2 face="sans-serif"><br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> <br>
<br>
<br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Shaik
Salam&quot; &lt;shaik.salam@tcs.com&gt;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;gluster-users@gluster.org
List&quot; &lt;gluster-users@gluster.org&gt;, &quot;Michael Adam&quot;
&lt;madam@redhat.com&gt;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/25/2019
02:55 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
[Gluster-users] Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Sent by: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">gluster-users-bounces@gluster.org</font><font size=3>
<br>
</font>
<hr noshade><font size=3><br>
<br>
</font><font size=2 color=#ff8141><b><br>
&quot;External email. Open with Caution&quot;</b></font><font size=3> </font><font size=2 face="sans-serif"><br>
Hi John,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Please find db dump and heketi log. Here kernel version. Please let me
know If you need more information.</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
[root@app2 ~]# uname -a</font><font size=3> </font><font size=2 face="sans-serif"><br>
Linux app2.matrix.nokia.com 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41
UTC 2016 x86_64 x86_64 x86_64 GNU/Linux</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Hardware: HP GEN8</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
OS; NAME=&quot;CentOS Linux&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
VERSION=&quot;7 (Core)&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
ID=&quot;centos&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
ID_LIKE=&quot;rhel fedora&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
VERSION_ID=&quot;7&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
PRETTY_NAME=&quot;CentOS Linux 7 (Core)&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
ANSI_COLOR=&quot;0;31&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
CPE_NAME=&quot;cpe:/o:centos:centos:7&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
HOME_URL=&quot;</font><a href=https://www.centos.org/><font size=2 color=blue face="sans-serif"><u>https://www.centos.org/</u></font></a><font size=2 face="sans-serif">&quot;</font><font size=3>
</font><font size=2 face="sans-serif"><br>
BUG_REPORT_URL=&quot;</font><a href=https://bugs.centos.org/><font size=2 color=blue face="sans-serif"><u>https://bugs.centos.org/</u></font></a><font size=2 face="sans-serif">&quot;</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
CENTOS_MANTISBT_PROJECT=&quot;CentOS-7&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
CENTOS_MANTISBT_PROJECT_VERSION=&quot;7&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
REDHAT_SUPPORT_PRODUCT=&quot;centos&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
REDHAT_SUPPORT_PRODUCT_VERSION=&quot;7&quot;</font><font size=3> </font><font size=2 face="sans-serif"><br>
</font><font size=3><br>
 <br>
<br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Madhu
Rajanna&quot; &lt;mrajanna@redhat.com&gt;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Shaik
Salam&quot; &lt;shaik.salam@tcs.com&gt;, &quot;John Mulligan&quot; &lt;jmulliga@redhat.com&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;gluster-users@gluster.org
List&quot; &lt;gluster-users@gluster.org&gt;, &quot;Michael Adam&quot;
&lt;madam@redhat.com&gt;</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
10:52 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=3><br>
</font><font size=2 color=#ff8141><b><br>
<br>
&quot;External email. Open with Caution&quot;</b></font><font size=3> <br>
Adding John who is having more idea about how to debug this one. </font><font size=3 color=blue><u><br>
<br>
</u></font><a href=mailto:shaik.salam@tcs.com><font size=3 color=blue><u>@Shaik
Salam</u></font></a><font size=3> can you some more info on the hardware
on which you are running heketi (kernel details) <br>
<br>
On Thu, Jan 24, 2019 at 7:42 PM Shaik Salam &lt;</font><a href=mailto:shaik.salam@tcs.com><font size=3 color=blue><u>shaik.salam@tcs.com</u></font></a><font size=3>&gt;
wrote: </font><font size=2 face="sans-serif"><br>
Hi Madhu,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Sorry to disturb could you please provide atleast work around (to clear
requests which stuck) to move further.</font><font size=3> </font><font size=2 face="sans-serif"><br>
We are also not able to find root cause from glusterd logs. Please find
attachment.</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
 </font><font size=3><br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Shaik
Salam/HYD/TCS</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Madhu
Rajanna&quot; &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Michael Adam&quot; &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
04:12 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=2 face="sans-serif"><br>
<br>
Hi Madhu,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Please let me know If any other information required.</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> <br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Shaik
Salam/HYD/TCS</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Madhu
Rajanna&quot; &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Michael Adam&quot; &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
03:23 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=2 face="sans-serif"><br>
<br>
Hi Madhu,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
This is complete one after restart of heketi pod and process log.</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
[attachment &quot;heketi-pod-complete.log&quot; deleted by Shaik Salam/HYD/TCS]
&nbsp;[attachment &quot;ps-aux.txt&quot; deleted by Shaik Salam/HYD/TCS]
</font><font size=3><br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Madhu
Rajanna&quot; &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Shaik
Salam&quot; &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=1 color=blue face="sans-serif"><u>shaik.salam@tcs.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Michael Adam&quot; &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
01:55 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=2 color=#ff8141><b><br>
<br>
<br>
&quot;External email. Open with Caution&quot;</b></font><font size=3> <br>
the logs you provided is not complete, not able to figure out which command
is struck, can you reattach the complete output of `ps aux` and also attach
complete heketi logs. &nbsp;<br>
<br>
On Thu, Jan 24, 2019 at 1:41 PM Shaik Salam &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=3 color=blue><u>shaik.salam@tcs.com</u></font></a><font size=3>&gt;
wrote: </font><font size=2 face="sans-serif"><br>
Hi Madhu,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Please find requested info.</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> </font><font size=2 face="sans-serif"><br>
</font><font size=3><br>
 </font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Madhu
Rajanna &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Shaik
Salam &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=1 color=blue face="sans-serif"><u>shaik.salam@tcs.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;,
Michael Adam &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
01:33 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=2 color=#ff8141><b><br>
<br>
<br>
&quot;External email. Open with Caution&quot;</b></font><font size=3> <br>
the heketi logs you have attached is not complete i believe, can you povide
&nbsp;the complete heketi logs <br>
and also an we get the output of &quot;ps aux&quot; from the gluster pods
? I want to see if any lvm commands or gluster commands are &quot;stuck&quot;.
<br>
<br>
<br>
On Thu, Jan 24, 2019 at 1:16 PM Shaik Salam &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=3 color=blue><u>shaik.salam@tcs.com</u></font></a><font size=3>&gt;
wrote: </font><font size=2 face="sans-serif"><br>
Hi Madhu.</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
I tried lot of times restarted heketi pod but not resolved.</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
sh-4.4# heketi-cli server operations info</font><font size=3> </font><font size=2 face="sans-serif"><br>
Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Now you can see all operations are zero. Now I try to create single volume
below is observation in-flight reaching slowly to 8.</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
sh-4.4# heketi-cli server operations infoCLI_SERVER=</font><a href=http://localhost:8080/ target=_blank><font size=2 color=blue face="sans-serif"><u>http://localhost:8080</u></font></a><font size=2 face="sans-serif">
; export HEKETI_CLI_USE &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 6</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
sh-4.4# heketi-cli server operations info</font><font size=3> </font><font size=2 face="sans-serif"><br>
Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 7</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
sh-4.4# heketi-cli server operations info</font><font size=3> </font><font size=2 face="sans-serif"><br>
Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 7</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
sh-4.4# heketi-cli server operations info</font><font size=3> </font><font size=2 face="sans-serif"><br>
Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 7</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
sh-4.4# heketi-cli server operations info</font><font size=3> </font><font size=2 face="sans-serif"><br>
Operation Counts:</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Total: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 In-Flight: 7</font><font size=3> </font><font size=2 face="sans-serif"><br>
 New: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
 Stale: 0</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
[negroni] Completed 200 OK in 186.286µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 166.294µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 186.411µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 179.796µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 131.108µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 111.392µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 265.023µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 179.364µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 295.058µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started GET /operations</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 200 OK in 146.857µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/24 07:43:36 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 403.166µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/24 07:43:51 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 193.554µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
<br>
But for pod volume is not creating.</font><font size=3> </font>
<table width=1077 style="border-collapse:collapse;">
<tr height=8>
<td width=62 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>1:15:36
PM</font><font size=3> </font>
<td width=48 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;">
<div align=center><font size=2 color=#2f2f2f>Warning</font></div>
<td width=106 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>Provisioning
failed </font><font size=3>&nbsp; </font>
<td width=848 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>Failed
to provision volume with StorageClass &quot;glusterfs-storage&quot;: glusterfs:
create volume err: error creating volume Server busy. Retry operation later..</font><font size=3>
</font><font size=1 color=#a2a2a2><br>
9 times in the last 2 minutes</font><font size=3> </font>
<tr height=8>
<td width=62 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>1:13:21
PM</font><font size=3> </font>
<td width=48 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;">
<div align=center><font size=2 color=#2f2f2f>Warning</font></div>
<td width=106 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>Provisioning
failed </font><font size=3>&nbsp; </font>
<td width=848 bgcolor=white style="border-style:solid solid solid solid;border-color:#D1D1D1;border-width:1px 1px 1px 1px;padding:1px 1px;"><font size=2 color=#2f2f2f>Failed
to provision volume with StorageClass &quot;glusterfs-storage&quot;: glusterfs:
create volume err: error creating volume .</font><font size=3> </font><font size=1 color=#a2a2a2><br>
8 times in the last </font></table>
<br><font size=3><br>
<br>
<br>
<br>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Madhu
Rajanna&quot; &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;Shaik
Salam&quot; &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=1 color=blue face="sans-serif"><u>shaik.salam@tcs.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Michael Adam&quot; &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
12:51 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: server busy</font><font size=3> <br>
</font>
<hr noshade><font size=2 color=#ff8141><b><br>
<br>
<br>
&quot;External email. Open with Caution&quot;</b></font><font size=3> <br>
HI Shaik, <br>
<br>
 &nbsp;can you provide me the outpout of </font><font size=3 color=red>$heketi-cli
server operations info</font><font size=3> from heketi pod </font>
<p><tt><font size=3>as a workround you can try restarting the heketi pod.
This will cause the current &nbsp;operations to go stale, but other pending
pvcs may go to Bound state</font></tt><font size=3> </font>
<p><tt><font size=3>Regards,</font></tt><font size=3> </font>
<p><tt><font size=3>Madhu R</font></tt><font size=3> <br>
<br>
On Thu, Jan 24, 2019 at 12:36 PM Shaik Salam &lt;</font><a href=mailto:shaik.salam@tcs.com target=_blank><font size=3 color=blue><u>shaik.salam@tcs.com</u></font></a><font size=3>&gt;
wrote: </font><font size=2 face="sans-serif"><br>
H Madhu,</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
Could you please have look my issue If you have time (atleast workaround).</font><font size=3>
</font><font size=2 face="sans-serif"><br>
I am unable to send mail to &quot;J</font><font size=1 face="sans-serif">ohn
Mulligan&quot; &lt;</font><a href=mailto:John_Mulligan@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>John_Mulligan@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=2 face="sans-serif">&quot;
who is currently handling issue</font><font size=3> </font><font size=3 color=blue><u><br>
</u></font><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1636912" target=_blank><font size=2 color=blue face="sans-serif"><u>https://bugzilla.redhat.com/show_bug.cgi?id=1636912</u></font></a><font size=3>
</font><font size=2 face="sans-serif"><br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
<br>
<br>
From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Shaik
Salam/HYD/TCS</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;John
Mulligan&quot; &lt;</font><a href=mailto:John_Mulligan@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>John_Mulligan@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Michael Adam&quot; &lt;</font><a href=mailto:madam@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>madam@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;,
&quot;Madhu Rajanna&quot; &lt;</font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=blue face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">
List&quot; &lt;</font><a href="mailto:gluster-users@gluster.org" target=_blank><font size=1 color=blue face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size=1 face="sans-serif">&gt;</font><font size=3>
</font><font size=1 color=#5f5f5f face="sans-serif"><br>
Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/24/2019
12:21 PM</font><font size=3> </font><font size=1 color=#5f5f5f face="sans-serif"><br>
Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Failed
to provision volume with StorageClass &quot;glusterfs-storage&quot;: glusterfs:
server busy</font><font size=3> </font>
<p>
<hr noshade><font size=2 face="sans-serif"><br>
</font><font size=3><br>
 </font><font size=2 face="sans-serif"><br>
<br>
Hi All,</font><font size=3> </font><font size=2 color=#2f2f2f face="Segoe UI"><br>
<br>
We are facing also following issue on openshift origin while we are creating
pvc for pods.</font><font size=3> </font><font size=2 color=#2f2f2f face="Segoe UI">&nbsp;(atlease
provide workaround to move further)</font><font size=3> </font><font size=2 color=#2f2f2f face="Segoe UI"><br>
<br>
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: create volume err: error creating volume<br>
Failed to provision volume with StorageClass &quot;glusterfs-storage&quot;:
glusterfs: create volume err: error creating volume Server busy. Retry
operation later..</font><font size=3> </font><font size=2 color=#2f2f2f face="Segoe UI"><br>
<br>
Please find heketidb dump and log</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
[negroni] Completed 429 Too Many Requests in 250.763µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:07:49 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 169.08µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started DELETE /volumes/520bc5f4e1bfd029855a72f9ca7ebf6c</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 404 Not Found in 148.125µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:04 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 496.624µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:04 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 101.673µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:19 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 209.681µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:19 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 103.595µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:34 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 297.594µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:34 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 96.75µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:49 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 477.007µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:08:49 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 165.38µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:09:04 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 488.253µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:09:04 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 171.836µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:09:19 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 208.59µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
[heketi] WARNING 2019/01/23 12:09:19 operations in-flight (8) exceeds limit
(8)</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Completed 429 Too Many Requests in 125.141µs</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Started DELETE /volumes/99e87ecd0a816ac34ae5a04eabc1d606</font><font size=3>
</font><font size=2 face="sans-serif"><br>
[negroni] Completed 404 Not Found in 138.687µs</font><font size=3> </font><font size=2 face="sans-serif"><br>
[negroni] Started POST /volumes</font><font size=3> </font><font size=2 face="sans-serif"><br>
<br>
<br>
BR</font><font size=3> </font><font size=2 face="sans-serif"><br>
Salam</font><font size=3> <br>
=====-----=====-----=====<br>
Notice: The information contained in this e-mail<br>
message and/or attachments to it may contain <br>
confidential or privileged information. If you are <br>
not the intended recipient, any dissemination, use, <br>
review, distribution, printing or copying of the <br>
information contained in this e-mail message <br>
and/or attachments to it are strictly prohibited. If <br>
you have received this communication in error, <br>
please notify us by reply e-mail or telephone and <br>
immediately and permanently delete the message <br>
and any attachments. Thank you </font>
<p><font size=3><br>
<br>
-- <br>
Madhu Rajanna <br>
Software Engineer </font><font size=3 color=blue><u><br>
</u></font><a href=https://www.redhat.com/ target=_blank><font size=1 color=#0082bf face="sans-serif"><u>Red
Hat Bangalore, India</u></font></a><font size=3> </font><font size=3 color=blue><u><br>
</u></font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=#0082bf face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 color=#a2a2a2>
&nbsp; &nbsp;M: +91-9741133155 &nbsp; &nbsp; </font>
<p><a href=https://red.ht/sig target=_blank></a>
<p><font size=3><br>
<br>
-- <br>
Madhu Rajanna <br>
Software Engineer </font><font size=3 color=blue><u><br>
</u></font><a href=https://www.redhat.com/ target=_blank><font size=1 color=#0082bf face="sans-serif"><u>Red
Hat Bangalore, India</u></font></a><font size=3> </font><font size=3 color=blue><u><br>
</u></font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=#0082bf face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 color=#a2a2a2>
&nbsp; &nbsp;M: +91-9741133155 &nbsp; &nbsp; </font>
<p><a href=https://red.ht/sig target=_blank></a>
<p><font size=3><br>
<br>
-- <br>
Madhu Rajanna <br>
Software Engineer </font><font size=3 color=blue><u><br>
</u></font><a href=https://www.redhat.com/ target=_blank><font size=1 color=#0082bf face="sans-serif"><u>Red
Hat Bangalore, India</u></font></a><font size=3> </font><font size=3 color=blue><u><br>
</u></font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=#0082bf face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 color=#a2a2a2>
&nbsp; &nbsp;M: +91-9741133155 &nbsp; &nbsp; </font>
<p><a href=https://red.ht/sig target=_blank></a>
<p><font size=3><br>
<br>
-- <br>
Madhu Rajanna <br>
Software Engineer </font><font size=3 color=blue><u><br>
</u></font><a href=https://www.redhat.com/ target=_blank><font size=1 color=#0082bf face="sans-serif"><u>Red
Hat Bangalore, India</u></font></a><font size=3> </font><font size=3 color=blue><u><br>
</u></font><a href=mailto:mrajanna@redhat.com target=_blank><font size=1 color=#0082bf face="sans-serif"><u>mrajanna@redhat.com</u></font></a><font size=1 color=#a2a2a2>
&nbsp; &nbsp;M: +91-9741133155 &nbsp; &nbsp; </font>
<p><a href=https://red.ht/sig target=_blank></a><font size=1 face="sans-serif">[attachment
&quot;heketi-complete.log.txt&quot; deleted by Shaik Salam/HYD/TCS] [attachment
&quot;heketi-gluster.db.txt&quot; deleted by Shaik Salam/HYD/TCS] </font><tt><font size=2>_______________________________________________<br>
Gluster-users mailing list<br>
Gluster-users@gluster.org</font></tt><font size=3 color=blue><u><br>
</u></font><a href="https://lists.gluster.org/mailman/listinfo/gluster-users"><tt><font size=2 color=blue><u>https://lists.gluster.org/mailman/listinfo/gluster-users</u></font></tt></a><font size=3>
[attachment &quot;heketi-complete.log&quot; deleted by Shaik Salam/HYD/TCS]
[attachment &quot;heketi-dump.db&quot; deleted by Shaik Salam/HYD/TCS]
</font><tt><font size=2>_______________________________________________<br>
Gluster-users mailing list<br>
Gluster-users@gluster.org<br>
</font></tt><a href="https://lists.gluster.org/mailman/listinfo/gluster-users"><tt><font size=2>https://lists.gluster.org/mailman/listinfo/gluster-users</font></tt></a>
<p>