<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Looks like after reverting a patch on RPC layer reconnection logic (<a href="https://review.gluster.org/22750">https://review.gluster.org/22750</a>) things are back to normal. </div><div dir="ltr"><br></div><div>For those who submitted a patch in last 1 week, please resubmit. (which should take care of rebasing on top of this patch).</div><div><br></div>This event proves that there are very delicate races in our RPC layer, which can trigger random failures. While it was discussed in brief earlier. We need to debug this further, and come up with possible next actions. Volunteers welcome.</div><div dir="ltr"><br></div><div>I recommend to use <a href="https://github.com/gluster/glusterfs/issues/391">https://github.com/gluster/glusterfs/issues/391</a> to capture our observations, and continue on github from here.</div><div><br></div><div>-Amar</div><div dir="ltr"><br></div><div dir="ltr"><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 15, 2019 at 11:46 AM Sankarshan Mukhopadhyay &lt;<a href="mailto:sankarshan.mukhopadhyay@gmail.com">sankarshan.mukhopadhyay@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, May 15, 2019 at 11:24 AM Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; There&#39;re random tests which are timing out after 200 secs. My belief is this is a major regression introduced by some commit recently or the builders have become extremely slow which I highly doubt. I&#39;d request that we first figure out the cause, get master back to it&#39;s proper health and then get back to the review/merge queue.<br>
&gt;<br>
<br>
For such dire situations, we also need to consider a proposal to back<br>
out patches in order to keep the master healthy. The outcome we seek<br>
is a healthy master - the isolation of the cause allows us to not<br>
repeat the same offense.<br>
<br>
&gt; Sanju has already started looking into /tests/bugs/glusterd/optimized-basic-testcases-in-cluster.t to understand what test is specifically hanging and consuming more time.<br>
_______________________________________________<br>
Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;, Sankarshan Mukhopadhyay &lt;<a href="mailto:sankarshan.mukhopadhyay@gmail.com">sankarshan.mukhopadhyay@gmail.com</a>&gt;<br>
Community Meeting Calendar:<br>
<br>
APAC Schedule -<a href="https://review.gluster.org/22750">https://review.gluster.org/22750</a><br>
Every 2nd and 4th Tuesday at 11:30 AM IST<br>
Bridge: <a href="https://bluejeans.com/836554017" rel="noreferrer" target="_blank">https://bluejeans.com/836554017</a><br>
<br>
NA/EMEA Schedule -<br>
Every 1st and 3rd Tuesday at 01:00 PM EDT<br>
Bridge: <a href="https://bluejeans.com/486278655" rel="noreferrer" target="_blank">https://bluejeans.com/486278655</a><br>
<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@gluster.org" target="_blank">Gluster-devel@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-devel" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-devel</a><br>
<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Amar Tumballi (amarts)<br></div></div></div></div></div></div></div></div></div></div>