<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Mon, Jul 2, 2018 at 4:59 AM Nigel Babu &lt;<a href="mailto:nigelb@redhat.com">nigelb@redhat.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hello folks,</div><div><br></div><div>Deepshikha is working on getting the distributed-regression testing into production. This is a good time to discuss how we log our regression. We tend to go with the approach of &quot;get as many logs as possible&quot; and then we try to make sense of it when it something fails.</div><div><br></div><div>In a setup where we distribute the tests to 10 machines, that means fetching runs from 10 machines and trying to make sense of it. Granted, the number of files will most likely remain the same since a successful test is only run once, but a failed test is re-attempted two more times on different machines. So we will now have duplicates.</div><div><br></div><div>I have a couple of suggestions and I&#39;d like to see what people think.</div><div>1. We stop doing tar of tars to do the logs and just tar the /var/log/glusterfs folder at the end of the run. That will probably achieve better compression.<br></div><div>2. We could stream the logs to a service like ELK that we host. This means that no more tarballs. It also lets us test any logging improvements we plan to make for Gluster in one place.</div><div>2. I&#39;ve been looking at Citellus[1] to write parsers that help us identify critical problems. This could be a way for us to build a repo of parsers that can identify common gluster issues.<br></div><div><br></div><div>Perhaps our solution would be a mix of all 2 and 3. Ideally, I&#39;d like us to avoid archiving tarballs to debug regression issues in the future.<br></div><div><br><br></div></div></blockquote><div><br></div><div>A combination of 2 and 3 sounds good to me.</div><div><br></div><div>If we could dogfood gluster somewhere in this setup (storage backend for Elastic?), it would be even more awesome! :)</div><div><br></div><div>Thanks,</div><div>Vijay</div></div></div>