<div dir="ltr"><div>Hello folks,</div><div><br></div><div>This is a quick retrospective we (the Infra team) did for the Gerrit upgrade from 2 days ago.<br></div><div><br></div><div>## Went Well<br>* We had a full back up to fall back to. We had to fall back on this.<br>* We had a good 4h window so we had time to make mistakes and recover from them.<br>*
 We had a good number of tests that were part of our upgrade steps. This
 helped us catch a problem with the serviceuser plugin. We deleted the 
plugin to overcome this.<br clear="all"></div><div><br></div><div>## Went Badly</div>* This document did not capture that the serviceuser plugin also needs to be upgraded.<br>* We made a mistake where we started the upgrade in the backup rather than the main folder. We need to change our backup workflow so that this doesn&#39;t happen in the future. This is an incredibly easy mistake to make.<br>* Git clones did not work. This was not part of our testing.<br><div>* cgit shows no repos. This was also not part of our testing.</div><div><br></div><div>## Future Recommendations</div><div>* [DONE] Setup proper documentation for the Gerrit upgrade workflow.</div><div>* We need to ensure that the engineer doing the upgrade does a
 staging upgrade at least once or perhaps even twice to ensure the steps
 are absolutely accurate.</div><div>* Gerrit stage consumes our ansible playbooks, but the sooner we can switch master to this, the better. It catches problems we&#39;ve already solved in the past and automated away.<br></div><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">nigelb<br></div></div></div>