<div dir="ltr">Hi Michael<div><br></div><div>I think you are hitting a similar issue like this one <a href="https://github.com/gluster/glusterfs/issues/3066">https://github.com/gluster/glusterfs/issues/3066</a>.</div><div>If so, the fix for the same is under review and could be available in the next release.</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">--<br><span style="color:rgb(34,34,34)">Thanks and Regards,</span><div><font color="#222222"><b>NiKHIL LADHA</b></font><br></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Dec 27, 2021 at 6:25 PM Michael Böhm <<a href="mailto:dudleyperkins@gmail.com">dudleyperkins@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hey guys,<div><br></div><div>i have a problem upgrading our nodes from 8.3 to 10.0 - i just upgraded the first node and run into "the cksums mismatch" problem. On the upgraded v10 node the checksums for all volumes are different than on the other v8 nodes. That leads to the node starting in a peer rejected state. I can only resolve this by following the actions supposed here:</div><div><a href="https://staged-gluster-docs.readthedocs.io/en/release3.7.0beta1/Administrator%20Guide/Resolving%20Peer%20Rejected/" target="_blank">https://staged-gluster-docs.readthedocs.io/en/release3.7.0beta1/Administrator%20Guide/Resolving%20Peer%20Rejected/</a><br></div><div>(stopping glusterd, deleting /var/lib/glusterd/* (except <a href="http://glusterd.info" target="_blank">glusterd.info</a>), start glusterd, probe a v8 peer, restart glusterd again)</div><div><br></div><div>The cluster seems healthy again, self-healing is started and everything looks fine - only the newly created cksums are still different than on the other nodes. That means this healthy state only lasts till i reboot the node - where it all begins from the start - the nodes comes up as peer rejected.</div><div><br></div><div>Now i'v read about the problem here:</div><div><a href="https://github.com/gluster/glusterfs/issues/1332" target="_blank">https://github.com/gluster/glusterfs/issues/1332</a> (even though that describes the problem should only occur when upgrading from earlier than v7)<br></div><div>or also here on the mailing list:</div><div><a href="https://lists.gluster.org/pipermail/gluster-users/2021-November/039679.html" target="_blank">https://lists.gluster.org/pipermail/gluster-users/2021-November/039679.html</a> (i think i have the same problem, but unfortunately no solution given here)<br></div><div><br></div><div>Solutions seem to require upgrading all nodes and the problem should be resolved when finally upgrading op.version - but i dont' think this approach can be done online, and there's not really a way for me to do this offline.</div><div><br></div><div>Why is this happening now and not when i upgraded from pre7 to 7? All my nodes are 8.3 and op.version is 8000.</div><div><br></div><div>One thing i might have done "wrong" - as i upgraded to v8 i didn't set "gluster volume set <volname> fips-mode-rchecksum on" on the volumes, i think i just overlooked it in the docs. I have this option only set on 2 volumes i created after upgrading to v8. But even on those 2 the cksums differ, so i guess it wouldn' help alot if i set the option on all other volumes?</div><div><br></div><div>I really don't know what to do now, i kinda understand the problem but don't know why this is happening on a overall v8 cluster. I can't take all 9 nodes down, upgrade all to v10 and rely on "it's all good" with the final upgrade of op.version.</div><div><br></div><div>Can someone point me in a safe direction?</div><div><br></div><div>Regards</div><div><br></div><div>Mika</div><div><br></div><div><br></div></div>
________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div>