<div dir="ltr">Hi Nikhil<div><br></div><div>thanks for your reply</div><div><br></div><div>I can see that on the upgraded node the vols contents are different. e.g.</div><div>Node 1 (Gluster 10) cksum: info=3275244163</div><div>Node 2 (Gluster 9.3) cksum: info=1131983081</div><div>Node 3 (Gluster 9.3) cksum: info=1131983081<br></div><div><br></div><div>Comparing the checksums of the single files, I can see the following are different in the volumes (apart from the brick info, which I suppose should be different even on the same release):</div><div>/var/lib/glusterd/vols/VM_Storage_2/info<br></div><div>/var/lib/glusterd/vols/VM_Storage_2/cksum<br></div><div><div>/var/lib/glusterd/vols/VM_Storage_1/info<br></div><div>/var/lib/glusterd/vols/VM_Storage_1/cksum<br></div><div><br></div><div>I have also tried in a brand new cluster (just to be sure) with the same results (i.e. peer rejected between the upgraded node and the other two on the 9.x release)</div><div><br></div><div>Upgrading the other two nodes still does not resolve the issue on the first node -- even if I bring it offline, delete the contents of the /var/lib/glusterd directory, probe one of the other nodes and restart the affected node.</div><div><br></div></div><div>Regards,<br>Marco</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 19 Nov 2021 at 05:26, Nikhil Ladha <<a href="mailto:nladha@redhat.com" target="_blank">nladha@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Marco<div><br></div><div>The checksum difference refers to the difference in the contents of the `var/lib/glusterd` directory. Maybe you can compare the contents and see if there are any differences from gluster-9 to gluster-10?<br>Also, even if you find a difference please do save that, and then upgrade one more node to gluster-10 and see if they(the 2 upgraded nodes) are back in a `connected` state or not (considering this is your test env).<br><br clear="all"><div><div dir="ltr"><div dir="ltr">--<br><span style="color:rgb(34,34,34)">Thanks and Regards,</span><div><font color="#222222"><b>NiKHIL LADHA</b></font><br></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Nov 19, 2021 at 4:07 AM Marco Fais <<a href="mailto:evilmf@gmail.com" target="_blank">evilmf@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>is the online upgrade from 9.x to 10.0 supported?</div><div><br></div><div>I am experimenting with it in our test cluster and following the procedure I always end up with the upgraded node having the peers in the "peer rejected" status.</div><div><br></div><div>In upgraded node logs I can see:</div><div><font face="monospace">[2021-11-18 22:21:43.752585 +0000] E [MSGID: 106010] [glusterd-utils.c:3827:glusterd_compare_friend_volume] 0-management: Version of Cksums Backup_Storage differ. local cksum = 2467304182, remote cksum = 998029999 on peer ovirt-node3<br>-storage <br>[2021-11-18 22:21:43.752743 +0000] I [MSGID: 106493] [glusterd-handler.c:3821:glusterd_xfer_friend_add_resp] 0-glusterd: Responded to ovirt-node3-storage (0), ret: 0, op_ret: -1 <br></font></div><div><br></div><div>And in one of the peers I have similar messages:</div><div><font face="monospace">[2021-11-18 22:21:43.744106 +0000] E [MSGID: 106010] [glusterd-utils.c:3844:glusterd_compare_friend_volume] 0-management: Version of Cksums Backup_Storage differ. local cksum = 998029999, remote cksum = 2467304182 on peer 192.168.30.1 <br>[2021-11-18 22:21:43.744233 +0000] I [MSGID: 106493] [glusterd-handler.c:3893:glusterd_xfer_friend_add_resp] 0-glusterd: Responded to 192.168.30.1 (0), ret: 0, op_ret: -1 <br>[2021-11-18 22:21:43.756298 +0000] I [MSGID: 106493] [glusterd-rpc-ops.c:474:__glusterd_friend_add_cbk] 0-glusterd: Received RJT from uuid: acb80b35-d6ac-4085-87cd-ba69ff3f81e6, host: 192.168.30.1, port: 0</font> <br></div><div><br></div><div>(I have tried with gluster v Backup_Storage heal as per instructions).</div><div><br></div><div>Trying to restart the upgraded glusterd node doesn't help. I have also tried to clean up /var/lib/glusterd without success.</div><div><br></div><div>Am I missing something?</div><div><br></div><div>Downgrading again to 9.3 works again. All my volumes are distributrd_replicate and the cluster is composed by 3 nodes.</div><div><br></div><div>Thanks,<br>Marco</div></div>
________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div>
</blockquote></div>