<div dir="ltr">Ah! Indeed! You need to perform an upgrade in the clients as well.<div><br></div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><br></div><div><div><p style="font-size:12.8px;margin:0px"></p><p style="font-size:12.8px;margin:0px"><br></p><p style="font-size:12.8px;margin:0px"><br></p></div></div><div><br></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em ter., 16 de jan. de 2024 às 03:12, Hu Bert <<a href="mailto:revirii@googlemail.com">revirii@googlemail.com</a>> escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">morning to those still reading :-)<br>
<br>
i found this: <a href="https://docs.gluster.org/en/main/Troubleshooting/troubleshooting-glusterd/#common-issues-and-how-to-resolve-them" rel="noreferrer" target="_blank">https://docs.gluster.org/en/main/Troubleshooting/troubleshooting-glusterd/#common-issues-and-how-to-resolve-them</a><br>
<br>
there's a paragraph about "peer rejected" with the same error message,<br>
telling me: "Update the cluster.op-version" - i had only updated the<br>
server nodes, but not the clients. So upgrading the cluster.op-version<br>
wasn't possible at this time. So... upgrading the clients to version<br>
11.1 and then the op-version should solve the problem?<br>
<br>
<br>
Thx,<br>
Hubert<br>
<br>
Am Mo., 15. Jan. 2024 um 09:16 Uhr schrieb Hu Bert <<a href="mailto:revirii@googlemail.com" target="_blank">revirii@googlemail.com</a>>:<br>
><br>
> Hi,<br>
> just upgraded some gluster servers from version 10.4 to version 11.1.<br>
> Debian bullseye & bookworm. When only installing the packages: good,<br>
> servers, volumes etc. work as expected.<br>
><br>
> But one needs to test if the systems work after a daemon and/or server<br>
> restart. Well, did a reboot, and after that the rebooted/restarted<br>
> system is "out". Log message from working node:<br>
><br>
> [2024-01-15 08:02:21.585694 +0000] I [MSGID: 106163]<br>
> [glusterd-handshake.c:1501:__glusterd_mgmt_hndsk_versions_ack]<br>
> 0-management: using the op-version 100000<br>
> [2024-01-15 08:02:21.589601 +0000] I [MSGID: 106490]<br>
> [glusterd-handler.c:2546:__glusterd_handle_incoming_friend_req]<br>
> 0-glusterd: Received probe from uuid:<br>
> b71401c3-512a-47cb-ac18-473c4ba7776e<br>
> [2024-01-15 08:02:23.608349 +0000] E [MSGID: 106010]<br>
> [glusterd-utils.c:3824:glusterd_compare_friend_volume] 0-management:<br>
> Version of Cksums sourceimages differ. local cksum = 2204642525,<br>
> remote cksum = 1931483801 on peer gluster190<br>
> [2024-01-15 08:02:23.608584 +0000] I [MSGID: 106493]<br>
> [glusterd-handler.c:3819:glusterd_xfer_friend_add_resp] 0-glusterd:<br>
> Responded to gluster190 (0), ret: 0, op_ret: -1<br>
> [2024-01-15 08:02:23.613553 +0000] I [MSGID: 106493]<br>
> [glusterd-rpc-ops.c:467:__glusterd_friend_add_cbk] 0-glusterd:<br>
> Received RJT from uuid: b71401c3-512a-47cb-ac18-473c4ba7776e, host:<br>
> gluster190, port: 0<br>
><br>
> peer status from rebooted node:<br>
><br>
> root@gluster190 ~ # gluster peer status<br>
> Number of Peers: 2<br>
><br>
> Hostname: gluster189<br>
> Uuid: 50dc8288-aa49-4ea8-9c6c-9a9a926c67a7<br>
> State: Peer Rejected (Connected)<br>
><br>
> Hostname: gluster188<br>
> Uuid: e15a33fe-e2f7-47cf-ac53-a3b34136555d<br>
> State: Peer Rejected (Connected)<br>
><br>
> So the rebooted gluster190 is not accepted anymore. And thus does not<br>
> appear in "gluster volume status". I then followed this guide:<br>
><br>
> <a href="https://gluster-documentations.readthedocs.io/en/latest/Administrator%20Guide/Resolving%20Peer%20Rejected/" rel="noreferrer" target="_blank">https://gluster-documentations.readthedocs.io/en/latest/Administrator%20Guide/Resolving%20Peer%20Rejected/</a><br>
><br>
> Remove everything under /var/lib/glusterd/ (except <a href="http://glusterd.info" rel="noreferrer" target="_blank">glusterd.info</a>) and<br>
> restart glusterd service etc. Data get copied from other nodes,<br>
> 'gluster peer status' is ok again - but the volume info is missing,<br>
> /var/lib/glusterd/vols is empty. When syncing this dir from another<br>
> node, the volume then is available again, heals start etc.<br>
><br>
> Well, and just to be sure that everything's working as it should,<br>
> rebooted that node again - the rebooted node is kicked out again, and<br>
> you have to restart bringing it back again.<br>
><br>
> Sry, but did i miss anything? Has someone experienced similar<br>
> problems? I'll probably downgrade to 10.4 again, that version was<br>
> working...<br>
><br>
><br>
> Thx,<br>
> Hubert<br>
________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" rel="noreferrer" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div>