I would install gluster v6 on the 3rd node, join it and wait for the heal to finish (don't forget to trigger full heal).<div><br></div><div>Once you have a replica 3, upgrade one of the nodes and follow a rolling update approach.</div><div><br></div><div>Keep in mind that you have to check the release notes as some options were deprecated.</div><div><br></div><div>I would go 6-> 7-> 8 -> 9 -> 10 as this is the most tested scenario but reading the release notes can help you identify which versions you can skip.</div><div><br></div><div>According to https://docs.gluster.org/en/main/Upgrade-Guide/upgrade-to-9/ upgrade from 6.Latest to 9.x should be possible but without debug logs , it's hard to understand why it happened.</div><div><br></div><div><br> Best Regards,</div><div>Strahil Nikolov</div><div><br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Wed, May 25, 2022 at 9:58, Stefan Kania</div><div><stefan@kania-online.de> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">Hello,<br></div><div dir="ltr"><br></div><div dir="ltr">we have a gluster volume (replica 3). We removed one node and detached<br></div><div dir="ltr">the peer, running gluster6 on ubuntu 18.04.<br></div><div dir="ltr">gluster v remove-brick gv1 replica 2 c3:/gluster/brick  force<br></div><div dir="ltr">gluster peer detach c3<br></div><div dir="ltr"><br></div><div dir="ltr">We installed ubuntu 20.04 and gluster9<br></div><div dir="ltr">We than had a volume with two nodes up ad running. We replaced the HDs<br></div><div dir="ltr">with SSDs reformated the disk with xfs. Then we did a<br></div><div dir="ltr">gluster peer probe c3<br></div><div dir="ltr"><br></div><div dir="ltr">to add the brick, that works "gluster peer status" and "gluster pool<br></div><div dir="ltr">list" is showing the brick. Trying to add the brick with:<br></div><div dir="ltr">gluster v add-brick gv1 replica 3 c3:/gluster/brick<br></div><div dir="ltr"><br></div><div dir="ltr">gives us the following error:<br></div><div dir="ltr">volume add-brick: failed: Pre Validation failed on c3. Please check log<br></div><div dir="ltr">file for details.<br></div><div dir="ltr"><br></div><div dir="ltr">But we only found the same errormesage in the log. Then we checked the<br></div><div dir="ltr">status of the volume and got:<br></div><div dir="ltr"><br></div><div dir="ltr">gluster v status gv1<br></div><div dir="ltr">Staging failed on c3. Error: Volume gv1 does not exist<br></div><div dir="ltr"><br></div><div dir="ltr">So the volume crashes. A "gluster v info" is showing:<br></div><div dir="ltr"><a ymailto="mailto:root@fs002010" href="mailto:root@fs002010">root@fs002010</a>:~# gluster v info<br></div><div dir="ltr"><br></div><div dir="ltr">Volume Name: gv1<br></div><div dir="ltr">Type: Replicate<br></div><div dir="ltr">Volume ID: b93f1432-083b-42c1-870a-1e9faebc4a7d<br></div><div dir="ltr">Status: Started<br></div><div dir="ltr">Snapshot Count: 0<br></div><div dir="ltr">Number of Bricks: 1 x 2 = 2<br></div><div dir="ltr">Transport-type: tcp<br></div><div dir="ltr">Bricks:<br></div><div dir="ltr">Brick1: c1:/gluster/brick<br></div><div dir="ltr">Brick2: c2:/gluster/brick<br></div><div dir="ltr">Options Reconfigured:<br></div><div dir="ltr">nfs.disable: on<br></div><div dir="ltr"><br></div><div dir="ltr">As soon as we detach c3 the volume status is OK, without restarting glusterd<br></div><div dir="ltr"><br></div><div dir="ltr">What might be the problem? Adding gluster9 to a gluster6 volume? The<br></div><div dir="ltr">name resolution is using /etc/hosts so all 3 hosts in all 3 /etc/hosts<br></div><div dir="ltr">file and can be reached via ping.<br></div><div dir="ltr"><br></div><div dir="ltr">Any help?<br></div><div dir="ltr"><br></div><div dir="ltr">Stefan<br></div><div dir="ltr"><br></div>________<br><br><br><br>Community Meeting Calendar:<br><br>Schedule -<br>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br>Gluster-users mailing list<br><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br> </div> </blockquote></div>