<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">Looks like setup issue to me. Copying SSH keys manually is not required.&nbsp;<div class=""><br class=""></div><div class="">Command prefix is required while adding to authorized_keys file in each remote nodes. That will not be available if ssh keys are added manually.</div><div class=""><br class=""></div><div class="">Geo-rep specifies /nonexisting/gsyncd in the command to make sure it connects via the actual command specified in authorized_keys file, in your case Geo-replication is actually looking for gsyncd command in /nonexisting/gsyncd path.</div><div class=""><br class=""></div><div class="">Please try with push-pem option during Geo-rep create command.</div><div class=""><br class=""></div><div class="">—</div><div class="">regards</div><div class="">Aravinda Vishwanathapura</div><div class=""><a href="https://kadalu" class="">https://kadalu</a>.io</div><div class=""><br class=""></div><div class=""><div><br class=""><blockquote type="cite" class=""><div class="">On 02-Mar-2020, at 6:03 AM, David Cunningham &lt;<a href="mailto:dcunningham@voisonics.com" class="">dcunningham@voisonics.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><div class="">Hello,</div><div class=""><br class=""></div><div class="">We've set up geo-replication but it isn't actually syncing. Scenario is that we have two GFS clusters. Cluster A has nodes cafs10, cafs20, and cafs30, replicating with each other over a LAN. Cluster B has nodes nvfs10, nvfs20, and nvfs30 also replicating with each other over a LAN. We are geo-replicating data from the A cluster to the B cluster over the internet. SSH key access is set up, allowing all the A nodes password-less access to root on nvfs10 </div><div class=""><br class=""></div><div class="">Geo-replication was set up using these commands, run on cafs10:</div><div class=""><br class=""></div><div class="">gluster volume geo-replication gvol0 <a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 create ssh-port 8822 no-verify</div><div class="">gluster volume geo-replication gvol0 <a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 config remote-gsyncd /usr/lib/x86_64-linux-gnu/glusterfs/gsyncd</div><div class="">gluster volume geo-replication gvol0 <a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 start</div><div class=""><br class=""></div><div class="">However after a very short period of the status being "Initializing..." the status then sits on "Passive":</div><div class=""><br class=""></div><div class=""># gluster volume geo-replication gvol0 <a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 status <br class="">MASTER NODE &nbsp; &nbsp;MASTER VOL &nbsp; &nbsp;MASTER BRICK &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;SLAVE USER &nbsp; &nbsp;SLAVE &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; SLAVE NODE &nbsp; &nbsp; &nbsp;STATUS &nbsp; &nbsp; CRAWL STATUS &nbsp; &nbsp;LAST_SYNCED &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<br class="">------------------------------------------------------------------------------------------------------------------------------------------------------------------<br class="">cafs10 &nbsp; &nbsp; &nbsp; &nbsp; gvol0 &nbsp; &nbsp; &nbsp; &nbsp; /nodirectwritedata/gluster/gvol0 &nbsp; &nbsp;root &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 &nbsp; &nbsp;nvfs30.local &nbsp; &nbsp;Passive &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<br class="">cafs30 &nbsp; &nbsp; &nbsp; &nbsp; gvol0 &nbsp; &nbsp; &nbsp; &nbsp; /nodirectwritedata/gluster/gvol0 &nbsp; &nbsp;root &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Created &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<br class="">cafs20 &nbsp; &nbsp; &nbsp; &nbsp; gvol0 &nbsp; &nbsp; &nbsp; &nbsp; /nodirectwritedata/gluster/gvol0 &nbsp; &nbsp;root &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<a href="http://nvfs10.example.com" class="">nvfs10.example.com</a>::gvol0 &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Created &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; <br class=""></div><div class=""><br class=""></div><div class="">So my questions are:</div><div class="">1. Why does the status on cafs10 mention "nvfs30.local"? That's the LAN address that nvfs10 replicates with nvfs30 using. It's not accessible from the A cluster, and I didn't use it when configuring geo-replication.<br class=""></div><div class="">2. Why does geo-replication sit in Passive status?</div><div class=""><br class=""></div><div class="">Thanks very much for any assistance.<br class=""></div><div class=""><br class=""></div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 25 Feb 2020 at 15:46, David Cunningham &lt;<a href="mailto:dcunningham@voisonics.com" class="">dcunningham@voisonics.com</a>&gt; wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" class=""><div class="">Hi Aravinda and Sunny,</div><div class=""><br class=""></div><div class="">Thank you for the replies. We have 3 replicating nodes on the master side, and want to geo-replicate their data to the remote slave side. As I understand it if the master node which had the geo-replication create command run goes down then another node will take over pushing updates to the remote slave. Is that right?</div><div class=""><br class=""></div><div class="">We have already taken care of adding all master node's SSH keys to the remote slave's authorized_keys externally, so won't include the push-pem part of the create command.</div><div class=""><br class=""></div><div class="">Mostly I wanted to confirm the geo-replication behaviour on the replicating master nodes if one of them goes down. <br class=""></div><div class=""><br class=""></div><div class="">Thank you!</div><div class=""><br class=""></div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 25 Feb 2020 at 14:32, Aravinda VK &lt;<a href="mailto:aravinda@kadalu.io" target="_blank" class="">aravinda@kadalu.io</a>&gt; wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="">Hi David,<div class=""><br class=""><div class=""><br class=""><blockquote type="cite" class=""><div class="">On 25-Feb-2020, at 3:45 AM, David Cunningham &lt;<a href="mailto:dcunningham@voisonics.com" target="_blank" class="">dcunningham@voisonics.com</a>&gt; wrote:</div><br class=""><div class=""><div dir="ltr" class=""><div class="">Hello,</div><div class=""><br class=""></div><div class="">I've a couple of questions on geo-replication that hopefully someone can help with:</div><div class=""><br class=""></div><div class="">1. If there are multiple nodes in a cluster on the master side (pushing updates to the geo-replication slave), which node actually does the pushing? Does GlusterFS decide itself automatically?</div></div></div></blockquote><div class=""><br class=""></div>Once Geo-replication session is started, one worker will be started corresponding to each Master bricks. Each worker identifies the changes happened in respective brick and sync those changes via Mount. This way load is distributed among Master nodes. In case of Replica sub volume, one worker among the Replica group will become active and participate in the syncing. Other bricks in that Replica group will remain Passive. Passive worker will become Active if the previously Active brick goes down (This is because all Replica bricks will have the same set of changes, syncing from each worker is redundant).</div><div class=""><br class=""><blockquote type="cite" class=""><div class=""><div dir="ltr" class=""><div class=""><br class=""></div><div class="">2.With regard to copying SSH keys, presumably the SSH key of all master nodes should be authorized on the geo-replication client side?</div></div></div></blockquote><div class=""><br class=""></div>Geo-replication session is established between one master node and one remote node. If Geo-rep create command is successful then,</div><div class=""><br class=""></div><div class="">- SSH keys generated in all master nodes</div><div class="">- Public keys from all master nodes are copied to initiator Master node</div><div class="">- Public keys copied to the Remote node specified in the create command</div><div class="">- Master public keys are distributed to all nodes of remote Cluster and added to respective ~/.ssh/authorized_keys</div><div class=""><br class=""></div><div class="">After successful Geo-rep create command, any Master node can connect to any remote node via ssh.</div><div class=""><br class=""></div><div class="">Security: Command prefix is added while adding public key to remote node’s authorized_keys file, So that if anyone gain access using this key can access only gsyncd command.</div><div class=""><br class=""></div><div class="">```</div><div class="">command=gsyncd ssh-key….</div><div class="">```</div><div class=""><br class=""></div><div class=""><br class=""><blockquote type="cite" class=""><div class=""><div dir="ltr" class=""><div class=""><br class=""></div><div class="">Thanks for your help.<br class=""></div><div class=""><br class=""></div>-- <br class=""><div dir="ltr" class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class="">David Cunningham, Voisonics Limited<br class=""><a href="http://voisonics.com/" target="_blank" class="">http://voisonics.com/</a><br class="">USA: +1 213 221 1092<br class="">New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div></div>
________<br class=""><br class=""><br class=""><br class="">Community Meeting Calendar:<br class=""><br class="">Schedule -<br class="">Every Tuesday at 14:30 IST / 09:00 UTC<br class="">Bridge: <a href="https://bluejeans.com/441850968" target="_blank" class="">https://bluejeans.com/441850968</a><br class=""><br class="">Gluster-users mailing list<br class=""><a href="mailto:Gluster-users@gluster.org" target="_blank" class="">Gluster-users@gluster.org</a><br class=""><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank" class="">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br class=""></div></blockquote><br class=""></div><div class=""><br class=""></div><div class="">—</div><div class="">regards</div><div class="">Aravinda Vishwanathapura</div><div class=""><a href="https://kadalu/" target="_blank" class="">https://kadalu</a>.io</div><br class=""></div></div></blockquote></div><br clear="all" class=""><br class="">-- <br class=""><div dir="ltr" class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class="">David Cunningham, Voisonics Limited<br class=""><a href="http://voisonics.com/" target="_blank" class="">http://voisonics.com/</a><br class="">USA: +1 213 221 1092<br class="">New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all" class=""><br class="">-- <br class=""><div dir="ltr" class="gmail_signature"><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><div class="">David Cunningham, Voisonics Limited<br class=""><a href="http://voisonics.com/" target="_blank" class="">http://voisonics.com/</a><br class="">USA: +1 213 221 1092<br class="">New Zealand: +64 (0)28 2558 3782</div></div></div></div></div></div></div></div></div></div></div>
</div></blockquote></div><br class=""></div></body></html>