<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta content="text/html; charset=utf-8">
</head>
<body>
<div dir="auto">Thanks for your help, Sunny and Kotresh!
<div dir="auto"><br>
</div>
<div dir="auto">The geo-replication is working now!</div>
<div dir="auto">The final step I tried was to make a symlink&nbsp;</div>
<div dir="auto">ln -s /usr/lib64/libgfchangelog.so.1 /usr/lib64/libgfchangelog.so</div>
<div dir="auto"><br>
</div>
<div dir="auto">After that everything started working!&nbsp;</div>
<div dir="auto"><br>
</div>
<div dir="auto">Do I need to report the steps I made somewhere? I don't know if rpm is made by gluster or Cent os?</div>
<div dir="auto"><br>
</div>
<div dir="auto">I started with Cent os 7 and gluster 3.12.9, installed from Cent os SIG gluster&nbsp;</div>
<div dir="auto">I did the following steps:</div>
<div dir="auto">- Installed and upgraded to 4.1.1 from Cent os SIG gluster</div>
<div dir="auto">- Installed fix https://review.gluster.org/#/c/20207/</div>
<div dir="auto">- Changed permissions on file /var/log/glusterfs/cli.log&nbsp; so geo user could access it</div>
<div dir="auto">- Made symlinks to /usr/local/sbin/gluster and&nbsp;<span style="font-family:sans-serif">/usr/local/sbin/gluster</span></div>
<div dir="auto"><font face="sans-serif">Better way should have been to change config:</font></div>
<div dir="auto"><font face="sans-serif" style="">&nbsp;</font><span style="font-family:sans-serif; font-size:13.3333px">#gluster vol geo-rep &lt;mastervol&gt; &lt;slave-vol&gt; config gluster-command-dir &lt;gluster-binary-location&gt;</span></div>
<div dir="auto"><span style="font-family:sans-serif; font-size:13.3333px">&nbsp;</span><span style="font-family:sans-serif; font-size:13.3333px">#gluster vol geo-rep &lt;mastervol&gt; &lt;slave-vol&gt; config slave-gluster-command-dir &lt;gluster-binary-location&gt;</span></div>
<div dir="auto"><font face="sans-serif">- Made symlink:</font><span style="font-family:sans-serif; font-size:13.3333px"><br>
</span></div>
<div dir="auto"><font face="sans-serif">ln -s /usr/lib64/libgfchangelog.so.0 /usr/lib64/libgfchangelog.so<br>
</font></div>
<div dir="auto"><font face="sans-serif"><br>
</font></div>
<div dir="auto"><font face="sans-serif">Thanks for all help!</font></div>
<div dir="auto"><font face="sans-serif"><br>
</font></div>
<div dir="auto"><font face="sans-serif">Regards</font></div>
<div dir="auto"><font face="sans-serif">Marcus&nbsp;&nbsp;</font></div>
<div dir="auto"><br>
</div>
<div dir="auto">
<div dir="auto">################<br>
Marcus Pedersén<br>
Systemadministrator <br>
Interbull Centre<br>
################<br>
Sent from my phone <br>
################</div>
</div>
</div>
<div class="gmail_extra"><br>
<div class="gmail_quote">Den 23 juli 2018 20:11 skrev Marcus Pedersén &lt;marcus.pedersen@slu.se&gt;:<br type="attribution">
</div>
</div>
<div>
<div dir="auto">
<div>Hi again Sunny,
<div dir="auto">Sorry, I missed the obvious myself!</div>
<div dir="auto">&nbsp;<br>
#find /usr/ -name libgfchangelog.so</div>
<div dir="auto">Gives nothing</div>
<div dir="auto"><br>
</div>
<div dir="auto">#find /usr/ -name libgfchangelog.so*</div>
<div dir="auto">Gives:</div>
<div dir="auto">/usr/lib64/libgfchangelog.so.0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; /usr/lib64/libgfchangelog.so.0.0.1</div>
<div dir="auto"><br>
</div>
<div dir="auto">Regards</div>
<div dir="auto">Marcus&nbsp;</div>
<div dir="auto"><br>
<div dir="auto">################<br>
Marcus Pedersén<br>
Systemadministrator <br>
Interbull Centre<br>
################<br>
Sent from my phone <br>
################</div>
</div>
<br>
<div class="gmail_extra"><br>
<div class="gmail_quote">Den 23 juli 2018 15:15 skrev Sunny Kumar &lt;sunkumar@redhat.com&gt;:<br type="attribution">
<blockquote class="quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">
<div><font size="2"><span style="font-size:10pt">
<div>Hi Marcus,<br>
<br>
Okay first apologies for wrong pattern here, please run<br>
<br>
# find /usr/ -name libgfchangelog.so<br>
<br>
- Sunny<br>
On Mon, Jul 23, 2018 at 6:25 PM Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt;<br>
&gt; Hi,<br>
&gt;&nbsp; #find /usr/ -name libglusterfs.so<br>
&gt; Gives nothing.<br>
&gt;<br>
&gt; #find /usr/ -name libglusterfs.so*<br>
&gt; Gives:<br>
&gt; /usr/lib64/libglusterfs.so.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/libglusterfs.so.0.0.1<br>
&gt;<br>
&gt; Thanks!<br>
&gt; Marcus<br>
&gt;<br>
&gt; ################<br>
&gt; Marcus Pedersén<br>
&gt; Systemadministrator<br>
&gt; Interbull Centre<br>
&gt; ################<br>
&gt; Sent from my phone<br>
&gt; ################<br>
&gt;<br>
&gt; Den 23 juli 2018 14:17 skrev Sunny Kumar &lt;sunkumar@redhat.com&gt;:<br>
&gt;<br>
&gt; Hi,<br>
&gt;<br>
&gt; Can you confirm the location for libgfchangelog.so<br>
&gt; by sharing output of following command -<br>
&gt; # find /usr/ -name libglusterfs.so<br>
&gt;<br>
&gt; - Sunny<br>
&gt;<br>
&gt; On Mon, Jul 23, 2018 at 5:12 PM Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt;<br>
&gt; &gt; Hi Sunny,<br>
&gt; &gt; Here comes a part of gsyncd.log (The same info is repeated over and over again):<br>
&gt; &gt;<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 207, in __call__<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; raise res<br>
&gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; [2018-07-23 11:33:09.254915] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; [2018-07-23 11:33:10.225150] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; [2018-07-23 11:33:20.250036] I [monitor(monitor):158:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=urd-gds-geo-000<br>
&gt; &gt; [2018-07-23 11:33:20.326205] I [gsyncd(agent /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; [2018-07-23 11:33:20.326282] I [gsyncd(worker /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; [2018-07-23 11:33:20.327152] I [changelogagent(agent /urd-gds/gluster):72:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; [2018-07-23 11:33:20.335777] I [resource(worker /urd-gds/gluster):1348:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; [2018-07-23 11:33:22.11188] I [resource(worker /urd-gds/gluster):1395:connect_remote] SSH: SSH connection between master and slave established. duration=1.6752<br>
&gt; &gt; [2018-07-23 11:33:22.11744] I [resource(worker /urd-gds/gluster):1067:connect] GLUSTER: Mounting gluster volume locally...<br>
&gt; &gt; [2018-07-23 11:33:23.101602] I [resource(worker /urd-gds/gluster):1090:connect] GLUSTER: Mounted gluster volume duration=1.0894<br>
&gt; &gt; [2018-07-23 11:33:23.102168] I [subcmds(worker /urd-gds/gluster):70:subcmd_worker] &lt;top&gt;: Worker spawn successful. Acknowledging back to monitor<br>
&gt; &gt; [2018-07-23 11:33:23.119129] E [repce(agent /urd-gds/gluster):114:worker] &lt;top&gt;: call failed:<br>
&gt; &gt; Traceback (most recent call last):<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 110, in worker<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; res = getattr(self.obj, rmeth)(*in_data[2:])<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 37, in init<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; return Changes.cl_init()<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 21, in __getattr__<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; from libgfchangelog import Changes as LChanges<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 17, in &lt;module&gt;<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; class Changes(object):<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 19, in Changes<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; use_errno=True)<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/lib64/python2.7/ctypes/__init__.py&quot;, line 360, in __init__<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; self._handle = _dlopen(self._name, mode)<br>
&gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; [2018-07-23 11:33:23.119609] E [repce(worker /urd-gds/gluster):206:__call__] RepceClient: call failed&nbsp;&nbsp; call=29589:140155686246208:1532345603.11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; method=init&nbsp;&nbsp;&nbsp;&nbsp; error=OSError<br>
&gt; &gt; [2018-07-23 11:33:23.119708] E [syncdutils(worker /urd-gds/gluster):330:log_raise_exception] &lt;top&gt;: FAIL:<br>
&gt; &gt; Traceback (most recent call last):<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/gsyncd.py&quot;, line 311, in main<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; func(args)<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/subcmds.py&quot;, line 72, in subcmd_worker<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; local.service_loop(remote)<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/resource.py&quot;, line 1236, in service_loop<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; changelog_agent.init()<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 225, in __call__<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; return self.ins(self.meth, *a)<br>
&gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 207, in __call__<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; raise res<br>
&gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; [2018-07-23 11:33:23.130100] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; [2018-07-23 11:33:24.104176] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt;<br>
&gt; &gt; Thanks, Sunny!!<br>
&gt; &gt;<br>
&gt; &gt; Regards<br>
&gt; &gt; Marcus Pedersén<br>
&gt; &gt;<br>
&gt; &gt; ________________________________________<br>
&gt; &gt; Från: Sunny Kumar &lt;sunkumar@redhat.com&gt;<br>
&gt; &gt; Skickat: den 23 juli 2018 12:53<br>
&gt; &gt; Till: Marcus Pedersén<br>
&gt; &gt; Kopia: Kotresh Hiremath Ravishankar; gluster-users@gluster.org<br>
&gt; &gt; Ämne: Re: [Gluster-users] Upgrade to 4.1.1 geo-replication does not work<br>
&gt; &gt;<br>
&gt; &gt; Hi Marcus,<br>
&gt; &gt;<br>
&gt; &gt; On Mon, Jul 23, 2018 at 4:04 PM Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Hi Sunny,<br>
&gt; &gt; &gt; ldconfig -p /usr/local/lib | grep libgf<br>
&gt; &gt; &gt; Output:<br>
&gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; libgfxdr.so.0 (libc6,x86-64) =&gt; /lib64/libgfxdr.so.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; libgfrpc.so.0 (libc6,x86-64) =&gt; /lib64/libgfrpc.so.0<br>
&gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; libgfdb.so.0 (libc6,x86-64) =&gt; /lib64/libgfdb.so.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; libgfchangelog.so.0 (libc6,x86-64) =&gt; /lib64/libgfchangelog.so.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; libgfapi.so.0 (libc6,x86-64)
 =&gt; /lib64/libgfapi.so.0<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; So that seems to be alright,&nbsp; right?<br>
&gt; &gt; &gt;<br>
&gt; &gt; Yes, this seems wright can you share the gsyncd.log again<br>
&gt; &gt; &gt; Best regards<br>
&gt; &gt; &gt; Marcus<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; ################<br>
&gt; &gt; &gt; Marcus Pedersén<br>
&gt; &gt; &gt; Systemadministrator<br>
&gt; &gt; &gt; Interbull Centre<br>
&gt; &gt; &gt; ################<br>
&gt; &gt; &gt; Sent from my phone<br>
&gt; &gt; &gt; ################<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Den 23 juli 2018 11:17 skrev Sunny Kumar &lt;sunkumar@redhat.com&gt;:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Hi Marcus,<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On Wed, Jul 18, 2018 at 4:08 PM Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Hi Kotresh,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I ran:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; #ldconfig /usr/lib<br>
&gt; &gt; &gt; can you do -<br>
&gt; &gt; &gt; ldconfig /usr/local/lib<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Output:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; on all nodes in both clusters but I still get the same error.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; What to do?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Output for:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; # ldconfig -p /usr/lib | grep libgf<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; libgfxdr.so.0 (libc6,x86-64) =&gt; /lib64/libgfxdr.so.0<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; libgfrpc.so.0 (libc6,x86-64) =&gt; /lib64/libgfrpc.so.0<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; libgfdb.so.0 (libc6,x86-64) =&gt; /lib64/libgfdb.so.0<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; libgfchangelog.so.0 (libc6,x86-64) =&gt; /lib64/libgfchangelog.so.0<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; libgfapi.so.0 (libc6,x86-64) =&gt; /lib64/libgfapi.so.0<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I read somewere that you could change some settings for geo-replication to speed up sync.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I can not remember where I saw that and what config parameters.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; When geo-replication works I have 30TB on master cluster that has to be synced to slave nodes,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; and that will take a while before the slave nodes have catched up.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Thanks and regards<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Part of gsyncd.log:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 207, in __call__<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; raise res<br>
&gt; &gt; &gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:23:52.305119] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:23:53.273298] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:03.294312] I [monitor(monitor):158:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=urd-gds-geo-000<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:03.334563] I [gsyncd(agent /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:03.334702] I [gsyncd(worker /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:03.335380] I [changelogagent(agent /urd-gds/gluster):72:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:03.343605] I [resource(worker /urd-gds/gluster):1348:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:04.881148] I [resource(worker /urd-gds/gluster):1395:connect_remote] SSH: SSH connection between master and slave established.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; duration=1.5373<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:04.881707] I [resource(worker /urd-gds/gluster):1067:connect] GLUSTER: Mounting gluster volume locally...<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.967451] I [resource(worker /urd-gds/gluster):1090:connect] GLUSTER: Mounted gluster volume duration=1.0853<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.968028] I [subcmds(worker /urd-gds/gluster):70:subcmd_worker] &lt;top&gt;: Worker spawn successful. Acknowledging back to monitor<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.984179] E [repce(agent /urd-gds/gluster):114:worker] &lt;top&gt;: call failed:<br>
&gt; &gt; &gt; &gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 110, in worker<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; res = getattr(self.obj, rmeth)(*in_data[2:])<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 37, in init<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; return Changes.cl_init()<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 21, in __getattr__<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; from libgfchangelog import Changes as LChanges<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 17, in &lt;module&gt;<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; class Changes(object):<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 19, in Changes<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; use_errno=True)<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/lib64/python2.7/ctypes/__init__.py&quot;, line 360, in __init__<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; self._handle = _dlopen(self._name, mode)<br>
&gt; &gt; &gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.984647] E [repce(worker /urd-gds/gluster):206:__call__] RepceClient: call failed&nbsp;&nbsp; call=1146:139672481965888:1531909445.98 method=init&nbsp;&nbsp;&nbsp;&nbsp; error=OSError<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.984747] E [syncdutils(worker /urd-gds/gluster):330:log_raise_exception] &lt;top&gt;: FAIL:<br>
&gt; &gt; &gt; &gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/gsyncd.py&quot;, line 311, in main<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; func(args)<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/subcmds.py&quot;, line 72, in subcmd_worker<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; local.service_loop(remote)<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/resource.py&quot;, line 1236, in service_loop<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; changelog_agent.init()<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 225, in __call__<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; return self.ins(self.meth, *a)<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 207, in __call__<br>
&gt; &gt; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; raise res<br>
&gt; &gt; &gt; &gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; I think then you will not see this.<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:05.994826] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt; [2018-07-18 10:24:06.969984] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; ________________________________<br>
&gt; &gt; &gt; &gt; Från: Kotresh Hiremath Ravishankar &lt;khiremat@redhat.com&gt;<br>
&gt; &gt; &gt; &gt; Skickat: den 18 juli 2018 06:05<br>
&gt; &gt; &gt; &gt; Till: Marcus Pedersén<br>
&gt; &gt; &gt; &gt; Kopia: gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt; Ämne: Re: [Gluster-users] Upgrade to 4.1.1 geo-replication does not work<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Hi Marcus,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Well there is nothing wrong in setting up a symlink for gluster binary location, but<br>
&gt; &gt; &gt; &gt; there is a geo-rep command to set it so that gsyncd will search there.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; To set on master<br>
&gt; &gt; &gt; &gt; #gluster vol geo-rep &lt;mastervol&gt; &lt;slave-vol&gt; config gluster-command-dir &lt;gluster-binary-location&gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; To set on slave<br>
&gt; &gt; &gt; &gt; #gluster vol geo-rep &lt;mastervol&gt; &lt;slave-vol&gt; config slave-gluster-command-dir &lt;gluster-binary-location&gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Thanks,<br>
&gt; &gt; &gt; &gt; Kotresh HR<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Wed, Jul 18, 2018 at 9:28 AM, Kotresh Hiremath Ravishankar &lt;khiremat@redhat.com&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Hi Marcus,<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; I am testing out 4.1 myself and I will have some update today.<br>
&gt; &gt; &gt; &gt;&gt; For this particular traceback, gsyncd is not able to find the library.<br>
&gt; &gt; &gt; &gt;&gt; Is it the rpm install? If so, gluster libraries would be in /usr/lib.<br>
&gt; &gt; &gt; &gt;&gt; Please run the cmd below.<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; #ldconfig /usr/lib<br>
&gt; &gt; &gt; &gt;&gt; #ldconfig -p /usr/lib | grep libgf&nbsp; (This should list libgfchangelog.so)<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Geo-rep should be fixed automatically.<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt; Kotresh HR<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; On Wed, Jul 18, 2018 at 1:27 AM, Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi again,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I continue to do some testing, but now I have come to a stage where I need help.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; gsyncd.log was complaining about that /usr/local/sbin/gluster was missing so I made a link.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; After that /usr/local/sbin/glusterfs was missing so I made a link there as well.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Both links were done on all slave nodes.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Now I have a new error that I can not resolve myself.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; It can not open libgfchangelog.so<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Many thanks!<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Part of gsyncd.log:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:06.517106] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:07.479553] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:17.500709] I [monitor(monitor):158:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=urd-gds-geo-000<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:17.541547] I [gsyncd(agent /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:17.541959] I [gsyncd(worker /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:17.542363] I [changelogagent(agent /urd-gds/gluster):72:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:17.550894] I [resource(worker /urd-gds/gluster):1348:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:19.166246] I [resource(worker /urd-gds/gluster):1395:connect_remote] SSH: SSH connection between master and slave established.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; duration=1.6151<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:19.166806] I [resource(worker /urd-gds/gluster):1067:connect] GLUSTER: Mounting gluster volume locally...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.257344] I [resource(worker /urd-gds/gluster):1090:connect] GLUSTER: Mounted gluster volume duration=1.0901<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.257921] I [subcmds(worker /urd-gds/gluster):70:subcmd_worker] &lt;top&gt;: Worker spawn successful. Acknowledging back to monitor<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.274647] E [repce(agent /urd-gds/gluster):114:worker] &lt;top&gt;: call failed:<br>
&gt; &gt; &gt; &gt;&gt;&gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 110, in worker<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; res = getattr(self.obj, rmeth)(*in_data[2:])<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 37, in init<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; return Changes.cl_init()<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/changelogagent.py&quot;, line 21, in __getattr__<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; from libgfchangelog import Changes as LChanges<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 17, in &lt;module&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; class Changes(object):<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/libgfchangelog.py&quot;, line 19, in Changes<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; use_errno=True)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/lib64/python2.7/ctypes/__init__.py&quot;, line 360, in __init__<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; self._handle = _dlopen(self._name, mode)<br>
&gt; &gt; &gt; &gt;&gt;&gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.275093] E [repce(worker /urd-gds/gluster):206:__call__] RepceClient: call failed&nbsp;&nbsp; call=6078:139982918485824:1531855940.27 method=init&nbsp;&nbsp;&nbsp;&nbsp; error=OSError<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.275192] E [syncdutils(worker /urd-gds/gluster):330:log_raise_exception] &lt;top&gt;: FAIL:<br>
&gt; &gt; &gt; &gt;&gt;&gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/gsyncd.py&quot;, line 311, in main<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; func(args)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/subcmds.py&quot;, line 72, in subcmd_worker<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; local.service_loop(remote)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/resource.py&quot;, line 1236, in service_loop<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; changelog_agent.init()<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 225, in __call__<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; return self.ins(self.meth, *a)<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/repce.py&quot;, line 207, in __call__<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; raise res<br>
&gt; &gt; &gt; &gt;&gt;&gt; OSError: libgfchangelog.so: cannot open shared object file: No such file or directory<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:20.286787] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-17 19:32:21.259891] I [monitor(monitor):272:monitor] Monitor: worker died in startup phase&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt; Från: gluster-users-bounces@gluster.org &lt;gluster-users-bounces@gluster.org&gt; för Marcus Pedersén &lt;marcus.pedersen@slu.se&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Skickat: den 16 juli 2018 21:59<br>
&gt; &gt; &gt; &gt;&gt;&gt; Till: khiremat@redhat.com<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kopia: gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt;&gt;&gt; Ämne: Re: [Gluster-users] Upgrade to 4.1.1 geo-replication does not work<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi Kotresh,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I have been testing for a bit and as you can see from the logs I sent before permission is denied for geouser on slave node on file:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; /var/log/glusterfs/cli.log<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I have turned selinux off and just for testing I changed permissions on /var/log/glusterfs/cli.log so geouser can access it.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Starting geo-replication after that gives response successful but all nodes get status Faulty.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; If I run: gluster-mountbroker status<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I get:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; &#43;-----------------------------&#43;-------------&#43;---------------------------&#43;--------------&#43;--------------------------&#43;<br>
&gt; &gt; &gt; &gt;&gt;&gt; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NODE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NODE STATUS |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; MOUNT ROOT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |&nbsp;&nbsp;&nbsp; GROUP&nbsp;&nbsp;&nbsp;&nbsp; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; USERS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>
&gt; &gt; &gt; &gt;&gt;&gt; &#43;-----------------------------&#43;-------------&#43;---------------------------&#43;--------------&#43;--------------------------&#43;<br>
&gt; &gt; &gt; &gt;&gt;&gt; | urd-gds-geo-001.hgen.slu.se |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; UP | /var/mountbroker-root(OK) | geogroup(OK) | geouser(urd-gds-volume)&nbsp; |<br>
&gt; &gt; &gt; &gt;&gt;&gt; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; urd-gds-geo-002&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; UP | /var/mountbroker-root(OK) | geogroup(OK) | geouser(urd-gds-volume)&nbsp; |<br>
&gt; &gt; &gt; &gt;&gt;&gt; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; localhost&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; UP | /var/mountbroker-root(OK) | geogroup(OK) | geouser(urd-gds-volume)&nbsp; |<br>
&gt; &gt; &gt; &gt;&gt;&gt; &#43;-----------------------------&#43;-------------&#43;---------------------------&#43;--------------&#43;--------------------------&#43;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; and that is all nodes on slave cluster, so mountbroker seems ok.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; gsyncd.log logs an error about /usr/local/sbin/gluster is missing.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; That is correct cos gluster is in /sbin/gluster and /urs/sbin/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Another error is that SSH between master and slave is broken,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; but now when I have changed permission on /var/log/glusterfs/cli.log I can run:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replication/secret.pem -p 22 geouser@urd-gds-geo-001 gluster --xml --remote-host=localhost volume info urd-gds-volume<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; as geouser and that works, which means that the ssh connection works.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Is the permissions on /var/log/glusterfs/cli.log changed when geo-replication is setup?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Is gluster supposed to be in /usr/local/sbin/gluster?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Do I have any options or should I remove current geo-replication and create a new?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; How much do I need to clean up before creating a new geo-replication?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; In that case can I pause geo-replication, mount slave cluster on master cluster and run rsync , just to speed up transfer of files?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Many thanks in advance!<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Part from the gsyncd.log:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:34:56.26287] E [syncdutils(worker /urd-gds/gluster):749:errlog] Popen: command returned error&nbsp;&nbsp;&nbsp; cmd=ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replicatio\<br>
&gt; &gt; &gt; &gt;&gt;&gt; n/secret.pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-WrbZ22/bf60c68f1a195dad59573a8dbaa309f2.sock geouser@urd-gds-geo-001 /nonexistent/gsyncd slave urd-gds-volume geouser@urd-gds-geo-001::urd-gds-volu\<br>
&gt; &gt; &gt; &gt;&gt;&gt; me --master-node urd-gds-001 --master-node-id 912bebfd-1a7f-44dc-b0b7-f001a20d58cd --master-brick /urd-gds/gluster --local-node urd-gds-geo-000 --local-node-id 03075698-2bbf-43e4-a99a-65fe82f61794 --slave-timeo\<br>
&gt; &gt; &gt; &gt;&gt;&gt; ut 120 --slave-log-level INFO --slave-gluster-log-level INFO --slave-gluster-command-dir /usr/local/sbin/ error=1<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:34:56.26583] E [syncdutils(worker /urd-gds/gluster):753:logerr] Popen: ssh&gt; failure: execution of &quot;/usr/local/sbin/gluster&quot; failed with ENOENT (No such file or directory)<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:34:56.33901] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:34:56.34307] I [monitor(monitor):262:monitor] Monitor: worker died before establishing connection&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.59412] I [monitor(monitor):158:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=urd-gds-geo-000<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.99509] I [gsyncd(worker /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.99561] I [gsyncd(agent /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.100481] I [changelogagent(agent /urd-gds/gluster):72:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.108834] I [resource(worker /urd-gds/gluster):1348:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.762320] E [syncdutils(worker /urd-gds/gluster):303:log_raise_exception] &lt;top&gt;: connection to peer is broken<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.763103] E [syncdutils(worker /urd-gds/gluster):749:errlog] Popen: command returned error&nbsp;&nbsp; cmd=ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replicatio\<br>
&gt; &gt; &gt; &gt;&gt;&gt; n/secret.pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-K9mB6Q/bf60c68f1a195dad59573a8dbaa309f2.sock geouser@urd-gds-geo-001 /nonexistent/gsyncd slave urd-gds-volume geouser@urd-gds-geo-001::urd-gds-volu\<br>
&gt; &gt; &gt; &gt;&gt;&gt; me --master-node urd-gds-001 --master-node-id 912bebfd-1a7f-44dc-b0b7-f001a20d58cd --master-brick /urd-gds/gluster --local-node urd-gds-geo-000 --local-node-id 03075698-2bbf-43e4-a99a-65fe82f61794 --slave-timeo\<br>
&gt; &gt; &gt; &gt;&gt;&gt; ut 120 --slave-log-level INFO --slave-gluster-log-level INFO --slave-gluster-command-dir /usr/local/sbin/ error=1<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.763398] E [syncdutils(worker /urd-gds/gluster):753:logerr] Popen: ssh&gt; failure: execution of &quot;/usr/local/sbin/gluster&quot; failed with ENOENT (No such file or directory)<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.771905] I [repce(agent /urd-gds/gluster):89:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:06.772272] I [monitor(monitor):262:monitor] Monitor: worker died before establishing connection&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:16.786387] I [monitor(monitor):158:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=urd-gds-geo-000<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:16.828056] I [gsyncd(worker /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:16.828066] I [gsyncd(agent /urd-gds/gluster):297:main] &lt;top&gt;: Using session config file&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; path=/var/lib/glusterd/geo-replication/urd-gds-volume_urd-gds-geo-001_urd-gds-volume/gsyncd.conf<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:16.828912] I [changelogagent(agent /urd-gds/gluster):72:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:16.837100] I [resource(worker /urd-gds/gluster):1348:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-16 19:35:17.260257] E [syncdutils(worker /urd-gds/gluster):303:log_raise_exception] &lt;top&gt;: connection to peer is broken<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt; Från: gluster-users-bounces@gluster.org &lt;gluster-users-bounces@gluster.org&gt; för Marcus Pedersén &lt;marcus.pedersen@slu.se&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Skickat: den 13 juli 2018 14:50<br>
&gt; &gt; &gt; &gt;&gt;&gt; Till: Kotresh Hiremath Ravishankar<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kopia: gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt;&gt;&gt; Ämne: Re: [Gluster-users] Upgrade to 4.1.1 geo-replication does not work<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi Kotresh,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Yes, all nodes have the same version 4.1.1 both master and slave.<br>
&gt; &gt; &gt; &gt;&gt;&gt; All glusterd are crashing on the master side.<br>
&gt; &gt; &gt; &gt;&gt;&gt; Will send logs tonight.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;&gt;&gt; Systemadministrator<br>
&gt; &gt; &gt; &gt;&gt;&gt; Interbull Centre<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt; Sent from my phone<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Den 13 juli 2018 11:28 skrev Kotresh Hiremath Ravishankar &lt;khiremat@redhat.com&gt;:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi Marcus,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Is the gluster geo-rep version is same on both master and slave?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kotresh HR<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; On Fri, Jul 13, 2018 at 1:26 AM, Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi Kotresh,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; i have replaced both files (gsyncdconfig.py and repce.py) in all nodes both master and slave.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I rebooted all servers but geo-replication status is still Stopped.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I tried to start geo-replication with response Successful but status still show Stopped on all nodes.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Nothing has been written to geo-replication logs since I sent the tail of the log.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; So I do not know what info to provide?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Please, help me to find a way to solve this.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks!<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt; Från: gluster-users-bounces@gluster.org &lt;gluster-users-bounces@gluster.org&gt; för Marcus Pedersén &lt;marcus.pedersen@slu.se&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Skickat: den 12 juli 2018 08:51<br>
&gt; &gt; &gt; &gt;&gt;&gt; Till: Kotresh Hiremath Ravishankar<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kopia: gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt;&gt;&gt; Ämne: Re: [Gluster-users] Upgrade to 4.1.1 geo-replication does not work<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks Kotresh,<br>
&gt; &gt; &gt; &gt;&gt;&gt; I installed through the official centos channel, centos-release-gluster41.<br>
&gt; &gt; &gt; &gt;&gt;&gt; Isn't this fix included in centos install?<br>
&gt; &gt; &gt; &gt;&gt;&gt; I will have a look, test it tonight and come back to you!<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks a lot!<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Regards<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;&gt;&gt; Systemadministrator<br>
&gt; &gt; &gt; &gt;&gt;&gt; Interbull Centre<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt; Sent from my phone<br>
&gt; &gt; &gt; &gt;&gt;&gt; ################<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Den 12 juli 2018 07:41 skrev Kotresh Hiremath Ravishankar &lt;khiremat@redhat.com&gt;:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi Marcus,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I think the fix [1] is needed in 4.1<br>
&gt; &gt; &gt; &gt;&gt;&gt; Could you please this out and let us know if that works for you?<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; [1] <a href="https://review.gluster.org/#/c/20207/">https://review.gluster.org/#/c/20207/</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kotresh HR<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; On Thu, Jul 12, 2018 at 1:49 AM, Marcus Pedersén &lt;marcus.pedersen@slu.se&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hi all,<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I have upgraded from 3.12.9 to 4.1.1 and been following upgrade instructions for offline upgrade.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I upgraded geo-replication side first 1 x (2&#43;1) and the master side after that 2 x (2&#43;1).<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Both clusters works the way they should on their own.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; After upgrade on master side status for all geo-replication nodes is Stopped.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; I tried to start the geo-replication from master node and response back was started successfully.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Status again .... Stopped<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Tried to start again and get response started successfully, after that all glusterd crashed on all master nodes.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; After a restart of all glusterd the master cluster was up again.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Status for geo-replication is still Stopped and every try to start it after this gives the response successful but still status Stopped.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Please help me get the geo-replication up and running again.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Best regards<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Marcus Pedersén<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Part of geo-replication log from master node:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:48.941760] I [changelogagent(/urd-gds/gluster):73:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:48.947567] I [resource(/urd-gds/gluster):1780:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.363514] E [syncdutils(/urd-gds/gluster):304:log_raise_exception] &lt;top&gt;: connection to peer is broken<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.364279] E [resource(/urd-gds/gluster):210:errlog] Popen: command returned error&nbsp;&nbsp;&nbsp; cmd=ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replication/secret\<br>
&gt; &gt; &gt; &gt;&gt;&gt; .pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-hjRhBo/7e5534547f3675a710a107722317484f.sock geouser@urd-gds-geo-000 /nonexistent/gsyncd --session-owner 5e94eb7d-219f-4741-a179-d4ae6b50c7ee --local-id .%\<br>
&gt; &gt; &gt; &gt;&gt;&gt; 2Furd-gds%2Fgluster --local-node urd-gds-001 -N --listen --timeout 120 gluster://localhost:urd-gds-volume&nbsp;&nbsp; error=2<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.364586] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt; usage: gsyncd.py [-h]<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.364799] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.364989] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {monitor-status,monitor,worker,agent,slave,status,config-check,config-get,config-set,config-reset,voluuidget,d\<br>
&gt; &gt; &gt; &gt;&gt;&gt; elete}<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.365210] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.365408] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt; gsyncd.py: error: argument subcmd: invalid choice: '5e94eb7d-219f-4741-a179-d4ae6b50c7ee' (choose from 'monitor-status', 'monit\<br>
&gt; &gt; &gt; &gt;&gt;&gt; or', 'worker', 'agent', 'slave', 'status', 'config-check', 'config-get', 'config-set', 'config-reset', 'voluuidget', 'delete')<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.365919] I [syncdutils(/urd-gds/gluster):271:finalize] &lt;top&gt;: exiting.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.369316] I [repce(/urd-gds/gluster):92:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.369921] I [syncdutils(/urd-gds/gluster):271:finalize] &lt;top&gt;: exiting.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:49.369694] I [monitor(monitor):353:monitor] Monitor: worker died before establishing connection&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.492762] I [monitor(monitor):280:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=ssh://geouser@urd-gds-geo-000:gluster://localhost:urd-gds-volume<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.558491] I [resource(/urd-gds/gluster):1780:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.559056] I [changelogagent(/urd-gds/gluster):73:__init__] ChangelogAgent: Agent listining...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.945693] E [syncdutils(/urd-gds/gluster):304:log_raise_exception] &lt;top&gt;: connection to peer is broken<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.946439] E [resource(/urd-gds/gluster):210:errlog] Popen: command returned error&nbsp;&nbsp;&nbsp; cmd=ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replication/secret\<br>
&gt; &gt; &gt; &gt;&gt;&gt; .pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-992bk7/7e5534547f3675a710a107722317484f.sock geouser@urd-gds-geo-000 /nonexistent/gsyncd --session-owner 5e94eb7d-219f-4741-a179-d4ae6b50c7ee --local-id .%\<br>
&gt; &gt; &gt; &gt;&gt;&gt; 2Furd-gds%2Fgluster --local-node urd-gds-001 -N --listen --timeout 120 gluster://localhost:urd-gds-volume&nbsp;&nbsp; error=2<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.946748] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt; usage: gsyncd.py [-h]<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.946962] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.947150] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {monitor-status,monitor,worker,agent,slave,status,config-check,config-get,config-set,config-reset,voluuidget,d\<br>
&gt; &gt; &gt; &gt;&gt;&gt; elete}<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.947369] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ...<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.947552] E [resource(/urd-gds/gluster):214:logerr] Popen: ssh&gt; gsyncd.py: error: argument subcmd: invalid choice: '5e94eb7d-219f-4741-a179-d4ae6b50c7ee' (choose from 'monitor-status', 'monit\<br>
&gt; &gt; &gt; &gt;&gt;&gt; or', 'worker', 'agent', 'slave', 'status', 'config-check', 'config-get', 'config-set', 'config-reset', 'voluuidget', 'delete')<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.948046] I [syncdutils(/urd-gds/gluster):271:finalize] &lt;top&gt;: exiting.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.951392] I [repce(/urd-gds/gluster):92:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.951760] I [syncdutils(/urd-gds/gluster):271:finalize] &lt;top&gt;: exiting.<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:42:59.951817] I [monitor(monitor):353:monitor] Monitor: worker died before establishing connection&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:10.54580] I [monitor(monitor):280:monitor] Monitor: starting gsyncd worker&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster&nbsp; slave_node=ssh://geouser@urd-gds-geo-000:gluster://localhost:urd-gds-volume<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:10.88356] I [monitor(monitor):345:monitor] Monitor: Changelog Agent died, Aborting Worker&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:10.88613] I [monitor(monitor):353:monitor] Monitor: worker died before establishing connection&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; brick=/urd-gds/gluster<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:20.112435] I [gsyncdstatus(monitor):242:set_worker_status] GeorepStatus: Worker Status Change status=inconsistent<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:20.112885] E [syncdutils(monitor):331:log_raise_exception] &lt;top&gt;: FAIL:<br>
&gt; &gt; &gt; &gt;&gt;&gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/syncdutils.py&quot;, line 361, in twrap<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; except:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp; File &quot;/usr/libexec/glusterfs/python/syncdaemon/monitor.py&quot;, line 428, in wmon<br>
&gt; &gt; &gt; &gt;&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; sys.exit()<br>
&gt; &gt; &gt; &gt;&gt;&gt; TypeError: 'int' object is not iterable<br>
&gt; &gt; &gt; &gt;&gt;&gt; [2018-07-11 18:43:20.114610] I [syncdutils(monitor):271:finalize] &lt;top&gt;: exiting.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; _______________________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt; Gluster-users mailing list<br>
&gt; &gt; &gt; &gt;&gt;&gt; Gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt;&gt;&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; --<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks and Regards,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kotresh H R<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; --<br>
&gt; &gt; &gt; &gt;&gt;&gt; Thanks and Regards,<br>
&gt; &gt; &gt; &gt;&gt;&gt; Kotresh H R<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ---<br>
&gt; &gt; &gt; &gt;&gt;&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt;&gt;&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; --<br>
&gt; &gt; &gt; &gt;&gt; Thanks and Regards,<br>
&gt; &gt; &gt; &gt;&gt; Kotresh H R<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; Thanks and Regards,<br>
&gt; &gt; &gt; &gt; Kotresh H R<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; ---<br>
&gt; &gt; &gt; &gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; &gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; _______________________________________________<br>
&gt; &gt; &gt; &gt; Gluster-users mailing list<br>
&gt; &gt; &gt; &gt; Gluster-users@gluster.org<br>
&gt; &gt; &gt; &gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; ---<br>
&gt; &gt; &gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; &gt; &gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
&gt; &gt;<br>
&gt; &gt; - Sunny<br>
&gt; &gt; ---<br>
&gt; &gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här &lt;<a href="https://www.slu.se/om-slu/kontakta-slu/personuppgifter/">https://www.slu.se/om-slu/kontakta-slu/personuppgifter/</a>&gt;<br>
&gt; &gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here &lt;<a href="https://www.slu.se/en/about-slu/contact-slu/personal-data/">https://www.slu.se/en/about-slu/contact-slu/personal-data/</a>&gt;<br>
&gt;<br>
&gt;<br>
&gt; ---<br>
&gt; När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka här<br>
&gt; E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click here<br>
</div>
</span></font></div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
<p>---<br>
När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka
<a href="https://www.slu.se/om-slu/kontakta-slu/personuppgifter/">här </a><br>
E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click
<a href="https://www.slu.se/en/about-slu/contact-slu/personal-data/">here </a></p>
</div>
<p>---<br>
När du skickar e-post till SLU så innebär detta att SLU behandlar dina personuppgifter. För att läsa mer om hur detta går till, klicka
<a href="https://www.slu.se/om-slu/kontakta-slu/personuppgifter/">här </a><br>
E-mailing SLU will result in SLU processing your personal data. For more information on how this is done, click
<a href="https://www.slu.se/en/about-slu/contact-slu/personal-data/">here </a></p>
</body>
</html>