<div dir="ltr">Hi <div>I have followed the following steps to create the geo-replication but the status seems to be in a faulty state.</div><div><div><br></div></div><div>Steps :</div><div><ul><li>Installed cluster version 5.6 in totally six nodes.</li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">glusterfs 5.6</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">Repository revision: git://<a href="http://git.gluster.org/glusterfs.git" target="_blank">git.gluster.org/glusterfs.git</a></span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">Copyright (c) 2006-2016 Red Hat, Inc. &lt;<a href="https://www.gluster.org/" target="_blank">https://www.gluster.org/</a>&gt;</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">GlusterFS comes with ABSOLUTELY NO WARRANTY.</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">It is licensed to you under your choice of the GNU Lesser</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">General Public License, version 3 or any later version (LGPLv3</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">or later), or the GNU General Public License, version 2 (GPLv2),</span></p>
<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">in all cases as published by the Free Software Foundation</span></p></blockquote><div><br></div><div><ul><li>peer_probed the first three nodes and second three nodes. </li></ul><div><div><img src="cid:ii_jwkazdp21" alt="Screen Shot 2019-06-06 at 12.21.41 PM.png" width="507" height="235"><br></div><div><img src="cid:ii_jwkazdpx2" alt="Screen Shot 2019-06-06 at 12.21.19 PM.png" width="535" height="270"><br></div></div></div></div><div><ul><li>Added new volume in both the clusters</li></ul><div><div><img src="cid:ii_jwkb2zv43" alt="Screen Shot 2019-06-06 at 12.24.29 PM.png" width="562" height="323"><br></div><div><img src="cid:ii_jwkb2zvn4" alt="Screen Shot 2019-06-06 at 12.24.18 PM.png" width="562" height="374"><br></div></div></div><div><ul><li>execute gluster-mountbroker commands and restarted glusterd.</li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster-mountbroker setup /var/mountbroker-root sas</span></p></blockquote>





<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-variant-ligatures:no-common-ligatures;color:rgb(0,0,0);font-family:Menlo;font-size:16px">gluster-mountbroker remove --volume code-misc --user sas</span></blockquote><div><br></div><div><ul><li>configured a passwordless sssh from master to slave</li></ul>





<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-variant-ligatures:no-common-ligatures;color:rgb(0,0,0);font-family:Menlo;font-size:16px">ssh-keygen</span>; <span style="font-variant-ligatures:no-common-ligatures;color:rgb(0,0,0);font-family:Menlo;font-size:16px">ssh-copy-id <a href="mailto:sas@192.168.185.107" target="_blank">sas@192.168.185.107</a></span></blockquote>





<ul><li>created a common pem pub file</li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster system:: execute gsec_create</span></p></blockquote><div><ul><li>created geo-replication session. </li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster volume geo-replication code-misc sas@192.168.185.107::code-misc create push-pem</span></p></blockquote><ul><li> executed the following command in slave</li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="m_-7169374088572163036gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="m_-7169374088572163036gmail-s1" style="font-variant-ligatures:no-common-ligatures">/usr/libexec/glusterfs/set_geo_rep_pem_keys.sh sas code-misc code-misc</span></p></blockquote><div><ul><li>started the gluster geo-replication.</li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster volume geo-replication code-misc sas@192.168.185.107::code-misc start</span></p></blockquote><div><br></div><div><ul><li>Now the geo-replication works fine.</li><li>Tested with 2000 files All seems to sync finely.</li></ul></div><div><ul><li>Now I updated all the node to version 6.2 by using rpms which were built by the source code in a docker container in my personal machine.</li></ul></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster --version</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">glusterfs 6.2</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">Repository revision: git://<a href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a></span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">Copyright (c) 2006-2016 Red Hat, Inc. &lt;<a href="https://www.gluster.org/">https://www.gluster.org/</a>&gt;</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">GlusterFS comes with ABSOLUTELY NO WARRANTY.</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">It is licensed to you under your choice of the GNU Lesser</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">General Public License, version 3 or any later version (LGPLv3</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">or later), or the GNU General Public License, version 2 (GPLv2),</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">in all cases as published by the Free Software Foundation.</span></p></blockquote><div><br></div><div><ul><li>I have stopped the glusterd daemons in all the node along with the volume and geo-replication. </li><li>Now I started the daemons, volume and geo-replication session the status seems to be faulty.</li><li>Also noted that the result of &quot;gluster-mountbroker status&quot; command always end in python exception like this </li></ul><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">Traceback (most recent call last):</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">  </span>File &quot;/usr/sbin/gluster-mountbroker&quot;, line 396, in &lt;module&gt;</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">    </span>runcli()</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">  </span>File &quot;/usr/lib/python2.7/site-packages/gluster/cliutils/cliutils.py&quot;, line 225, in runcli</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">    </span>cls.run(args)</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">  </span>File &quot;/usr/sbin/gluster-mountbroker&quot;, line 275, in run</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">    </span>out = execute_in_peers(&quot;node-status&quot;)</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">  </span>File &quot;/usr/lib/python2.7/site-packages/gluster/cliutils/cliutils.py&quot;, line 127, in execute_in_peers</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures"><span class="gmail-Apple-converted-space">    </span>raise GlusterCmdException((rc, out, err, &quot; &quot;.join(cmd)))</span></p>
<p class="gmail-p1" style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:16px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><span class="gmail-s1" style="font-variant-ligatures:no-common-ligatures">gluster.cliutils.cliutils.GlusterCmdException: (1, &#39;&#39;, &#39;Unable to end. Error : Success\n&#39;, &#39;gluster system:: execute mountbroker.py node-status&#39;)</span></p></blockquote><div><br></div><div>Is it I or everyone gets an error for gluster-mountbroker command for gluster version greater than 6.0?. Please help. </div></div><div><br></div><div>Thank you </div><div>Deepak</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"></blockquote></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"></blockquote></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jun 6, 2019 at 10:35 AM Sunny Kumar &lt;<a href="mailto:sunkumar@redhat.com" target="_blank">sunkumar@redhat.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
Updated link for documentation :<br>
<br>
--  <a href="https://docs.gluster.org/en/latest/Administrator%20Guide/Geo%20Replication/" rel="noreferrer" target="_blank">https://docs.gluster.org/en/latest/Administrator%20Guide/Geo%20Replication/</a><br>
<br>
You can use this tool as well:<br>
<a href="http://aravindavk.in/blog/gluster-georep-tools/" rel="noreferrer" target="_blank">http://aravindavk.in/blog/gluster-georep-tools/</a><br>
<br>
-Sunny<br>
<br>
On Thu, Jun 6, 2019 at 10:29 AM Kotresh Hiremath Ravishankar<br>
&lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; Hi,<br>
&gt;<br>
&gt; I think the steps to setup non-root geo-rep is not followed properly. The following entry is missing in glusterd vol file which is required.<br>
&gt;<br>
&gt; The message &quot;E [MSGID: 106061] [glusterd-mountbroker.c:555:glusterd_do_mount] 0-management: &#39;option mountbroker-root&#39; missing in glusterd vol file&quot; repeated 33 times between [2019-06-05 08:50:46.361384] and [2019-06-05 08:52:34.019757]<br>
&gt;<br>
&gt; Could you please the steps from below?<br>
&gt;<br>
&gt; <a href="https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.4/html-single/administration_guide/index#Setting_Up_the_Environment_for_a_Secure_Geo-replication_Slave" rel="noreferrer" target="_blank">https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.4/html-single/administration_guide/index#Setting_Up_the_Environment_for_a_Secure_Geo-replication_Slave</a><br>
&gt;<br>
&gt; And let us know if you still face the issue.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Thu, Jun 6, 2019 at 10:24 AM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Hi Kotresh, Sunny<br>
&gt;&gt; I Have mailed the logs I found in one of the slave machines. Is there anything to do with permission? Please help.<br>
&gt;&gt;<br>
&gt;&gt; On Wed, Jun 5, 2019 at 2:28 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Hi Kotresh, Sunny<br>
&gt;&gt;&gt; Found this log in the slave machine.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:49:10.632583] I [MSGID: 106488] [glusterd-handler.c:1559:__glusterd_handle_cli_get_volume] 0-management: Received get vol req<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;I [MSGID: 106488] [glusterd-handler.c:1559:__glusterd_handle_cli_get_volume] 0-management: Received get vol req&quot; repeated 2 times between [2019-06-05 08:49:10.632583] and [2019-06-05 08:49:10.670863]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;I [MSGID: 106496] [glusterd-handler.c:3187:__glusterd_handle_mount] 0-glusterd: Received mount req&quot; repeated 34 times between [2019-06-05 08:48:41.005398] and [2019-06-05 08:50:37.254063]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;E [MSGID: 106061] [glusterd-mountbroker.c:555:glusterd_do_mount] 0-management: &#39;option mountbroker-root&#39; missing in glusterd vol file&quot; repeated 34 times between [2019-06-05 08:48:41.005434] and [2019-06-05 08:50:37.254079]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;W [MSGID: 106176] [glusterd-mountbroker.c:719:glusterd_do_mount] 0-management: unsuccessful mount request [No such file or directory]&quot; repeated 34 times between [2019-06-05 08:48:41.005444] and [2019-06-05 08:50:37.254080]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:50:46.361347] I [MSGID: 106496] [glusterd-handler.c:3187:__glusterd_handle_mount] 0-glusterd: Received mount req<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:50:46.361384] E [MSGID: 106061] [glusterd-mountbroker.c:555:glusterd_do_mount] 0-management: &#39;option mountbroker-root&#39; missing in glusterd vol file<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:50:46.361419] W [MSGID: 106176] [glusterd-mountbroker.c:719:glusterd_do_mount] 0-management: unsuccessful mount request [No such file or directory]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;I [MSGID: 106496] [glusterd-handler.c:3187:__glusterd_handle_mount] 0-glusterd: Received mount req&quot; repeated 33 times between [2019-06-05 08:50:46.361347] and [2019-06-05 08:52:34.019741]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;E [MSGID: 106061] [glusterd-mountbroker.c:555:glusterd_do_mount] 0-management: &#39;option mountbroker-root&#39; missing in glusterd vol file&quot; repeated 33 times between [2019-06-05 08:50:46.361384] and [2019-06-05 08:52:34.019757]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; The message &quot;W [MSGID: 106176] [glusterd-mountbroker.c:719:glusterd_do_mount] 0-management: unsuccessful mount request [No such file or directory]&quot; repeated 33 times between [2019-06-05 08:50:46.361419] and [2019-06-05 08:52:34.019758]<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:52:44.426839] I [MSGID: 106496] [glusterd-handler.c:3187:__glusterd_handle_mount] 0-glusterd: Received mount req<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:52:44.426886] E [MSGID: 106061] [glusterd-mountbroker.c:555:glusterd_do_mount] 0-management: &#39;option mountbroker-root&#39; missing in glusterd vol file<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; [2019-06-05 08:52:44.426896] W [MSGID: 106176] [glusterd-mountbroker.c:719:glusterd_do_mount] 0-management: unsuccessful mount request [No such file or directory]<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Wed, Jun 5, 2019 at 1:06 AM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Thankyou Kotresh<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; On Tue, Jun 4, 2019, 11:20 PM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Ccing Sunny, who was investing similar issue.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; On Tue, Jun 4, 2019 at 5:46 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Have already added the path in bashrc . Still in faulty state<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Tue, Jun 4, 2019, 5:27 PM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; could you please try adding /usr/sbin to $PATH for user &#39;sas&#39;? If it&#39;s bash, add &#39;export PATH=/usr/sbin:$PATH&#39; in<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; /home/sas/.bashrc<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Tue, Jun 4, 2019 at 5:24 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi Kortesh<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Please find the logs of the above error<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Master log snippet<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:52:09.254731] I [resource(worker /home/sas/gluster/data/code-misc):1379:connect_remote] SSH: Initializing SSH connection between master and slave...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.308923] D [repce(worker /home/sas/gluster/data/code-misc):196:push] RepceClient: call 89724:139652759443264:1559649129.31 __repce_version__() ...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.602792] E [syncdutils(worker /home/sas/gluster/data/code-misc):311:log_raise_exception] &lt;top&gt;: connection to peer is broken<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.603312] E [syncdutils(worker /home/sas/gluster/data/code-misc):805:errlog] Popen: command returned error   cmd=ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/ glusterd/geo-replication/secret.pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-4aL2tc/d893f66e0addc32f7d0080bb503f5185.sock <a href="mailto:sas@192.168.185.107" target="_blank">sas@192.168.185.107</a> /usr/libexec/glusterfs/gsyncd slave code-misc sas@   192.168.185.107::code-misc --master-node 192.168.185.106 --master-node-id 851b64d0-d885-4ae9-9b38-ab5b15db0fec --master-brick /home/sas/gluster/data/code-misc --local-node 192.168.185.122 --local-node-   id bcaa7af6-c3a1-4411-8e99-4ebecb32eb6a --slave-timeout 120 --slave-log-level DEBUG --slave-gluster-log-level INFO --slave-gluster-command-dir /usr/sbin   error=1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.614996] I [repce(agent /home/sas/gluster/data/code-misc):97:service_loop] RepceServer: terminating on reaching EOF.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.615545] D [monitor(monitor):271:monitor] Monitor: worker(/home/sas/gluster/data/code-misc) connected<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.616528] I [monitor(monitor):278:monitor] Monitor: worker died in startup phase brick=/home/sas/gluster/data/code-misc<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  [2019-06-04 11:52:09.619391] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change status=Faulty<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Slave log snippet<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:09.782668] E [syncdutils(slave <a href="http://192.168.185.106/home/sas/gluster/data/code-misc):809:logerr" rel="noreferrer" target="_blank">192.168.185.106/home/sas/gluster/data/code-misc):809:logerr</a>] Popen: /usr/sbin/gluster&gt; 2 : failed with this errno (No such file or directory)<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:11.188167] W [gsyncd(slave <a href="http://192.168.185.125/home/sas/gluster/data/code-misc):305:main" rel="noreferrer" target="_blank">192.168.185.125/home/sas/gluster/data/code-misc):305:main</a>] &lt;top&gt;: Session config file not exists, using the default config path=/var/lib/glusterd/geo-replication/code-misc_192.168.185.107_code-misc/gsyncd.conf<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:11.201070] I [resource(slave <a href="http://192.168.185.125/home/sas/gluster/data/code-misc):1098:connect" rel="noreferrer" target="_blank">192.168.185.125/home/sas/gluster/data/code-misc):1098:connect</a>] GLUSTER: Mounting gluster volume locally...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:11.271231] E [resource(slave <a href="http://192.168.185.125/home/sas/gluster/data/code-misc):1006:handle_mounter" rel="noreferrer" target="_blank">192.168.185.125/home/sas/gluster/data/code-misc):1006:handle_mounter</a>] MountbrokerMounter: glusterd answered mnt=<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:11.271998] E [syncdutils(slave <a href="http://192.168.185.125/home/sas/gluster/data/code-misc):805:errlog" rel="noreferrer" target="_blank">192.168.185.125/home/sas/gluster/data/code-misc):805:errlog</a>] Popen: command returned error cmd=/usr/sbin/gluster --remote-host=localhost system:: mount sas user-map-root=sas aux-gfid-mount acl log-level=INFO log-file=/var/log/glusterfs/geo-replication-slaves/code-misc_192.168.185.107_code-misc/mnt-192.168.185.125-home-sas-gluster-data-code-misc.log volfile-server=localhost volfile-id=code-misc client-pid=-1 error=1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [2019-06-04 11:50:11.272113] E [syncdutils(slave <a href="http://192.168.185.125/home/sas/gluster/data/code-misc):809:logerr" rel="noreferrer" target="_blank">192.168.185.125/home/sas/gluster/data/code-misc):809:logerr</a>] Popen: /usr/sbin/gluster&gt; 2 : failed with this errno (No such file or directory)<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Tue, Jun 4, 2019 at 5:10 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; As discussed I have upgraded gluster from 4.1 to 6.2 version. But the Geo replication failed to start.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Stays in faulty state<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019, 5:32 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Checked the data. It remains in 2708. No progress.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 4:36 PM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; That means it could be working and the defunct process might be some old zombie one. Could you check, that data progress ?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 4:29 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; When i change the rsync option the rsync process doesnt seem to start . Only a defunt process is listed in ps aux. Only when i set rsync option to &quot; &quot; and restart all the process the rsync process is listed in ps aux.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 4:23 PM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Yes, rsync config option should have fixed this issue.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Could you share the output of the following?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 1. gluster volume geo-replication &lt;MASTERVOL&gt; &lt;SLAVEHOST&gt;::&lt;SLAVEVOL&gt; config rsync-options<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2. ps -ef | grep rsync<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 4:11 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Done.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We got the following result .<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 1559298781.338234 write(2, &quot;rsync: link_stat \&quot;/tmp/gsyncd-aux-mount-EEJ_sY/.gfid/3fa6aed8-802e-4efe-9903-8bc171176d88\&quot; failed: No such file or directory (2)&quot;, 128<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; seems like a file is missing ?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 3:25 PM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Could you take the strace with with more string size? The argument strings are truncated.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; strace -s 500 -ttt -T -p &lt;rsync pid&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 3:17 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi Kotresh<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; The above-mentioned work around did not work properly.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 3:16 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi Kotresh<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We have tried the above-mentioned rsync option and we are planning to have the version upgrade to 6.0.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, May 31, 2019 at 11:04 AM Kotresh Hiremath Ravishankar &lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; This looks like the hang because stderr buffer filled up with errors messages and no one reading it.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I think this issue is fixed in latest releases. As a workaround, you can do following and check if it works.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Prerequisite:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  rsync version should be &gt; 3.1.0<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Workaround:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; gluster volume geo-replication &lt;MASTERVOL&gt; &lt;SLAVEHOST&gt;::&lt;SLAVEVOL&gt; config rsync-options &quot;--ignore-missing-args&quot;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh HR<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Thu, May 30, 2019 at 5:39 PM deepu srinivasan &lt;<a href="mailto:sdeepugd@gmail.com" target="_blank">sdeepugd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We were evaluating Gluster geo Replication between two DCs one is in US west and one is in US east. We took multiple trials for different file size.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; The Geo Replication tends to stop replicating but while checking the status it appears to be in Active state. But the slave volume did not increase in size.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; So we have restarted the geo-replication session and checked the status. The status was in an active state and it was in History Crawl for a long time. We have enabled the DEBUG mode in logging and checked for any error.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; There was around 2000 file appeared for syncing candidate. The Rsync process starts but the rsync did not happen in the slave volume. Every time the rsync process appears in the &quot;ps auxxx&quot; list but the replication did not happen in the slave end. What would be the cause of this problem? Is there anyway to debug it?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We have also checked the strace of the rync program.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; it displays something like this<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;write(2, &quot;rsync: link_stat \&quot;/tmp/gsyncd-au&quot;..., 128&quot;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We are using the below specs<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster version - 4.1.7<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Sync mode - rsync<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume - 1x3 in each end (master and slave)<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Intranet Bandwidth - 10 Gig<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt; Thanks and Regards,<br>
&gt;&gt;&gt;&gt;&gt; Kotresh H R<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Thanks and Regards,<br>
&gt; Kotresh H R<br>
</blockquote></div>