<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi <a href="mailto:aravinda@kadalu.tech" id="OWAAM982742" class="tWKOu mention ms-bgc-nlr ms-fcl-b">

@Aravinda</a>,</div>

<div style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<p style="margin-top: 0px; margin-bottom: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I used the exact same commands when I added master3 to the primary

 geo-replication. However, the issue is that the master3 node is in a passive state, and master1 is stuck in a loop of Initializing -> Active -> Faulty. It never considers master2 or master3 as the primary master for geo-replication.</span></p>

<p style="margin-top: 0px; margin-bottom: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></p>

<p><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">If master1 can connect to the secondary (drtier1data) server, and I see the following message in the master1

 logs which says "SSH connection between master and slave established.", do you still think it could be related to key issues? I am willing to rerun the commands from master1 if you advise.</span></p>

<div style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">2024-01-30 23:33:14.274611] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing

 SSH connection between master and slave...</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:15.960004] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection

 between master and slave established. [{duration=1.6852}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:15.960300] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster

 volume locally...</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:16.995715] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster

 volume [{duration=1.0353}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:16.995905] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn

 successful. Acknowledging back to monitor</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:19.154376] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir

 [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:19.154759] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register

 time [{time=1706657599}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:19.191343] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus:

 Worker Status Change [{status=Active}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:19.191940] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status]

 GeorepStatus: Crawl Status Change [{status=History Crawl}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:19.192105] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history

 crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706657599}, {entry_stime=(1705935991, 0)}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:20.269529] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time

 [{stime=(1705935991, 0)}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:20.385018] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>:

 Gluster Mount process exited [{error=ENOTCONN}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:21.674] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">[2024-01-30 23:33:21.11514] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change

 [{status=Faulty}]</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Many thanks,</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Anant</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<hr style="display: inline-block; width: 98%;">

<div dir="ltr" id="divRplyFwdMsg"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Aravinda <aravinda@kadalu.tech><br>

<b>Sent:</b> 31 January 2024 11:14 AM<br>

<b>To:</b> Anant Saraswat <anant.saraswat@techblue.co.uk><br>

<b>Cc:</b> gluster-users@gluster.org <gluster-users@gluster.org>; Strahil Nikolov <hunter86_bg@yahoo.com><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few    seconds</span>

<div> </div>

</div>

<p><span style="background-color: rgb(250, 247, 190);"><b>EXTERNAL: Do not click links or open attachments if you do not recognize the sender.</b></span></p>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">Hi Anant,</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">You need to run the gsec_create command when a new node is added to Primary or secondary</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">gluster system:: execute gsec_create</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">gluster volume geo-replication tier1data drtier1data::drtier1data create push-pem force</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">gluster volume geo-replication tier1data drtier1data::drtier1data start</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">gluster volume geo-replication tier1data drtier1data::drtier1data status</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">Or use the Geo-rep setup tool fix the key related issues and resetup (<a href="https://urldefense.com/v3/__https://github.com/aravindavk/gluster-georep-tools__;!!I_DbfM1H!F7q10L7Ll47-D3yZGbN2O2r5kpvRMP5-jO46OzkZu67d3vzF5AozNKd3umkbfJ7_29i2g8TKkhoGfcySbARDGIvyc-VOX7A$" id="OWAb567da68-824c-67b0-40b5-06b9f440d14b" class="OWAAutoLink" data-auth="NotApplicable" data-loopstyle="linkonly">https://github.com/aravindavk/gluster-georep-tools</a>)</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">gluster-georep-setup tier1data drtier1data::drtier1data</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">--</span></div>

<div data-zbluepencil-ignore="true" data-sigid="3848334000000010003" id="x_Zm-_Id_-Sgn">

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 14.6667px; color: rgb(36, 36, 36); background-color: rgb(255, 255, 255);">gluster system:: execute gsec_create</span><br>

<span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 14.6667px; color: rgb(36, 36, 36); background-color: rgb(255, 255, 255);">gluster system:: execute gsec_create</span><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span><br>

</div>

</div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">Kadalu Technologies</span></div>

<div style="line-height: 0px; margin-top: 10px; margin-bottom: 10px; border-top: 1px solid rgb(204, 204, 204); height: 0px;">

<span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div id="x_Zm-_Id_-Sgn1">---- On Wed, 31 Jan 2024 02:49:08 +0530 <b>Anant Saraswat <anant.saraswat@techblue.co.uk></b> wrote ---<br>

</div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi All,</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">As per the documentation, if we use `delete` only

 it will start the replication from the time where it was left before deleting the session, So I tried that without any luck.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(12, 136, 42);">gluster volume geo-replication tier1data drtier1data::drtier1data

 delete</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(12, 136, 42);">gluster volume geo-replication tier1data drtier1data::drtier1data

 create push-pem force</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(12, 136, 42);">gluster volume geo-replication tier1data drtier1data::drtier1data

 start</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(12, 136, 42);">gluster volume geo-replication tier1data drtier1data::drtier1data

 status</span></div>

<div id="x_x_1293087509appendonsend"><br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I have tried to check the drtier1data logs as

 well, and all I can see is master1 connects to drtier1data and send disconnect after 5 seconds, please check the following logs from drtier1data.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30

 21:04:03.016805 +0000] I [MSGID: 114046] [client-handshake.c:857:client_setvolume_cbk] 0-drtier1data-client-0: Connected, attached to remote volume [{conn-name=drtier1data-client-0}, {remote_subvol=/opt/tier1data2019/brick}] </i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:03.020148

 +0000] I [fuse-bridge.c:5296:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.24 kernel 7.33</i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:03.020197

 +0000] I [fuse-bridge.c:5924:fuse_graph_sync] 0-fuse: switched to graph 0</i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:08.573873

 +0000] I [fuse-bridge.c:6233:fuse_thread_proc] 0-fuse: initiating unmount of /tmp/gsyncd-aux-mount-c8c41k2k</i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:08.575131

 +0000] W [glusterfsd.c:1429:cleanup_and_exit] (-->/lib64/libpthread.so.0(+0x817a) [0x7fb907e2e17a] -->/usr/sbin/glusterfs(glusterfs_sigwaiter+0xfd) [0x55f97b17dbfd] -->/usr/sbin/glusterfs(cleanup_and_exit+0x58) [0x55f97b17da48] ) 0-: received signum (15),

 shutting down </i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:08.575227

 +0000] I [fuse-bridge.c:7063:fini] 0-fuse: Unmounting '/tmp/gsyncd-aux-mount-c8c41k2k'.</i></span></div>

<div style="direction: ltr; text-align: left; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 0);"><i>[2024-01-30 21:04:08.575256

 +0000] I [fuse-bridge.c:7068:fini] 0-fuse: Closing fuse connection to '/tmp/gsyncd-aux-mount-c8c41k2k'.</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Can anyone suggest how can I find the reason of

 getting these disconnect requests from master1 or what shall I check next?</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Many thanks,</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">A</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<hr style="direction: ltr; margin-right: 0px; margin-left: 0px; display: inline-block; width: 98%;">

<div id="x_x_1293087509divRplyFwdMsg" dir="ltr"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Gluster-users <<a href="mailto:gluster-users-bounces@gluster.org" id="OWAa8c9ff52-8571-e09c-c009-cb3051a15e91" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users-bounces@gluster.org</a>>

 on behalf of Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWA21ae2fa1-7878-f6d3-d7c3-2acadc3af8df" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

<b>Sent:</b> 30 January 2024 2:14 PM<br>

<b>To:</b> <a href="mailto:gluster-users@gluster.org" id="OWA20c609a1-ffab-bc6f-1fb4-d92a009c5499" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWA87149174-a486-eb1b-668a-f87312fc81d2" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>>;

 Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWA94ddfa1a-2040-b8ea-75d9-5c7af0e1a973" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt; background-color: rgb(250, 247, 190);"><b>EXTERNAL: Do not click links or open attachments if you do not recognize the sender.</b></span></p>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hello Everyone, </div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I am looking for some help. Can anyone please suggest if it's possible to

 promote a master node to be the primary in the geo-replication session?</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">We have three master nodes and one secondary node. We are facing issues

 where geo-replication is consistently failing from the primary master node. We want to check if it works fine from another master node.</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></p>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Any guidance or assistance would be highly appreciated.<br>

<br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Many thanks,</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Anant</div>

<div id="x_x_appendonsend"><br>

</div>

<hr style="direction: ltr; margin-right: 0px; margin-left: 0px; display: inline-block; width: 98%;">

<div id="x_x_divRplyFwdMsg" dir="ltr"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWA2706548b-4545-cb46-2052-0b99122e8211" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

<b>Sent:</b> 29 January 2024 3:55 PM<br>

<b>To:</b> <a href="mailto:gluster-users@gluster.org" id="OWAedc77cca-2a73-38d7-5c36-8c6f3dc7366a" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWA0e0331a9-1e4b-5c02-99a4-b1a585135d90" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>>;

 Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWA375c4242-eb1a-94ec-64aa-6ed05020b898" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi <a href="mailto:hunter86_bg@yahoo.com" id="OWA047b3f5a-c29b-bed7-f995-8229dfaf2208" class="x_x_x_tWKOu x_x_x_mention x_x_x_ms-bgc-nlr x_x_x_ms-fcl-b OWAAutoLink" data-loopstyle="linkonly">

@Strahil Nikolov</a>,</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">We have been running this geo-replication for

 more than 5 years and it was working fine till last week, So I think it shouldn't be something which was missed in the initial setup, but I am unable to understand why it's not working now.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I have enabled SSH Debug on the secondary node(drtier1data),

 and I can see this in the logs.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:52 drtier1data sshd[1268110]:

 debug1: server_input_channel_req: channel 0 request exec reply 1</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:52 drtier1data sshd[1268110]:

 debug1: session_by_channel: session 0 channel 0</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:52 drtier1data sshd[1268110]:

 debug1: session_input_channel_req: session 0 req exec</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:52 drtier1data sshd[1268110]:

 Starting session: command for root from XX.236.28.58 port 53082 id 0</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:52 drtier1data sshd[1268095]:

 debug1: session_new: session 0</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 debug1: Received SIGCHLD.</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 debug1: session_by_pid: pid 1268111</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 debug1: session_exit_message: session 0 channel 0 pid 1268111</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 debug1: session_exit_message: release channel 0</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 Received disconnect from XX.236.28.58 port 53082:11: disconnected by user</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 Disconnected from user root XX.236.28.58 port 53082</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268110]:

 debug1: do_cleanup</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268095]:

 debug1: do_cleanup</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268095]:

 debug1: PAM: cleanup</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268095]:

 debug1: PAM: closing session</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268095]:

 pam_unix(sshd:session): session closed for user root</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Jan 29 14:25:58 drtier1data sshd[1268095]:

 debug1: PAM: deleting credentials</i></span></div>

<div id="x_x_x_appendonsend"><br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">As per the above logs, drtier1data node is getting

</span><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 16px; color: rgb(237, 92, 87); background-color: rgb(255, 255, 255);"><i>SIGCHLD</i></span><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"> from

 master1. (</span><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 16px; color: rgb(237, 92, 87); background-color: rgb(255, 255, 255);"><i>Received disconnect from XX.236.28.58 port 53082:11:

 disconnected by user)</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Also, I have checked the gsyncd.log on master1,

 which says "SSH: SSH connection between master and slave established. [{duration=1.7277}]", which means passwordless ssh is working fine.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">As per my understanding, Master1 can connect to

 the drtier1data server, and then the geo-replication status changes to Active --> History Crawl and then something happens on the master1 which triggers the SSH disconnect.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">is it possible to change the master node in geo-replication

 so that we can mark master2 as primary, instead of master1?</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I am really struggling to fix this issue, Please

 help, any pointer is appreciated !!!</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Many thanks,</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Anant</span></div>

<hr style="direction: ltr; margin-right: 0px; margin-left: 0px; display: inline-block; width: 98%;">

<div dir="ltr" id="x_x_x_divRplyFwdMsg"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Gluster-users <<a href="mailto:gluster-users-bounces@gluster.org" id="OWA34206f0d-3e50-dff5-47f9-15bf71a46bf3" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users-bounces@gluster.org</a>>

 on behalf of Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWAbaf9b1b7-fca3-7d13-2142-bb60f0947dc4" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

<b>Sent:</b> 29 January 2024 12:20 AM<br>

<b>To:</b> <a href="mailto:gluster-users@gluster.org" id="OWA2be4d72f-f98b-7106-3e34-c593b623b927" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWA388de2f0-4057-1f8a-533f-d8419dc7c1d2" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>>;

 Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWA766129c5-e923-3487-c731-4057c3f711cb" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt; background-color: rgb(250, 247, 190);"><b>EXTERNAL: Do not click links or open attachments if you do not recognize the sender.</b></span></p>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">HI

</span><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">Strahil</span><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">,</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">As mentioned in my last email, I have copied the

 gluster </span><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">public key from master3 to secondary server, and I can now ssh from all master nodes to secondary server,

 but still getting the same error.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i><br>

</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i>[root@master1 geo-replication]# ssh root@drtier1data

 -i /var/lib/glusterd/geo-replication/secret.pem</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>Last login: Mon Jan 29 00:14:32 2024 from </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>[root@drtier1data ~]# </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i><br>

</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>[root@master2 ~]# ssh -i /var/lib/glusterd/geo-replication/secret.pem root@drtier1data</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>Last login: Mon Jan 29 00:02:34 2024 from </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>[root@drtier1data ~]# </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i><br>

</i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>[root@master3 ~]# ssh -i /var/lib/glusterd/geo-replication/secret.pem root@drtier1data </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><i>Last login: Mon Jan 29 00:14:41 2024 from </i></span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i>[root@drtier1data ~]#</i></span></div>

<div id="x_x_x_x_appendonsend"><br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Thanks,</div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px; font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Anant</div>

<hr style="direction: ltr; margin-right: 0px; margin-left: 0px; display: inline-block; width: 98%;">

<div id="x_x_x_x_divRplyFwdMsg" dir="ltr"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWA6a95c22e-ff84-0627-ba35-0fd86c85958a" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>><br>

<b>Sent:</b> 28 January 2024 10:07 PM<br>

<b>To:</b> Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWA921671da-f1ef-3cc3-1e0f-3a7ea7dae4f9" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>>;

<a href="mailto:gluster-users@gluster.org" id="OWA6bae010b-5593-a05a-1c4e-6368de27f65b" class="OWAAutoLink" data-loopstyle="linkonly">

gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWAddde45d6-ee18-fc63-8fe0-6cd6c8bb4c04" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(250, 247, 190);"><b>EXTERNAL: Do not click links or

 open attachments if you do not recognize the sender.</b></span></p>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Gluster doesn't use the ssh key in /root/.ssh,

 thus you need to exchange the public key that corresponds to /var/lib/glusterd/geo-replication/secret.pem . If you don't know the pub key, google how to obtain it from the private key.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Ensure that all hosts can ssh to the secondary

 before proceeding with the troubleshooting.</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Best Regards,</span></div>

<div style="direction: ltr; margin-right: 0px; margin-left: 0px;"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Strahil Nikolov<br>

<br>

</span></div>

<blockquote style="margin: 0px 0px 20px;">

<div style="direction: ltr;"><span style="font-family: Roboto, sans-serif; font-size: 12pt; color: rgb(109, 0, 246);">On Sun, Jan 28, 2024 at 15:58, Anant Saraswat</span></div>

<div style="direction: ltr;"><span style="font-family: Roboto, sans-serif; font-size: 12pt; color: rgb(109, 0, 246);"><<a href="mailto:anant.saraswat@techblue.co.uk" id="OWAcf6401f4-0221-58b8-ca3a-b23107cce736" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>>

 wrote:</span></div>

<div style="margin: 10px 0px 0px; padding-top: 10px; padding-left: 20px; border-left: 1px solid rgb(109, 0, 246);">

<div id="x_x_x_x_x_yiv9835342601">

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi All,</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I have now copied

</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 16px; color: rgb(237, 92, 87); background-color: rgb(255, 255, 255);"><i> /var/lib/glusterd/geo-replication/secret.pem.pub 

</i></span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">(public key) from master3 to drtier1data /root/.ssh/authorized_keys, and now I can ssh from master node3 to drtier1data using the

</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">georep key (/var/lib/glusterd/geo-replication/secret.pem).</span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">But I am still getting the same error, and geo-replication is getting faulty again and

 again.</span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i><br>

</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i>[2024-01-28 13:46:38.897683] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449598}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:38.922491] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:38.923127] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:38.923313] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449598},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:39.973584] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:40.98970] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:40.757691] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:40.766860] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:50.793311] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:50.793469] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:50.874474] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:52.659114] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7844}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:52.659461] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:53.698769] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0392}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:53.698984] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:55.831999] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:55.832354] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449615}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:55.854684] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:55.855251] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:55.855419] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449615},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:56.905496] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:57.38262] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:57.704128] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:46:57.706743] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:07.741438] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:07.741582] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:07.821284] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:09.573661] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7521}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:09.573955] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:10.612173] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0381}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:10.612359] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:12.751856] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:12.752237] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449632}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:12.759138] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:12.759690] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:12.759868] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449632},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:13.810321] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:13.924068] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:14.617663] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:14.620035] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:24.646013] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:24.646157] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:24.725510] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:26.491939] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7662}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:26.492235] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:27.530852] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0385}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:27.531036] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:29.670099] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:29.670640] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449649}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:29.696144] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:29.696709] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:29.696899] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449649},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:30.751127] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:30.885824] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:31.535252] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:31.538450] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:41.564276] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:41.564426] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:41.645110] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:43.435830] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7904}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:43.436285] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:44.475671] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0393}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:44.475865] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:46.630478] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:46.630924] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449666}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:46.655069] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:46.655752] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:46.655926] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449666},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:47.706875] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:47.834996] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:48.480822] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:48.491306] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:58.518263] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:58.518412] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:47:58.601096] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:00.355000] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7537}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:00.355345] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:01.395025] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0396}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:01.395212] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:03.541059] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:03.541481] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449683}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:03.567552] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:03.568172] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:03.568376] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449683},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:04.621488] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:04.742268] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:04.919335] I [master(worker /opt/tier1data2019/brick):2013:syncjob] Syncer: Sync Time Taken [{job=3}, {num_files=10}, {return_code=3}, {duration=0.0180}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:04.919919] E [syncdutils(worker /opt/tier1data2019/brick):847:errlog] Popen: command returned error [{cmd=rsync -aR0 --inplace --files-from=- --super --stats

 --numeric-ids --no-implied-dirs --existing --xattrs --acls --ignore-missing-args . -e ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replication/secret.pem -p 22 -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-zo_ev6yu/75785990b3233f5dbbab9f43cc3ed895.sock

 drtier1data:/proc/799165/cwd}, {error=3}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:05.399226] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:05.403931] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:15.430175] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:15.430308] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:15.510770] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:17.240311] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7294}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:17.240509] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:18.279007] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0384}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:18.279195] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:20.455937] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:20.456274] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706449700}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:20.464288] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:20.464807] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:20.464970] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706449700},

 {entry_stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:21.514201] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:21.644609] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:22.284920] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:22.286189] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:32.312378] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:32.312526] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:32.393484] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0);"><i>[2024-01-28 13:48:34.91825] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.6981}]</i></span></div>

<div style="direction: ltr;"><span style="font-size: 10pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><i>[2024-01-28 13:48:34.92130] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...</i></span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">Thanks,</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">Anant</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<hr style="direction: ltr; display: inline-block; width: 98%;">

<div id="x_x_x_x_x_yiv9835342601yqt01645" class="x_x_x_x_x_yiv9835342601yqt0981169724">

<div dir="ltr" id="x_x_x_x_x_yiv9835342601divRplyFwdMsg"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWA345625bc-1ce8-3df2-55cb-293daa248a80" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

<b>Sent:</b> 28 January 2024 1:33 AM<br>

<b>To:</b> Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWA9d394f25-e46f-37d0-3324-b47b6c8978da" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>>;

<a href="mailto:gluster-users@gluster.org" id="OWAca843353-8c10-81f6-2982-512f70e16adf" class="OWAAutoLink" data-loopstyle="linkonly">

gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWA20777fa9-dcc0-2540-ad47-49fb357530d9" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Hi <a href="mailto:hunter86_bg@yahoo.com" id="OWA4c92c6fa-c494-97e1-b295-75661aaf4b0d" class="x_x_x_x_x_yiv9835342601x_tWKOu x_x_x_x_x_yiv9835342601x_mention x_x_x_x_x_yiv9835342601x_ms-bgc-nlr x_x_x_x_x_yiv9835342601x_ms-fcl-b x_x_x_x_OWAAutoLink" data-loopstyle="linkonly">

@Strahil Nikolov</a>,</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">I have checked the ssh connection from all the master servers and I can ssh

</span><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">drtier1data</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"> from master1 and master2 server(old

 master servers), but I am unable to ssh </span><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">drtier1data</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"> from

 master3 (new node).</span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>[root@master3 ~]# ssh -i /var/lib/glusterd/geo-replication/secret.pem root@drtier1data</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Traceback (most recent call last):</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>  File "/usr/libexec/glusterfs/python/syncdaemon/gsyncd.py", line 325, in <module></i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>    main()</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>  File "/usr/libexec/glusterfs/python/syncdaemon/gsyncd.py", line 259, in main</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>    if args.subcmd in ("worker"):</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>TypeError: 'in <string>' requires string as left operand, not NoneType</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(237, 92, 87);"><i>Connection to drtier1data closed.</i></span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><b>But</b> I am able to ssh

</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"> </span><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">drtier1data</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"> from

 master3</span><span style="font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"> without using the

</span><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">georep key.</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(12, 136, 42); background-color: rgb(255, 255, 255);">[root@master3 ~]# ssh  root@drtier1data</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(12, 136, 42);">Last login: Sun Jan 28 01:16:25 2024 from 87.246.74.32</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(12, 136, 42); background-color: rgb(255, 255, 255);">[root@drtier1data ~]# </span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">Also, today I restarted the gluster server on master1 as geo-replication is trying to be active from master1 server, and sometimes I

 am getting the following error in gsyncd.log</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);"><br>

</span></div>

<div style="direction: ltr;"><span style="font-size: 14.6667px; color: rgb(200, 38, 19); background-color: rgb(255, 255, 255);"><i>[2024-01-28 01:27:24.722663] E [syncdutils(worker /opt/tier1data2019/brick):847:errlog] Popen: command returned error [{cmd=rsync

 -aR0 --inplace --files-from=- --super --stats --numeric-ids --no-implied-dirs --existing --xattrs --acls --ignore-missing-args . -e ssh -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i /var/lib/glusterd/geo-replication/secret.pem -p 22 -oControlMaster=auto

 -S /tmp/gsyncd-aux-ssh-0exuoeg7/75785990b3233f5dbbab9f43cc3ed895.sock drtier1data:/proc/553418/cwd}, {error=3}]</i></span></div>

<div id="x_x_x_x_x_yiv9835342601x_appendonsend"><br>

</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Many thanks,</div>

<div style="direction: ltr; font-family: Aptos, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Anant</div>

<hr style="direction: ltr; display: inline-block; width: 98%;">

<div dir="ltr" id="x_x_x_x_x_yiv9835342601x_divRplyFwdMsg"><span style="font-family: Calibri, sans-serif; font-size: 11pt; color: rgb(0, 0, 0);"><b>From:</b> Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWAbde9a2ea-a78f-de85-b82a-b08be57333c6" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>><br>

<b>Sent:</b> 27 January 2024 5:25 AM<br>

<b>To:</b> <a href="mailto:gluster-users@gluster.org" id="OWA3e0c416d-0543-6720-db0d-31cda14ea666" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWA902b7dc0-600d-626c-2796-aacefc180868" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>>;

 Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWAa83e98df-6c9c-4b04-9a4d-beb8c1a316f6" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

<b>Subject:</b> Re: [Gluster-users] Geo-replication status is getting Faulty after few seconds</span>

<div> </div>

</div>

<div style="direction: ltr;"><span style="font-size: 11pt;">EXTERNAL: Do not click links or open attachments if you do not recognize the sender.<br>

<br>

Don't forget to test with the georep key. I think it was /var/lib/glusterd/geo-replication/secret.pem<br>

<br>

Best Regards,<br>

Strahil Nikolov<br>

<br>

<br>

В събота, 27 януари 2024 г. в 07:24:07 ч. Гринуич+2, Strahil Nikolov <<a href="mailto:hunter86_bg@yahoo.com" id="OWAcb73fb79-f053-4f83-9fea-5afe7be1a683" class="OWAAutoLink" data-loopstyle="linkonly">hunter86_bg@yahoo.com</a>> написа:<br>

<br>

<br>

<br>

<br>

<br>

Hi Anant,<br>

<br>

i would first start checking if you can do ssh from all masters to the slave node.If you haven't setup a dedicated user for the session, then gluster is using root.<br>

<br>

Best Regards,<br>

Strahil Nikolov<br>

<br>

<br>

<br>

<br>

<br>

<br>

В петък, 26 януари 2024 г. в 18:07:59 ч. Гринуич+2, Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWA1d675f13-e025-d392-91b6-af448438820b" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>> написа:<br>

<br>

<br>

<br>

<br>

<br>

<br>

<br>

Hi All,<br>

<br>

<br>

<br>

<br>

I have run the following commands on master3, and that has added master3 to geo-replication.<br>

<br>

<br>

<br>

<br>

gluster system:: execute gsec_create<br>

<br>

gluster volume geo-replication tier1data drtier1data::drtier1data create push-pem force<br>

<br>

gluster volume geo-replication tier1data drtier1data::drtier1data stop<br>

<br>

gluster volume geo-replication tier1data drtier1data::drtier1data start<br>

<br>

<br>

<br>

Now I am able to start the geo-replication, but I am getting the same error.<br>

<br>

<br>

<br>

[2024-01-24 19:51:24.80892] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Initializing...}]<br>

<br>

[2024-01-24 19:51:24.81020] I [monitor(monitor):160:monitor] Monitor: starting gsyncd worker [{brick=/opt/tier1data2019/brick}, {slave_node=drtier1data}]<br>

<br>

[2024-01-24 19:51:24.158021] I [resource(worker /opt/tier1data2019/brick):1387:connect_remote] SSH: Initializing SSH connection between master and slave...<br>

<br>

[2024-01-24 19:51:25.951998] I [resource(worker /opt/tier1data2019/brick):1436:connect_remote] SSH: SSH connection between master and slave established. [{duration=1.7938}]<br>

<br>

[2024-01-24 19:51:25.952292] I [resource(worker /opt/tier1data2019/brick):1116:connect] GLUSTER: Mounting gluster volume locally...<br>

<br>

[2024-01-24 19:51:26.986974] I [resource(worker /opt/tier1data2019/brick):1139:connect] GLUSTER: Mounted gluster volume [{duration=1.0346}]<br>

<br>

[2024-01-24 19:51:26.987137] I [subcmds(worker /opt/tier1data2019/brick):84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to monitor<br>

<br>

[2024-01-24 19:51:29.139131] I [master(worker /opt/tier1data2019/brick):1662:register] _GMaster: Working dir [{path=/var/lib/misc/gluster/gsyncd/tier1data_drtier1data_drtier1data/opt-tier1data2019-brick}]<br>

<br>

[2024-01-24 19:51:29.139531] I [resource(worker /opt/tier1data2019/brick):1292:service_loop] GLUSTER: Register time [{time=1706125889}]<br>

<br>

[2024-01-24 19:51:29.173877] I [gsyncdstatus(worker /opt/tier1data2019/brick):281:set_active] GeorepStatus: Worker Status Change [{status=Active}]<br>

<br>

[2024-01-24 19:51:29.174407] I [gsyncdstatus(worker /opt/tier1data2019/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change [{status=History Crawl}]<br>

<br>

[2024-01-24 19:51:29.174558] I [master(worker /opt/tier1data2019/brick):1576:crawl] _GMaster: starting history crawl [{turns=1}, {stime=(1705935991, 0)}, {etime=1706125889}, {entry_stime=(1705935991, 0)}]<br>

<br>

[2024-01-24 19:51:30.251965] I [master(worker /opt/tier1data2019/brick):1605:crawl] _GMaster: slave's time [{stime=(1705935991, 0)}]<br>

<br>

[2024-01-24 19:51:30.376715] E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]<br>

<br>

[2024-01-24 19:51:30.991856] I [monitor(monitor):228:monitor] Monitor: worker died in startup phase [{brick=/opt/tier1data2019/brick}]<br>

<br>

[2024-01-24 19:51:30.993608] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change [{status=Faulty}]<br>

<br>

Any idea why it's stuck in this loop?<br>

<br>

<br>

<br>

Thanks,<br>

<br>

Anant<br>

<br>

<br>

<br>

<br>

<br>

________________________________<br>

From: Gluster-users <<a href="mailto:gluster-users-bounces@gluster.org" id="OWAd0b31a43-39bd-4877-97ad-a656e7f93b93" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users-bounces@gluster.org</a>> on behalf of Anant Saraswat <<a href="mailto:anant.saraswat@techblue.co.uk" id="OWAfbbec61f-ab22-bd34-065e-95358964ba43" class="OWAAutoLink" data-loopstyle="linkonly">anant.saraswat@techblue.co.uk</a>><br>

Sent: 22 January 2024 9:00 PM<br>

To: <a href="mailto:gluster-users@gluster.org" id="OWA7b135fae-bbe9-f2b9-8aae-1ef3e8092947" class="OWAAutoLink" data-loopstyle="linkonly">

gluster-users@gluster.org</a> <<a href="mailto:gluster-users@gluster.org" id="OWAf6be428d-36bf-0feb-1ba2-b0f8019e97e3" class="OWAAutoLink" data-loopstyle="linkonly">gluster-users@gluster.org</a>><br>

Subject: [Gluster-users] Geo-replication status is getting Faulty after few seconds<br>

<br>

<br>

<br>

EXTERNAL: Do not click links or open attachments if you do not recognize the sender.<br>

<br>

Hi There,<br>

<br>

<br>

<br>

<br>

We have a Gluster setup with three master nodes in replicated mode and one slave node with geo-replication.<br>

<br>

<br>

<br>

<br>

# gluster volume info<br>

<br>

Volume Name: tier1data<br>

<br>

Type: Replicate<br>

<br>

Volume ID: 93c45c14-f700-4d50-962b-7653be471e27<br>

<br>

Status: Started<br>

<br>

Snapshot Count: 0<br>

<br>

Number of Bricks: 1 x 3 = 3<br>

<br>

Transport-type: tcp<br>

<br>

Bricks:<br>

<br>

Brick1: master1:/opt/tier1data2019/brick<br>

<br>

Brick2: master2:/opt/tier1data2019/brick<br>

<br>

Brick3: master3:/opt/tier1data2019/brick<br>

<br>

<br>

<br>

<br>

<br>

master1 |master2 |  ------------------------------geo-replication----------------------------- | drtier1datamaster3 |<br>

<br>

<br>

<br>

We added the master3 node a few months back, the initial setup consisted of 2 master nodes and one geo-replicated slave(drtier1data).<br>

<br>

<br>

<br>

Our geo-replication was functioning well with the initial two master nodes (master1 and master2), where master1 was active and master2 was in passive mode. However, today, we started experiencing issues where geo-replication suddenly stopped and became stuck

 in a loop of Initializing..., Active.. Faulty on master1, while master2 remained in passive mode.<br>

<br>

<br>

<br>

Upon checking the gsyncd.log on the master1 node, we observed the following error (please refer to the attached logs for more details):<br>

<br>

E [syncdutils(worker /opt/tier1data2019/brick):346:log_raise_exception] <top>: Gluster Mount process exited [{error=ENOTCONN}]<br>

<br>

<br>

<br>

# gluster volume geo-replication tier1data status<br>

<br>

MASTER NODE            MASTER VOL    MASTER BRICK                SLAVE USER    SLAVE                                            SLAVE NODE    STATUS             CRAWL STATUS    LAST_SYNCED<br>

<br>

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br>

<br>

master1    tier1data     /opt/tier1data2019/brick    root          ssh://drtier1data::drtier1data    N/A           Faulty           N/A             N/A<br>

<br>

master2    tier1data     /opt/tier1data2019/brick    root          ssh://drtier1data::drtier1data                  Passive            N/A             N/A<br>

<br>

<br>

<br>

Suspecting an issue on the drtier1data(slave), I attempted to restart Gluster on the slave node, also tried to restart drtier1data server without any luck.<br>

<br>

<br>

<br>

After that I tried the following command to get the Primary-log-file for geo-replication on master1, and got the following error.<br>

<br>

<br>

<br>

# gluster volume geo-replication tier1data drtier1data::drtier1data config log-file<br>

<br>

Staging failed on master3. Error: Geo-replication session between tier1data and drtier1data::drtier1data does not exist.<br>

<br>

geo-replication command failed<br>

<br>

<br>

<br>

<br>

Master3 was the new node added a few months back, but geo-replication was working until today, and we never added this node under geo-replication.<br>

<br>

After that, I forcefully stopped the geo-replication, thinking that restarting geo-replication might fix the issue. However, now the geo-replication is not starting and is giving the same error.<br>

<br>

# gluster volume geo-replication tier1data drtier1data::drtier1data start force<br>

<br>

Staging failed on master3. Error: Geo-replication session between tier1data and drtier1data::drtier1data does not exist.<br>

<br>

geo-replication command failed<br>

<br>

Can anyone please suggest what I should do next to resolve this issue? As there is 5TB of data in this volume, I don't want to resync the entire data to drtier1data. Instead, I want to resume the sync from where it last stopped.<br>

<br>

<br>

<br>

Thanks in advance for any guidance/help.<br>

<br>

<br>

<br>

Kind regards,<br>

<br>

Anant<br>

<br>

<br>

<br>

DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you have received this email in error, please notify the sender. This message contains confidential

 information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please notify the sender immediately by email if you have received this email by mistake and delete this

 email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.<br>

<br>

<br>

<br>

DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you have received this email in error, please notify the sender. This message contains confidential

 information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please notify the sender immediately by email if you have received this email by mistake and delete this

 email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.<br>

<br>

________<br>

<br>

<br>

<br>

Community Meeting Calendar:<br>

<br>

Schedule -<br>

Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>

Bridge: <a href="https://urldefense.com/v3/__https://meet.google.com/cpu-eiue-hvk__;!!I_DbfM1H!FIFMVBFvoomIXp1pMhjtLbD-1B_qztpAUPBHP5MST7a1hcf3FP8o6GkbQwzQUnS2nT_YIQ1MF7GV_PtM0CAQoOCo4VSgaw$" id="OWA0e1427d5-3ddc-31a1-afbf-9c5eb28124dd" class="x_x_x_x_x_yiv9835342601x_OWAAutoLink" data-auth="NotApplicable" data-loopstyle="linkonly">

https://urldefense.com/v3/__https://meet.google.com/cpu-eiue-hvk__;!!I_DbfM1H!FIFMVBFvoomIXp1pMhjtLbD-1B_qztpAUPBHP5MST7a1hcf3FP8o6GkbQwzQUnS2nT_YIQ1MF7GV_PtM0CAQoOCo4VSgaw$</a><br>

Gluster-users mailing list<br>

<a href="mailto:Gluster-users@gluster.org" id="OWA9c21dce6-bd49-bea8-31cc-902ecd4eb2f0" class="OWAAutoLink" data-loopstyle="linkonly">Gluster-users@gluster.org</a><br>

<a href="https://urldefense.com/v3/__https://lists.gluster.org/mailman/listinfo/gluster-users__;!!I_DbfM1H!FIFMVBFvoomIXp1pMhjtLbD-1B_qztpAUPBHP5MST7a1hcf3FP8o6GkbQwzQUnS2nT_YIQ1MF7GV_PtM0CAQoOBrmvmlMg$" id="OWA5f1ac30f-51d7-9788-6a89-bc3aa72178c6" class="x_x_x_x_x_yiv9835342601x_OWAAutoLink" data-auth="NotApplicable" data-loopstyle="linkonly">https://urldefense.com/v3/__https://lists.gluster.org/mailman/listinfo/gluster-users__;!!I_DbfM1H!FIFMVBFvoomIXp1pMhjtLbD-1B_qztpAUPBHP5MST7a1hcf3FP8o6GkbQwzQUnS2nT_YIQ1MF7GV_PtM0CAQoOBrmvmlMg$</a></span></div>

<p style="margin-top: 0px; margin-bottom: 0px;"><span style="font-family: ARIAL; font-size: 10pt;">DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed.

 If you have received this email in error, please notify the sender. This message contains confidential information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email.

 Please notify the sender immediately by email if you have received this email by mistake and delete this email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.</span></p>

</div>

</div>

</div>

</blockquote>

<p style="direction: ltr; margin: 0px;"><span style="font-family: ARIAL; font-size: 10pt;">DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you

 have received this email in error, please notify the sender. This message contains confidential information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please

 notify the sender immediately by email if you have received this email by mistake and delete this email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: ARIAL; font-size: 10pt;">DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you

 have received this email in error, please notify the sender. This message contains confidential information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please

 notify the sender immediately by email if you have received this email by mistake and delete this email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></p>

<p style="direction: ltr; margin: 0px;"><span style="font-family: ARIAL; font-size: 10pt;">DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you

 have received this email in error, please notify the sender. This message contains confidential information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please

 notify the sender immediately by email if you have received this email by mistake and delete this email from your system.<br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.</span></p>

<div style="margin-right: 0px; margin-left: 0px;"><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;">________<br>

<br>

<br>

<br>

Community Meeting Calendar:<br>

<br>

Schedule -<br>

Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br>

Bridge: <a href="https://urldefense.com/v3/__https://meet.google.com/cpu-eiue-hvk__;!!I_DbfM1H!F7q10L7Ll47-D3yZGbN2O2r5kpvRMP5-jO46OzkZu67d3vzF5AozNKd3umkbfJ7_29i2g8TKkhoGfcySbARDGIvy66WGiu4$" id="OWAb2d52c74-73b6-c01f-6292-7508c4cd222e" class="OWAAutoLink" data-auth="NotApplicable" data-loopstyle="linkonly">

https://meet.google.com/cpu-eiue-hvk</a><br>

Gluster-users mailing list<br>

Gluster-users@gluster.org<br>

<a href="https://urldefense.com/v3/__https://lists.gluster.org/mailman/listinfo/gluster-users__;!!I_DbfM1H!F7q10L7Ll47-D3yZGbN2O2r5kpvRMP5-jO46OzkZu67d3vzF5AozNKd3umkbfJ7_29i2g8TKkhoGfcySbARDGIvyRXX72tM$" id="OWA8e3a5e05-8f76-55fd-9be3-a7ac426cb5a9" class="OWAAutoLink" data-auth="NotApplicable" data-loopstyle="linkonly">https://lists.gluster.org/mailman/listinfo/gluster-users</a></span></div>

<div><span style="font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 10pt;"><br>

</span></div>

<br>

<p style="FONT-SIZE: 10pt; FONT-FAMILY: ARIAL"><span style="FONT-FAMILY: Calibri Light"></p>

<p style="FONT-SIZE: 10pt; FONT-FAMILY: ARIAL">DISCLAIMER: This email and any files transmitted with it are confidential and intended solely for the use of the individual or entity to whom they are addressed. If you have received this email in error, please

 notify the sender. This message contains confidential information and is intended only for the individual named. If you are not the named addressee, you should not disseminate, distribute or copy this email. Please notify the sender immediately by email if

 you have received this email by mistake and delete this email from your system. <br>

<br>

If you are not the intended recipient, you are notified that disclosing, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. Thanks for your cooperation.

</span></p>

</body>

</html>