Do you have a lot of small files ?<div id="yMail_cursorElementTracker_1631589986879">What is the bandwidth between source volume nodes and secondary nodes ?</div><div id="yMail_cursorElementTracker_1631590005207"><br></div><div id="yMail_cursorElementTracker_1631590005390">Usually Hibrid crawl is when the geo-rep is in xsync mode and once all the data (at the moment of start) had been transferred,  geo-rep switches to changelog.</div><div id="yMail_cursorElementTracker_1631590069278"><br></div><div id="yMail_cursorElementTracker_1631590069457"><br></div><div id="yMail_cursorElementTracker_1631590069635">Best Regards,</div><div id="yMail_cursorElementTracker_1631590074742">Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Tue, Sep 14, 2021 at 1:06, Boubacar Cisse</div><div><cboubacar@gmail.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div id="yiv5759600653"><div><div dir="ltr">Hi,<br clear="none"><br clear="none">Yes, I have checked both /var/log/gluster/geo-replication/<primaryvol_slavenode_slavevol> (on primary nodes) and /var/log/gluster/geo-replication-slaves/<primaryvol_slavenode_slavevol> (on slave node) but not finding any relevant information despite the fact that I've set all log levels to DEBUG. Looked at gsyncd.logs and bricks logs. At this point, I'm not even certain geo-replication is actually working. df command on slave indicates that the volume's brick is being filled with data but can't figure out how to confirm that things are actually working but just slow. I have deleted the geo-replication session, reset the bricks and started a new session but still no luck. Data on volume is less than 20 GB but process has been stuck in "Hybrid Crawl" for over a week.<br clear="none"><br clear="none"><br clear="none">*** gsyncd.log on primary ***<br clear="none">[2021-09-13 21:53:08.4801] D [repce(worker /gfs2-data/brick):195:push] RepceClient: call 25808:140134674573056:1631569988.0047505 keep_alive({'version': (1, 0), 'uuid': '560520f1-d06a-47d9-af6d-153c68016e82', 'retval': 0, 'volume_mark': (1551463906, 939763), 'timeout': 1631570108},) ...<br clear="none">[2021-09-13 21:53:08.40326] D [repce(worker /gfs2-data/brick):215:__call__] RepceClient: call 25808:140134674573056:1631569988.0047505 keep_alive -> 23<br clear="none">[2021-09-13 21:53:11.200769] D [master(worker /gfs2-data/brick):554:crawlwrap] _GMaster: ... crawl #0 done, took 5.043846 seconds<br clear="none">[2021-09-13 21:53:11.237383] D [master(worker /gfs2-data/brick):578:crawlwrap] _GMaster: Crawl info     cluster_stime=61        brick_stime=(-1, 0)<br clear="none">[2021-09-13 21:53:16.240783] D [master(worker /gfs2-data/brick):554:crawlwrap] _GMaster: ... crawl #0 done, took 5.039845 seconds<br clear="none">[2021-09-13 21:53:16.642778] D [master(worker /gfs2-data/brick):578:crawlwrap] _GMaster: Crawl info     cluster_stime=61        brick_stime=(-1, 0)<br clear="none">[2021-09-13 21:53:21.647924] D [master(worker /gfs2-data/brick):554:crawlwrap] _GMaster: ... crawl #0 done, took 5.406957 seconds<br clear="none">[2021-09-13 21:53:21.648072] D [master(worker /gfs2-data/brick):560:crawlwrap] _GMaster: 0 crawls, 0 turns<br clear="none"><br clear="none"><br clear="none">*** gsyncd.log on slave *** [MESSAGE KEEPS REPEATING]<br clear="none">{'op': 'META', 'skip_entry': False, 'go': '.gfid/341e4a74-b783-4d03-b678-13cd83691ca2', 'stat': {'uid': 33, 'gid': 33, 'mode': 16877, 'atime': 1620058938.6504347, 'mtime': 1630466794.4308176}},<br clear="none">{'op': 'META', 'skip_entry': False, 'go': '.gfid/454dc70d-e57f-4166-b9b1-9dcbc88906ad', 'stat': {'uid': 33, 'gid': 33, 'mode': 16877, 'atime': 1625766157.52317, 'mtime': 1627944976.2114644}},<br clear="none">{'op': 'META', 'skip_entry': False, 'go': '.gfid/f7a63767-3ec3-444f-8890-f6bdc569317a', 'stat': {'uid': 33, 'gid': 33, 'mode': 16877, 'atime': 1623954033.0488186, 'mtime': 1630506668.4986405}},<br clear="none">{'op': 'META', 'skip_entry': False, 'go': '.gfid/e52237fc-d8a7-43e6-8e1d-3f66b6e17bed', 'stat': {'uid': 33, 'gid': 33, 'mode': 16877, 'atime': 1623689028.9785645, 'mtime': 1631113995.6731815}}]<br clear="none">[2021-09-13 21:31:51.388329] I [resource(slave media01/gfs2-data/brick):1098:connect] GLUSTER: Mounting gluster volume locally...<br clear="none">[2021-09-13 21:31:51.490466] D [resource(slave media01/gfs2-data/brick):872:inhibit] MountbrokerMounter: auxiliary glusterfs mount in place<br clear="none">[2021-09-13 21:31:52.579018] D [resource(slave media01/gfs2-data/brick):939:inhibit] MountbrokerMounter: Lazy umount done: /var/mountbroker-root/mb_hive/mntWa5v9P<br clear="none">[2021-09-13 21:31:52.579506] D [resource(slave media01/gfs2-data/brick):946:inhibit] MountbrokerMounter: auxiliary glusterfs mount prepared<br clear="none">[2021-09-13 21:31:52.579624] I [resource(slave media01/gfs2-data/brick):1121:connect] GLUSTER: Mounted gluster volume   duration=1.1912<br clear="none">[2021-09-13 21:31:52.580047] I [resource(slave media01/gfs2-data/brick):1148:service_loop] GLUSTER: slave listening<br clear="none"><br clear="none">Regards,<br clear="none"><div><div class="yiv5759600653gmail_signature" dir="ltr"><div dir="ltr"><br clear="none"></div><div dir="ltr">-Boubacar</div></div></div><br clear="none"></div><br clear="none"><div class="yiv5759600653yqt1747778375" id="yiv5759600653yqt66741"><div class="yiv5759600653gmail_quote"><div class="yiv5759600653gmail_attr" dir="ltr">On Mon, Sep 13, 2021 at 7:53 AM Strahil Nikolov <<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:hunter86_bg@yahoo.com" target="_blank" href="mailto:hunter86_bg@yahoo.com">hunter86_bg@yahoo.com</a>> wrote:<br clear="none"></div><blockquote class="yiv5759600653gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex;">Did you check the logs on the primary nodes /var/log/gluster/geo-replication/<primaryvol_slavenode_slavevol>/ ?<div id="yiv5759600653gmail-m_5550937540513027995yMail_cursorElementTracker_1631537579497"><br clear="none"></div><div id="yiv5759600653gmail-m_5550937540513027995yMail_cursorElementTracker_1631537579736">Best Regards,</div><div id="yiv5759600653gmail-m_5550937540513027995yMail_cursorElementTracker_1631537585625">Strahil Nikolov<br clear="none"> <br clear="none"> <blockquote style="margin:0px 0px 20px;"> <div style="font-family:Roboto, sans-serif;color:rgb(109,0,246);"> <div>On Mon, Sep 13, 2021 at 14:55, Boubacar Cisse</div><div><<a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:cboubacar@gmail.com" target="_blank" href="mailto:cboubacar@gmail.com">cboubacar@gmail.com</a>> wrote:</div> </div> <div style="padding:10px 0px 0px 20px;margin:10px 0px 0px;border-left:1px solid rgb(109,0,246);"> <div id="yiv5759600653gmail-m_5550937540513027995yiv6453440336"><div dir="ltr"><div>Currently using gluster 6.10 and have configured geo replication but crawl status has been stuck in "Hybrid Crawl" for weeks now. Can't find any potential issues in logs and data appears to be transferred even though extremely slowly. Any suggestions on what else to look for to help troubleshoot this issue? Any help will be appreciated.</div><div><br clear="none"></div><div>root@host01:~# gluster --version<br clear="none">glusterfs 6.10<br clear="none">Repository revision: git://<a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a><br clear="none">Copyright (c) 2006-2016 Red Hat, Inc. <<a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://www.gluster.org/">https://www.gluster.org/</a>><br clear="none">GlusterFS comes with ABSOLUTELY NO WARRANTY.<br clear="none">It is licensed to you under your choice of the GNU Lesser<br clear="none">General Public License, version 3 or any later version (LGPLv3<br clear="none">or later), or the GNU General Public License, version 2 (GPLv2),<br clear="none">in all cases as published by the Free Software Foundation.</div><div><br clear="none"></div><div><br clear="none">root@host01:~# gluster volume geo-replication gfs1 geo-user@host03::gfs1 status<br clear="none"><br clear="none">MASTER NODE    MASTER VOL    MASTER BRICK        SLAVE USER    SLAVE                          SLAVE NODE    STATUS     CRAWL STATUS    LAST_SYNCED<br clear="none">-------------------------------------------------------------------------------------------------------------------------------------------------<br clear="none">host01        gfs1          /gfs1-data/brick    geo-user      geo-user@host03::gfs1    host03       Active     Hybrid Crawl    N/A<br clear="none">host02        gfs1          /gfs1-data/brick    geo-user      geo-user@host03::gfs1    host03       Passive    N/A             N/A<br clear="none"></div><div><br clear="none"></div><div>Regards</div><br clear="all"><div><div dir="ltr"><div dir="ltr">-Boubacar</div></div></div></div>
</div>________<br clear="none"><br clear="none"><br clear="none"><br clear="none">Community Meeting Calendar:<br clear="none"><br clear="none">Schedule -<br clear="none">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br clear="none">Bridge: <a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://meet.google.com/cpu-eiue-hvk">https://meet.google.com/cpu-eiue-hvk</a><br clear="none">Gluster-users mailing list<br clear="none"><a rel="nofollow noopener noreferrer" shape="rect" ymailto="mailto:Gluster-users@gluster.org" target="_blank" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br clear="none"><a rel="nofollow noopener noreferrer" shape="rect" target="_blank" href="https://lists.gluster.org/mailman/listinfo/gluster-users">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br clear="none"> </div> </blockquote></div></blockquote></div></div>
</div></div> </div> </blockquote></div>