[Gluster-users] Geo-Replication File not Found on /.glusterfs/XX/XX/XXXXXXXXXXXX
Senén Vidal Blanco
senenvidal at sgisoft.com
Wed Mar 25 18:37:36 UTC 2020
Hi,
I have verified that the system is read-only, it does not let me delete or
create files inside the slave volume.
I send you logs of what I have before stopping the Geo-replication.
Archivos.log
------------------
[2020-03-18 20:47:57.950339] I [MSGID: 100030] [glusterfsd.c:2867:main] 0-/
usr/sbin/glusterfs: Started running /usr/sbin/glusterfs version 7.3 (args: /
usr/sbin/glusterfs --acl --process-name fuse --volfile-server=samil --volfile-
id=/archivossamil /archivos)
[2020-03-18 20:47:57.952274] I [glusterfsd.c:2594:daemonize] 0-glusterfs: Pid
of current running process is 5779
[2020-03-18 20:47:57.959404] I [MSGID: 101190] [event-epoll.c:
682:event_dispatch_epoll_worker] 0-epoll: Started thread with index 0
[2020-03-18 20:47:57.959535] I [MSGID: 101190] [event-epoll.c:
682:event_dispatch_epoll_worker] 0-epoll: Started thread with index 1
[2020-03-18 20:47:57.978600] I [MSGID: 114020] [client.c:2436:notify] 0-
archivossamil-client-0: parent translators are ready, attempting connect on
transport
Final graph:
+------------------------------------------------------------------------------
+
1: volume archivossamil-client-0
2: type protocol/client
3: option ping-timeout 42
4: option remote-host samil
5: option remote-subvolume /brickarchivos/archivos
6: option transport-type socket
7: option transport.address-family inet
8: option username 892b695d-8a06-42d8-9502-87146d2eab50
9: option password 37130c51-989b-420d-a8d2-46bb3255435a
10: option transport.socket.ssl-enabled off
11: option transport.tcp-user-timeout 0
12: option transport.socket.keepalive-time 20
13: option transport.socket.keepalive-interval 2
14: option transport.socket.keepalive-count 9
15: option send-gids true
16: end-volume
17:
18: volume archivossamil-dht
19: type cluster/distribute
20: option lock-migration off
21: option force-migration off
22: subvolumes archivossamil-client-0
23: end-volume
24:
25: volume archivossamil-utime
26: type features/utime
27: option noatime on
28: subvolumes archivossamil-dht
29: end-volume
30:
31: volume archivossamil-write-behind
32: type performance/write-behind
33: subvolumes archivossamil-utime
34: end-volume
35:
36: volume archivossamil-read-ahead
37: type performance/read-ahead
38: subvolumes archivossamil-write-behind
39: end-volume
40:
41: volume archivossamil-readdir-ahead
42: type performance/readdir-ahead
43: option parallel-readdir off
44: option rda-request-size 131072
45: option rda-cache-limit 10MB
46: subvolumes archivossamil-read-ahead
47: end-volume
48:
49: volume archivossamil-io-cache
50: type performance/io-cache
51: subvolumes archivossamil-readdir-ahead
52: end-volume
53:
54: volume archivossamil-open-behind
55: type performance/open-behind
56: subvolumes archivossamil-io-cache
57: end-volume
58:
59: volume archivossamil-quick-read
60: type performance/quick-read
61: subvolumes archivossamil-open-behind
62: end-volume
63:
64: volume archivossamil-md-cache
65: type performance/md-cache
66: option cache-posix-acl true
67: subvolumes archivossamil-quick-read
68: end-volume
69:
70: volume archivossamil-io-threads
71: type performance/io-threads
72: subvolumes archivossamil-md-cache
73: end-volume
74:
75: volume archivossamil
76: type debug/io-stats
77: option log-level INFO
78: option threads 16
79: option latency-measurement off
80: option count-fop-hits off
81: option global-threading off
82: subvolumes archivossamil-io-threads
83: end-volume
84:
85: volume posix-acl-autoload
86: type system/posix-acl
87: subvolumes archivossamil
88: end-volume
89:
90: volume meta-autoload
91: type meta
92: subvolumes posix-acl-autoload
93: end-volume
94:
+------------------------------------------------------------------------------
+
[2020-03-18 20:47:57.979407] I [rpc-clnt.c:1963:rpc_clnt_reconfig] 0-
archivossamil-client-0: changing port to 49153 (from 0)
[2020-03-18 20:47:57.979662] I [socket.c:865:__socket_shutdown] 0-
archivossamil-client-0: intentional socket shutdown(12)
[2020-03-18 20:47:57.980195] I [MSGID: 114057] [client-handshake.c:
1375:select_server_supported_programs] 0-archivossamil-client-0: Using Program
GlusterFS 4.x v1, Num (1298437), Version (400)
[2020-03-18 20:47:57.983891] I [MSGID: 114046] [client-handshake.c:
1105:client_setvolume_cbk] 0-archivossamil-client-0: Connected to
archivossamil-client-0, attached to remote volume '/brickarchivos/archivos'.
[2020-03-18 20:47:57.985173] I [fuse-bridge.c:5166:fuse_init] 0-glusterfs-
fuse: FUSE inited with protocol versions: glusterfs 7.24 kernel 7.27
[2020-03-18 20:47:57.985205] I [fuse-bridge.c:5777:fuse_graph_sync] 0-fuse:
switched to graph 0
[2020-03-18 21:04:09.804023] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-18 21:04:12.868413] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-18 21:04:13.254716] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-18 21:04:13.255939] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-18 21:15:25.453238] E [MSGID: 114031] [client-rpc-fops_v2.c:
215:client4_0_mkdir_cbk] 0-archivossamil-client-0: remote operation failed.
Path: /Nueva carpeta [Sistema de ficheros de sólo lectura]
[2020-03-18 21:15:25.467329] W [fuse-bridge.c:949:fuse_entry_cbk] 0-glusterfs-
fuse: 277: MKDIR() /Nueva carpeta => -1 (Sistema de ficheros de sólo lectura)
[2020-03-18 21:47:23.208782] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-18 21:47:23.277134] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-18 23:00:20.264232] I [MSGID: 100011] [glusterfsd.c:1679:reincarnate]
0-glusterfsd: Fetching the volume file from server...
[2020-03-18 23:00:20.266318] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-19 23:00:18.885250] I [MSGID: 100011] [glusterfsd.c:1679:reincarnate]
0-glusterfsd: Fetching the volume file from server...
[2020-03-19 23:00:18.890739] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-21 23:00:27.056196] I [MSGID: 100011] [glusterfsd.c:1679:reincarnate]
0-glusterfsd: Fetching the volume file from server...
[2020-03-21 23:00:27.092692] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-23 17:08:30.319422] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-23 17:08:30.438988] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-23 17:09:51.031628] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-23 17:09:51.121735] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-23 17:09:51.480329] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-23 17:09:51.569466] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-23 17:28:07.802070] I [glusterfsd-mgmt.c:74:mgmt_cbk_spec] 0-mgmt:
Volume file changed
[2020-03-23 17:28:07.889933] I [glusterfsd-mgmt.c:2282:mgmt_getspec_cbk] 0-
glusterfs: No change in volfile,continuing
[2020-03-25 18:31:42.535686] E [MSGID: 114031] [client-rpc-fops_v2.c:
215:client4_0_mkdir_cbk] 0-archivossamil-client-0: remote operation failed.
Path: /Varios/fffgh [Sistema de ficheros de sólo lectura]
[2020-03-25 18:31:42.535990] W [fuse-bridge.c:949:fuse_entry_cbk] 0-glusterfs-
fuse: 50983: MKDIR() /Varios/fffgh => -1 (Sistema de ficheros de sólo lectura)
Gsyncd.log
----------------
[2020-03-23 17:12:18.202132] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:12:18.220521] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-23 17:14:58.769237] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:14:58.872474] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:39.648605] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:39.691603] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:40.905003] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:40.956891] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:41.13988] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:41.49198] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-23 17:18:44.261638] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:18:44.367072] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:05.403032] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:05.456916] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:06.298246] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:06.349005] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:06.394974] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:19:06.619055] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-23 17:28:16.296872] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:16.381481] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:50.955580] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:50.999038] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:51.735614] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:51.787937] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:51.841099] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:28:51.862924] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-23 17:37:31.347730] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:37:31.440013] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.124115] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.174757] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.711089] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.754304] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.797410] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-23 17:38:01.825717] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-24 11:56:16.646029] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:56:22.291602] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:56:22.376123] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:12.278472] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:12.329831] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:13.237146] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:13.282974] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:13.332563] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-24 11:58:13.361227] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-24 11:58:34.369201] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:50:26.718408] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:50:26.820429] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:54:20.845943] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:58:32.716540] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:58:48.161250] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:58:48.216068] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:58:48.653186] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 06:58:48.696146] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 08:25:04.553774] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 08:25:04.627650] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 08:25:07.498191] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 08:25:07.548695] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 08:55:20.1717] I [gsyncd(config-get):318:main] <top>: Using session
config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.100648] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.153553] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.763032] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.811100] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.859872] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 10:10:49.888934] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-25 10:11:07.863419] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:28:43.264307] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:28:43.373313] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:37.251295] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:37.300492] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:37.939074] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:37.985415] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:38.32046] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:29:38.152004] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
[2020-03-25 16:33:05.227800] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:05.330734] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:36.355343] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:36.398952] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:37.262759] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:37.309196] I [gsyncd(config-get):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:37.352242] I [gsyncd(monitor-status):318:main] <top>: Using
session config file path=/var/lib/glusterd/geo-replication/
archivosvao_samil_archivossamil/gsyncd.conf
[2020-03-25 16:33:37.391608] I [subcmds(monitor-status):
29:subcmd_monitor_status] <top>: Monitor Status Change status=Stopped
Thank you for your answer.
Greetings.
El miércoles, 25 de marzo de 2020 19:08:58 (CET) Sunny Kumar escribió:
> Hi Senén,
>
> By any chance you perform any operation on slave volume; like
> deleting data directly from slave volume.
>
> Also If possible please share geo-rep slave logs.
>
> /sunny
>
> On Wed, Mar 25, 2020 at 9:15 AM Senén Vidal Blanco
>
> <senenvidal at sgisoft.com> wrote:
> > Hi,
> > I have a problem with the Geo-Replication system.
> > The first synchronization was successful a few days ago. But after a bit
> > of
> > filming I run into an error message preventing the sync from continuing.
> > I summarize a little the data on the configuration:
> >
> > Debian 10
> > Glusterfs 7.3
> > Master volume: archivosvao
> > Slave volume: archivossamil
> >
> > volume geo-replication archivosvao samil::archivossamil config
> > access_mount:false
> > allow_network:
> > change_detector:changelog
> > change_interval:5
> > changelog_archive_format:%Y%m
> > changelog_batch_size:727040
> > changelog_log_file:/var/log/glusterfs/geo-replication/
> > archivosvao_samil_archivossamil/changes-${local_id}.log
> > changelog_log_level:INFO
> > checkpoint:0
> > cli_log_file:/var/log/glusterfs/geo-replication/cli.log
> > cli_log_level:INFO
> > connection_timeout:60
> > georep_session_working_dir:/var/lib/glusterd/geo-replication/
> > archivosvao_samil_archivossamil/
> > gfid_conflict_resolution:true
> > gluster_cli_options:
> > gluster_command:gluster
> > gluster_command_dir:/usr/sbin
> > gluster_log_file:/var/log/glusterfs/geo-replication/
> > archivosvao_samil_archivossamil/mnt-${local_id}.log
> > gluster_log_level:INFO
> > gluster_logdir:/var/log/glusterfs
> > gluster_params:aux-gfid-mount acl
> > gluster_rundir:/var/run/gluster
> > glusterd_workdir:/var/lib/glusterd
> > gsyncd_miscdir:/var/lib/misc/gluster/gsyncd
> > ignore_deletes:false
> > isolated_slaves:
> > log_file:/var/log/glusterfs/geo-replication/archivosvao_samil_archivossami
> > l/ gsyncd.log
> > log_level:INFO
> > log_rsync_performance:false
> > master_disperse_count:1
> > master_distribution_count:1
> > master_replica_count:1
> > max_rsync_retries:10
> > meta_volume_mnt:/var/run/gluster/shared_storage
> > pid_file:/var/run/gluster/gsyncd-archivosvao-samil-archivossamil.pid
> > remote_gsyncd:
> > replica_failover_interval:1
> > rsync_command:rsync
> > rsync_opt_existing:true
> > rsync_opt_ignore_missing_args:true
> > rsync_options:
> > rsync_ssh_options:
> > slave_access_mount:false
> > slave_gluster_command_dir:/usr/sbin
> > slave_gluster_log_file:/var/log/glusterfs/geo-replication-slaves/
> > archivosvao_samil_archivossamil/mnt-${master_node}-${master_brick_id}.log
> > slave_gluster_log_file_mbr:/var/log/glusterfs/geo-replication-slaves/
> > archivosvao_samil_archivossamil/mnt-mbr-${master_node}-${master_brick_id}.
> > log slave_gluster_log_level:INFO
> > slave_gluster_params:aux-gfid-mount acl
> > slave_log_file:/var/log/glusterfs/geo-replication-slaves/
> > archivosvao_samil_archivossamil/gsyncd.log
> > slave_log_level:INFO
> > slave_timeout:120
> > special_sync_mode:
> > ssh_command:ssh
> > ssh_options:-oPasswordAuthentication=no -oStrictHostKeyChecking=no -i
> > /var/
> > lib/glusterd/geo-replication/secret.pem
> > ssh_options_tar:-oPasswordAuthentication=no -oStrictHostKeyChecking=no -i
> > /
> > var/lib/glusterd/geo-replication/tar_ssh.pem
> > ssh_port:22
> > state_file:/var/lib/glusterd/geo-replication/archivosvao_samil_archivossam
> > il/ monitor.status
> > state_socket_unencoded:
> > stime_xattr_prefix:trusted.glusterfs.c7fa7778-
> > f2e4-48f9-8817-5811c09964d5.8d4c7ef7-35fc-497a-9425-66f4aced159b
> > sync_acls:true
> > sync_jobs:3
> > sync_method:rsync
> > sync_xattrs:true
> > tar_command:tar
> > use_meta_volume:false
> > use_rsync_xattrs:false
> > working_dir:/var/lib/misc/gluster/gsyncd/archivosvao_samil_archivossamil/
> >
> >
> > gluster> volume info
> >
> > Volume Name: archivossamil
> > Type: Distribute
> > Volume ID: 8d4c7ef7-35fc-497a-9425-66f4aced159b
> > Status: Started
> > Snapshot Count: 0
> > Number of Bricks: 1
> > Transport-type: tcp
> > Bricks:
> > Brick1: samil:/brickarchivos/archivos
> > Options Reconfigured:
> > nfs.disable: on
> > storage.fips-mode-rchecksum: on
> > transport.address-family: inet
> > features.read-only: on
> >
> > Volume Name: archivosvao
> > Type: Distribute
> > Volume ID: c7fa7778-f2e4-48f9-8817-5811c09964d5
> > Status: Started
> > Snapshot Count: 0
> > Number of Bricks: 1
> > Transport-type: tcp
> > Bricks:
> > Brick1: vao:/brickarchivos/archivos
> > Options Reconfigured:
> > nfs.disable: on
> > storage.fips-mode-rchecksum: on
> > transport.address-family: inet
> > geo-replication.indexing: on
> > geo-replication.ignore-pid-check: on
> > changelog.changelog: on
> >
> > Volume Name: home
> > Type: Replicate
> > Volume ID: 74522542-5d7a-4fdd-9cea-76bf1ff27e7d
> > Status: Started
> > Snapshot Count: 0
> > Number of Bricks: 1 x 2 = 2
> > Transport-type: tcp
> > Bricks:
> > Brick1: samil:/brickhome/home
> > Brick2: vao:/brickhome/home
> > Options Reconfigured:
> > performance.client-io-threads: off
> > nfs.disable: on
> > storage.fips-mode-rchecksum: on
> > transport.address-family: inet
> >
> >
> > These errors appear in the master logs:
> >
> >
> >
> > .............
> >
> > [2020-03-25 09:00:12.554226] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=2
> > return_code=0 duration=0.0483
> > [2020-03-25 09:00:12.772688] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=2 num_files=3
> > return_code=0 duration=0.0539
> > [2020-03-25 09:00:13.112986] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=2
> > return_code=0 duration=0.0575
> > [2020-03-25 09:00:13.311976] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=2 num_files=1
> > return_code=0 duration=0.0379
> > [2020-03-25 09:00:13.382845] I [master(worker /brickarchivos/archivos):
> > 1227:process_change] _GMaster: Entry ops failed with gfid mismatch
> > count=1
> > [2020-03-25 09:00:13.385680] E [syncdutils(worker
> > /brickarchivos/archivos):
> > 339:log_raise_exception] <top>: FAIL:
> >
> > Traceback (most recent call last):
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/gsyncd.py",
> > line>
> > 332, in main func(args)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/subcmds.py",
> >
> > line 86, in subcmd_worker local.service_loop(remote)
> >
> > File
> > "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/resource.py",
> >
> > line 1297, in service_loop g3.crawlwrap(oneshot=True)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 602, in crawlwrap self.crawl()
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1592, in crawl self.changelogs_batch_process(changes)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1492, in changelogs_batch_process self.process(batch)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1327, in process self.process_change(change, done, retry)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1230, in process_change self.handle_entry_failures(failures, entries)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 973, in handle_entry_failures failures1, retries, entry_ops1)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 936, in fix_possible_entry_failures pargfid))
> > FileNotFoundError: [Errno 2] No such file or directory: '/brickarchivos/
> > archivos/.glusterfs/6e/eb/6eeb2c8f-da55-4066-995b-691290b69fdf'
> > [2020-03-25 09:00:13.435045] I [repce(agent /brickarchivos/archivos):
> > 96:service_loop] RepceServer: terminating on reaching EOF.
> > [2020-03-25 09:00:14.248754] I [monitor(monitor):280:monitor] Monitor:
> > worker died in startup phase brick=/brickarchivos/archivos
> > [2020-03-25 09:00:16.83872] I
> > [gsyncdstatus(monitor):248:set_worker_status]
> > GeorepStatus: Worker Status Change status=Faulty
> > [2020-03-25 09:00:36.304047] I
> > [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status
> > Change status=Initializing...
> > [2020-03-25 09:00:36.304274] I [monitor(monitor):159:monitor] Monitor:
> > starting gsyncd worker brick=/brickarchivos/archivos slave_node=samil
> > [2020-03-25 09:00:36.391111] I [gsyncd(agent /brickarchivos/archivos):
> > 318:main] <top>: Using session config file
> > path=/var/lib/glusterd/geo-
> > replication/archivosvao_samil_archivossamil/gsyncd.conf
> > [2020-03-25 09:00:36.392865] I [changelogagent(agent
> > /brickarchivos/archivos): 72:__init__] ChangelogAgent: Agent listining...
> > [2020-03-25 09:00:36.399606] I [gsyncd(worker /brickarchivos/archivos):
> > 318:main] <top>: Using session config file
> > path=/var/lib/glusterd/geo-
> > replication/archivosvao_samil_archivossamil/gsyncd.conf
> > [2020-03-25 09:00:36.412956] I [resource(worker /brickarchivos/archivos):
> > 1386:connect_remote] SSH: Initializing SSH connection between master and
> > slave...
> > [2020-03-25 09:00:37.772666] I [resource(worker /brickarchivos/archivos):
> > 1435:connect_remote] SSH: SSH connection between master and slave
> > established. duration=1.3594
> > [2020-03-25 09:00:37.773320] I [resource(worker /brickarchivos/archivos):
> > 1105:connect] GLUSTER: Mounting gluster volume locally...
> > [2020-03-25 09:00:38.821624] I [resource(worker /brickarchivos/archivos):
> > 1128:connect] GLUSTER: Mounted gluster volume duration=1.0479
> > [2020-03-25 09:00:38.822003] I [subcmds(worker /brickarchivos/archivos):
> > 84:subcmd_worker] <top>: Worker spawn successful. Acknowledging back to
> > monitor
> > [2020-03-25 09:00:41.797329] I [master(worker /brickarchivos/archivos):
> > 1640:register] _GMaster: Working dir
> > path=/var/lib/misc/gluster/gsyncd/
> > archivosvao_samil_archivossamil/brickarchivos-archivos
> > [2020-03-25 09:00:41.798168] I [resource(worker /brickarchivos/archivos):
> > 1291:service_loop] GLUSTER: Register time time=1585126841
> > [2020-03-25 09:00:42.143373] I [gsyncdstatus(worker
> > /brickarchivos/archivos): 281:set_active] GeorepStatus: Worker Status
> > Change status=Active
> > [2020-03-25 09:00:42.310175] I [gsyncdstatus(worker
> > /brickarchivos/archivos): 253:set_worker_crawl_status] GeorepStatus:
> > Crawl Status Change
> > status=History Crawl
> > [2020-03-25 09:00:42.311381] I [master(worker /brickarchivos/archivos):
> > 1554:crawl] _GMaster: starting history crawl turns=1
> > stime=(1585015849, 0) etime=1585126842 entry_stime=(1585043575, 0)
> > [2020-03-25 09:00:43.347883] I [master(worker /brickarchivos/archivos):
> > 1583:crawl] _GMaster: slave's time stime=(1585015849, 0)
> > [2020-03-25 09:00:43.932979] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=7
> > return_code=0 duration=0.1022
> > [2020-03-25 09:00:43.980473] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=1
> > return_code=0 duration=0.0467
> > [2020-03-25 09:00:44.387296] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=2 num_files=5
> > return_code=0 duration=0.0539
> > [2020-03-25 09:00:44.424803] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=2 num_files=1
> > return_code=0 duration=0.0368
> > [2020-03-25 09:00:44.877503] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=3 num_files=4
> > return_code=0 duration=0.0431
> > [2020-03-25 09:00:44.918785] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=3 num_files=3
> > return_code=0 duration=0.0403
> > [2020-03-25 09:00:45.20351] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=1
> > return_code=0 duration=0.0382
> > [2020-03-25 09:00:45.55611] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=1
> > return_code=0 duration=0.0344
> > [2020-03-25 09:00:45.90699] I [master(worker /brickarchivos/archivos):
> > 1991:syncjob] Syncer: Sync Time Taken job=1 num_files=1
> > return_code=0 duration=0.0341
> >
> > .............
> >
> >
> > It seems that the source of the error is the absence of this file:
> >
> > FileNotFoundError: [Errno 2] No such file or directory: '/brickarchivos/
> > archivos/.glusterfs/6e/eb/6eeb2c8f-da55-4066-995b-691290b69fdf'
> >
> >
> > When the error appears, it tries to synchronize again and enters a retry
> > loop.
> >
> > I have stopped syncing and trying to resume it the next day. Now the error
> > appears in a different file, but always within the index path of the
> > Gluster
> >
> >
> > [2020-03-23 16:49:20.729115] I [master(worker /brickarchivos/archivos):
> > 1227:process_change] _GMaster: Entry ops failed with gfid mismatch
> > count=1
> > [2020-03-23 16:49:20.731028] E [syncdutils(worker
> > /brickarchivos/archivos):
> > 339:log_raise_exception] <top>: FAIL:
> >
> > Traceback (most recent call last):
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/gsyncd.py",
> > line>
> > 332, in main func(args)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/subcmds.py",
> >
> > line 86, in subcmd_worker local.service_loop(remote)
> >
> > File
> > "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/resource.py",
> >
> > line 1297, in service_loop g3.crawlwrap(oneshot=True)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 602, in crawlwrap self.crawl()
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1592, in crawl self.changelogs_batch_process(changes)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1492, in changelogs_batch_process self.process(batch)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1327, in process self.process_change(change, done, retry)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 1230, in process_change self.handle_entry_failures(failures, entries)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 973, in handle_entry_failures failures1, retries, entry_ops1)
> >
> > File "/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py",
> > line>
> > 936, in fix_possible_entry_failures
> >
> > pargfid))
> >
> > FileNotFoundError: [Errno 2] No such file or directory: '/brickarchivos/
> > archivos/.glusterfs/63/11/63113be6-0774-4719-96a6-619f7777aed2'
> > [2020-03-23 16:49:20.764215] I [repce(agent /brickarchivos/archivos):
> > 96:service_loop] RepceServer: terminating on reaching EOF.
> >
> > I have tried to remove the geo-replication and recreate it, but the
> > problem
> > recurs.
> > I do not delete the slave data since they are more than 2.5 Tb and it
> > would
> > take several days to synchronize again:
> >
> > volume geo-replication archivosvao samil::archivossamil stop
> > volume geo-replication archivosvao samil::archivossamil delete
> > volume set archivosvao geo-replication.indexing off
> > volume geo-replication archivosvao samil::archivossamil create push-pem
> > force volume geo-replication archivosvao samil::archivossamil start
> >
> > But without solution
> >
> > Any help would be appreciated.
> > Thank you.
> >
> >
> >
> >
> > ________
> >
> >
> >
> > Community Meeting Calendar:
> >
> > Schedule -
> > Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC
> > Bridge: https://bluejeans.com/441850968
> >
> > Gluster-users mailing list
> > Gluster-users at gluster.org
> > https://lists.gluster.org/mailman/listinfo/gluster-users
--
Senén Vidal Blanco - SGISoft S.L.
Tlf.: 660923711-638469601
GPG ID 466431A8AF01F99A
https://www.sgisoft.com/
--
AVISO IMPORTANTE: El contenido de esta comunicación, así como el de toda la
documentación anexa, es confidencial y va dirigido únicamente al destinatario
del mismo. En el supuesto de que usted no fuera el destinatario, le
solicitamos que nos lo indique y no comunique su contenido a terceros,
procediendo a su destrucción.
Al amparo de lo establecido en la Ley 34/2002, de 11 de julio, de Servicios de
la Sociedad de la Información y de Comercio Electrónico, a la Ley 9/2014, de 9
de mayo, General de Telecomunicaciones y al Reglamento General (UE) 2016/679
de Protección de Datos le informamos que los datos facilitados a lo largo de
la prestación del servicio se incorporarán a la Actividad de Tratamiento
titularidad de SGISOFT S.L. con CIF número B 36.926.749 y domicilio social en
Camino Souto 17, San Pedro de la Ramallosa, 36.370, Nigrán (Pontevedra). La
finalidad de dicho tratamiento es prestarle un óptimo servicio como cliente.
Asimismo, la empresa le comunica que sus datos serán utilizados con el objeto
de realizarle comunicaciones comerciales y de promoción de los productos
ofrecidos por la organización.
Puede ejercitar los derechos de acceso, rectificación, supresión, limitación,
oposición y portabilidad en cualquier momento, mediante escrito, acompañado de
copia de documento oficial que le identifique dirigido a la dirección arriba
indicada o al correo electrónico proveedores at sgisoft.com. Asimismo, y de igual
manera, puede revocar el consentimiento prestado a la recepción de
comunicaciones comerciales de conformidad con lo dispuesto en la Ley 34/2002.
Puede consultar información adicional y detallada sobre Protección de Datos en
nuestra Política de Privacidad del sitio web www.sgisoft.com
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 195 bytes
Desc: This is a digitally signed message part.
URL: <http://lists.gluster.org/pipermail/gluster-users/attachments/20200325/22de0744/attachment.sig>
More information about the Gluster-users
mailing list