<div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hello all,</div><div><br></div><div>I having trouble making gluster geo-replication on Ubuntu 18.04 (Bionic). Gluster version is 5.3. I&#39;m able to successfully create the geo-replication session but status goes from &quot;Initializing&quot; to &quot;Faulty&quot; in a loop after session is started. I&#39;ve created a bug report with all the necessary information at <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1680324">https://bugzilla.redhat.com/show_bug.cgi?id=1680324</a></div><div>Any assistance/tips fixing this issue will be greatly appreciated.</div><div><br></div><div><div>5/ Log entries</div><div>[MASTER SERVER GEO REP LOG]</div><div>root@media01:/var/log/glusterfs/geo-replication/gfs1_media03_gfs1# cat gsyncd.log</div><div>[2019-02-23 21:36:43.851184] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change<span style="white-space:pre">        </span>status=Initializing...</div><div>[2019-02-23 21:36:43.851489] I [monitor(monitor):157:monitor] Monitor: starting gsyncd worker<span style="white-space:pre">        </span>brick=/gfs1-data/brick<span style="white-space:pre">        </span>slave_node=media03</div><div>[2019-02-23 21:36:43.856857] D [monitor(monitor):228:monitor] Monitor: Worker would mount volume privately</div><div>[2019-02-23 21:36:43.895652] I [gsyncd(agent /gfs1-data/brick):308:main] &lt;top&gt;: Using session config file<span style="white-space:pre">        </span>path=/var/lib/glusterd/geo-replication/gfs1_media03_gfs1/gsyncd.conf</div><div>[2019-02-23 21:36:43.896118] D [subcmds(agent /gfs1-data/brick):103:subcmd_agent] &lt;top&gt;: RPC FD<span style="white-space:pre">        </span>rpc_fd=&#39;8,11,10,9&#39;</div><div>[2019-02-23 21:36:43.896435] I [changelogagent(agent /gfs1-data/brick):72:__init__] ChangelogAgent: Agent listining...</div><div>[2019-02-23 21:36:43.897432] I [gsyncd(worker /gfs1-data/brick):308:main] &lt;top&gt;: Using session config file<span style="white-space:pre">        </span>path=/var/lib/glusterd/geo-replication/gfs1_media03_gfs1/gsyncd.conf</div><div>[2019-02-23 21:36:43.904604] I [resource(worker /gfs1-data/brick):1366:connect_remote] SSH: Initializing SSH connection between master and slave...</div><div>[2019-02-23 21:36:43.905631] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957803.9055686 __repce_version__() ...</div><div>[2019-02-23 21:36:45.751853] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957803.9055686 __repce_version__ -&gt; 1.0</div><div>[2019-02-23 21:36:45.752202] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957805.7521348 version() ...</div><div>[2019-02-23 21:36:45.785690] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957805.7521348 version -&gt; 1.0</div><div>[2019-02-23 21:36:45.786081] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957805.7860181 pid() ...</div><div>[2019-02-23 21:36:45.820014] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957805.7860181 pid -&gt; 24141</div><div>[2019-02-23 21:36:45.820337] I [resource(worker /gfs1-data/brick):1413:connect_remote] SSH: SSH connection between master and slave established.<span style="white-space:pre">        </span>duration=1.9156</div><div>[2019-02-23 21:36:45.820520] I [resource(worker /gfs1-data/brick):1085:connect] GLUSTER: Mounting gluster volume locally...</div><div>[2019-02-23 21:36:45.837300] D [resource(worker /gfs1-data/brick):859:inhibit] DirectMounter: auxiliary glusterfs mount in place</div><div>[2019-02-23 21:36:46.843754] D [resource(worker /gfs1-data/brick):933:inhibit] DirectMounter: auxiliary glusterfs mount prepared</div><div>[2019-02-23 21:36:46.844113] I [resource(worker /gfs1-data/brick):1108:connect] GLUSTER: Mounted gluster volume<span style="white-space:pre">        </span>duration=1.0234</div><div>[2019-02-23 21:36:46.844283] I [subcmds(worker /gfs1-data/brick):80:subcmd_worker] &lt;top&gt;: Worker spawn successful. Acknowledging back to monitor</div><div>[2019-02-23 21:36:46.844623] D [master(worker /gfs1-data/brick):101:gmaster_builder] &lt;top&gt;: setting up change detection mode<span style="white-space:pre">        </span>mode=xsync</div><div>[2019-02-23 21:36:46.844768] D [monitor(monitor):271:monitor] Monitor: worker(/gfs1-data/brick) connected</div><div>[2019-02-23 21:36:46.846079] D [master(worker /gfs1-data/brick):101:gmaster_builder] &lt;top&gt;: setting up change detection mode<span style="white-space:pre">        </span>mode=changelog</div><div>[2019-02-23 21:36:46.847300] D [master(worker /gfs1-data/brick):101:gmaster_builder] &lt;top&gt;: setting up change detection mode<span style="white-space:pre">        </span>mode=changeloghistory</div><div>[2019-02-23 21:36:46.884938] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957806.8848307 version() ...</div><div>[2019-02-23 21:36:46.885751] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957806.8848307 version -&gt; 1.0</div><div>[2019-02-23 21:36:46.886019] D [master(worker /gfs1-data/brick):774:setup_working_dir] _GMaster: changelog working dir /var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick</div><div>[2019-02-23 21:36:46.886212] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957806.8861625 init() ...</div><div>[2019-02-23 21:36:46.892709] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957806.8861625 init -&gt; None</div><div>[2019-02-23 21:36:46.892794] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957806.892774 register(&#39;/gfs1-data/brick&#39;, &#39;/var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick&#39;, &#39;/var/log/glusterfs/geo-replication/gfs1_media03_gfs1/changes-gfs1-data-brick.log&#39;, 8, 5) ...</div><div>[2019-02-23 21:36:48.896220] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957806.892774 register -&gt; None</div><div>[2019-02-23 21:36:48.896590] D [master(worker /gfs1-data/brick):774:setup_working_dir] _GMaster: changelog working dir /var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick</div><div>[2019-02-23 21:36:48.896823] D [master(worker /gfs1-data/brick):774:setup_working_dir] _GMaster: changelog working dir /var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick</div><div>[2019-02-23 21:36:48.897012] D [master(worker /gfs1-data/brick):774:setup_working_dir] _GMaster: changelog working dir /var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick</div><div>[2019-02-23 21:36:48.897159] I [master(worker /gfs1-data/brick):1603:register] _GMaster: Working dir<span style="white-space:pre">        </span>path=/var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick</div><div>[2019-02-23 21:36:48.897512] I [resource(worker /gfs1-data/brick):1271:service_loop] GLUSTER: Register time<span style="white-space:pre">        </span>time=1550957808</div><div>[2019-02-23 21:36:48.898130] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140322604570368:1550957808.898032 keep_alive(None,) ...</div><div>[2019-02-23 21:36:48.907820] D [master(worker /gfs1-data/brick):536:crawlwrap] _GMaster: primary master with volume id f720f1cb-16de-47a4-b1da-49d348736b53 ...</div><div>[2019-02-23 21:36:48.932170] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140322604570368:1550957808.898032 keep_alive -&gt; 1</div><div>[2019-02-23 21:36:49.77565] I [gsyncdstatus(worker /gfs1-data/brick):281:set_active] GeorepStatus: Worker Status Change<span style="white-space:pre">        </span>status=Active</div><div>[2019-02-23 21:36:49.201132] I [gsyncdstatus(worker /gfs1-data/brick):253:set_worker_crawl_status] GeorepStatus: Crawl Status Change<span style="white-space:pre">        </span>status=History Crawl</div><div>[2019-02-23 21:36:49.201822] I [master(worker /gfs1-data/brick):1517:crawl] _GMaster: starting history crawl<span style="white-space:pre">        </span>turns=1<span style="white-space:pre">        </span>stime=(1550858209, 637241)<span style="white-space:pre">        </span>etime=1550957809<span style="white-space:pre">        </span>entry_stime=None</div><div>[2019-02-23 21:36:49.202147] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957809.202051 history(&#39;/gfs1-data/brick/.glusterfs/changelogs&#39;, 1550858209, 1550957809, 3) ...</div><div>[2019-02-23 21:36:49.203344] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957809.202051 history -&gt; (0, 1550957807)</div><div>[2019-02-23 21:36:49.203582] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957809.2035315 history_scan() ...</div><div>[2019-02-23 21:36:49.204280] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957809.2035315 history_scan -&gt; 1</div><div>[2019-02-23 21:36:49.204572] D [repce(worker /gfs1-data/brick):196:push] RepceClient: call 22733:140323447641920:1550957809.2045026 history_getchanges() ...</div><div>[2019-02-23 21:36:49.205424] D [repce(worker /gfs1-data/brick):216:__call__] RepceClient: call 22733:140323447641920:1550957809.2045026 history_getchanges -&gt; [&#39;/var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick/.history/.processing/CHANGELOG.1550858215&#39;]</div><div>[2019-02-23 21:36:49.205678] I [master(worker /gfs1-data/brick):1546:crawl] _GMaster: slave&#39;s time<span style="white-space:pre">        </span>stime=(1550858209, 637241)</div><div>[2019-02-23 21:36:49.205953] D [master(worker /gfs1-data/brick):1454:changelogs_batch_process] _GMaster: processing changes<span style="white-space:pre">        </span>batch=[&#39;/var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick/.history/.processing/CHANGELOG.1550858215&#39;]</div><div>[2019-02-23 21:36:49.206196] D [master(worker /gfs1-data/brick):1289:process] _GMaster: processing change<span style="white-space:pre">        </span>changelog=/var/lib/misc/gluster/gsyncd/gfs1_media03_gfs1/gfs1-data-brick/.history/.processing/CHANGELOG.1550858215</div><div>[2019-02-23 21:36:49.206844] D [master(worker /gfs1-data/brick):1170:process_change] _GMaster: entries: []</div><div>[2019-02-23 21:36:49.295979] E [syncdutils(worker /gfs1-data/brick):338:log_raise_exception] &lt;top&gt;: FAIL:</div><div>Traceback (most recent call last):</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/gsyncd.py&quot;, line 322, in main</div><div>    func(args)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/subcmds.py&quot;, line 82, in subcmd_worker</div><div>    local.service_loop(remote)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/resource.py&quot;, line 1277, in service_loop</div><div>    g3.crawlwrap(oneshot=True)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py&quot;, line 599, in crawlwrap</div><div>    self.crawl()</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py&quot;, line 1555, in crawl</div><div>    self.changelogs_batch_process(changes)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py&quot;, line 1455, in changelogs_batch_process</div><div>    self.process(batch)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py&quot;, line 1290, in process</div><div>    self.process_change(change, done, retry)</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/master.py&quot;, line 1229, in process_change</div><div>    st = lstat(go[0])</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/syncdutils.py&quot;, line 564, in lstat</div><div>    return errno_wrap(os.lstat, [e], [ENOENT], [ESTALE, EBUSY])</div><div>  File &quot;/usr/lib/x86_64-linux-gnu/glusterfs/python/syncdaemon/syncdutils.py&quot;, line 546, in errno_wrap</div><div>    return call(*arg)</div><div>OSError: [Errno 22] Invalid argument: &#39;.gfid/00000000-0000-0000-0000-000000000001&#39;</div><div>[2019-02-23 21:36:49.323695] I [repce(agent /gfs1-data/brick):97:service_loop] RepceServer: terminating on reaching EOF.</div><div>[2019-02-23 21:36:49.849243] I [monitor(monitor):278:monitor] Monitor: worker died in startup phase<span style="white-space:pre">        </span>brick=/gfs1-data/brick</div><div>[2019-02-23 21:36:49.896026] I [gsyncdstatus(monitor):248:set_worker_status] GeorepStatus: Worker Status Change<span style="white-space:pre">        </span>status=Faulty</div><div><br></div><div><br></div><div>[SLAVE SERVER GEO REP LOG]</div><div>root@media03:/var/log/glusterfs/geo-replication-slaves/gfs1_media03_gfs1# cat gsyncd.log</div><div>[2019-02-23 21:39:10.407784] W [gsyncd(slave media01/gfs1-data/brick):304:main] &lt;top&gt;: Session config file not exists, using the default config<span style="white-space:pre">        </span>path=/var/lib/glusterd/geo-replication/gfs1_media03_gfs1/gsyncd.conf</div><div>[2019-02-23 21:39:10.414549] I [resource(slave media01/gfs1-data/brick):1085:connect] GLUSTER: Mounting gluster volume locally...</div><div>[2019-02-23 21:39:10.472665] D [resource(slave media01/gfs1-data/brick):859:inhibit] MountbrokerMounter: auxiliary glusterfs mount in place</div><div>[2019-02-23 21:39:11.555885] D [resource(slave media01/gfs1-data/brick):926:inhibit] MountbrokerMounter: Lazy umount done: /var/mountbroker-root/mb_hive/mntBkK4D5</div><div>[2019-02-23 21:39:11.556459] D [resource(slave media01/gfs1-data/brick):933:inhibit] MountbrokerMounter: auxiliary glusterfs mount prepared</div><div>[2019-02-23 21:39:11.556585] I [resource(slave media01/gfs1-data/brick):1108:connect] GLUSTER: Mounted gluster volume<span style="white-space:pre">        </span>duration=1.1420</div><div>[2019-02-23 21:39:11.556830] I [resource(slave media01/gfs1-data/brick):1135:service_loop] GLUSTER: slave listening</div><div>[2019-02-23 21:39:15.55945] I [repce(slave media01/gfs1-data/brick):97:service_loop] RepceServer: terminating on reaching EOF.</div><div><br></div><div><br></div><div>6/ OS and Gluster Info</div><div>[MASTER OS INFO]</div><div>root@media01:/var/run/gluster# lsb_release -a</div><div>No LSB modules are available.</div><div>Distributor ID:<span style="white-space:pre">        </span>Ubuntu</div><div>Description:<span style="white-space:pre">        </span>Ubuntu 18.04.2 LTS</div><div>Release:<span style="white-space:pre">        </span>18.04</div><div>Codename:<span style="white-space:pre">        </span>bionic</div><div><br></div><div><br></div><div>[SLAVE OS INFO]</div><div>root@media03:~# lsb_release -a</div><div>No LSB modules are available.</div><div>Distributor ID:<span style="white-space:pre">        </span>Ubuntu</div><div>Description:<span style="white-space:pre">        </span>Ubuntu 18.04.2 LTS</div><div>Release:<span style="white-space:pre">        </span>18.04</div><div>Codename:<span style="white-space:pre">        </span>bionic</div><div><br></div><div><br></div><div>[MASTER GLUSTER VERSION]</div><div>root@media01:/var/run/gluster# glusterfs --version</div><div>glusterfs 5.3</div><div>Repository revision: git://<a href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a></div><div>Copyright (c) 2006-2016 Red Hat, Inc. &lt;<a href="https://www.gluster.org/">https://www.gluster.org/</a>&gt;</div><div>GlusterFS comes with ABSOLUTELY NO WARRANTY.</div><div>It is licensed to you under your choice of the GNU Lesser</div><div>General Public License, version 3 or any later version (LGPLv3</div><div>or later), or the GNU General Public License, version 2 (GPLv2),</div><div>in all cases as published by the Free Software Foundation.</div><div><br></div><div><br></div><div>[SLAVE GLUSTER VERSION]</div><div>root@media03:~# glusterfs --version</div><div>glusterfs 5.3</div><div>Repository revision: git://<a href="http://git.gluster.org/glusterfs.git">git.gluster.org/glusterfs.git</a></div><div>Copyright (c) 2006-2016 Red Hat, Inc. &lt;<a href="https://www.gluster.org/">https://www.gluster.org/</a>&gt;</div><div>GlusterFS comes with ABSOLUTELY NO WARRANTY.</div><div>It is licensed to you under your choice of the GNU Lesser</div><div>General Public License, version 3 or any later version (LGPLv3</div><div>or later), or the GNU General Public License, version 2 (GPLv2),</div><div>in all cases as published by the Free Software Foundation.</div><div><br></div><div><br></div><div>7/ Master and Slave Servers Config</div><div>[MASTER /etc/glusterfs/glusterd.vol]</div><div>root@media01:/var/run/gluster# cat /etc/glusterfs/glusterd.vol</div><div>volume management</div><div>    type mgmt/glusterd</div><div>    option working-directory /var/lib/glusterd</div><div>    option transport-type socket,rdma</div><div>    option transport.socket.keepalive-time 10</div><div>    option transport.socket.keepalive-interval 2</div><div>    option transport.socket.read-fail-log off</div><div>    option ping-timeout 0</div><div>    option event-threads 1</div><div>    option rpc-auth-allow-insecure on</div><div>#   option lock-timer 180</div><div>#   option transport.address-family inet6</div><div>#   option base-port 49152</div><div>#   option max-port  65535</div><div>end-volume</div><div><br></div><div><br></div><div>[SLAVE /etc/glusterfs/glusterd.vol]</div><div>root@media03:~# cat /etc/glusterfs/glusterd.vol</div><div>volume management</div><div>    type mgmt/glusterd</div><div>    option working-directory /var/lib/glusterd</div><div>    option transport-type socket,rdma</div><div>    option transport.socket.keepalive-time 10</div><div>    option transport.socket.keepalive-interval 2</div><div>    option transport.socket.read-fail-log off</div><div>    option ping-timeout 0</div><div>    option event-threads 1</div><div>    option mountbroker-root /var/mountbroker-root</div><div>    option geo-replication-log-group geo-group</div><div>    option mountbroker-geo-replication.geo-user gfs2,gfs1</div><div>    option rpc-auth-allow-insecure on</div><div>    #   option lock-timer 180</div><div>    #   option transport.address-family inet6</div><div>    #   option base-port 49152</div><div>    #   option max-port  65535</div><div><br></div><div><br></div><div>[MASTER /etc/glusterfs/gsyncd.conf]</div><div>root@media01:/var/run/gluster# cat /etc/glusterfs/gsyncd.conf</div><div>[__meta__]</div><div>version = 4.0</div><div><br></div><div>[master-bricks]</div><div>configurable=false</div><div><br></div><div>[slave-bricks]</div><div>configurable=false</div><div><br></div><div>[master-volume-id]</div><div>configurable=false</div><div><br></div><div>[slave-volume-id]</div><div>configurable=false</div><div><br></div><div>[master-replica-count]</div><div>configurable=false</div><div>type=int</div><div>value=1</div><div><br></div><div>[master-disperse-count]</div><div>configurable=false</div><div>type=int</div><div>value=1</div><div><br></div><div>[glusterd-workdir]</div><div>value = /var/lib/glusterd</div><div><br></div><div>[gluster-logdir]</div><div>value = /var/log/glusterfs</div><div><br></div><div>[gluster-rundir]</div><div>value = /var/run/gluster</div><div><br></div><div>[gsyncd-miscdir]</div><div>value = /var/lib/misc/gluster/gsyncd</div><div><br></div><div>[stime-xattr-prefix]</div><div>value=</div><div><br></div><div>[checkpoint]</div><div>value=0</div><div>help=Set Checkpoint</div><div>validation=unixtime</div><div>type=int</div><div><br></div><div>[gluster-cli-options]</div><div>value=</div><div>help=Gluster CLI Options</div><div><br></div><div>[pid-file]</div><div>value=${gluster_rundir}/gsyncd-${master}-${primary_slave_host}-${slavevol}.pid</div><div>configurable=false</div><div>template = true</div><div>help=PID file path</div><div><br></div><div>[state-file]</div><div>value=${glusterd_workdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/monitor.status</div><div>configurable=false</div><div>template=true</div><div>help=Status File path</div><div><br></div><div>[georep-session-working-dir]</div><div>value=${glusterd_workdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/</div><div>template=true</div><div>help=Session Working directory</div><div>configurable=false</div><div><br></div><div>[access-mount]</div><div>value=false</div><div>type=bool</div><div>validation=bool</div><div>help=Do not lazy unmount the master volume. This allows admin to access the mount for debugging.</div><div><br></div><div>[slave-access-mount]</div><div>value=false</div><div>type=bool</div><div>validation=bool</div><div>help=Do not lazy unmount the slave volume. This allows admin to access the mount for debugging.</div><div><br></div><div>[isolated-slaves]</div><div>value=</div><div>help=List of Slave nodes which are isolated</div><div><br></div><div>[changelog-batch-size]</div><div># Max size of Changelogs to process per batch, Changelogs Processing is</div><div># not limited by the number of changelogs but instead based on</div><div># size of the changelog file, One sample changelog file size was 145408</div><div># with ~1000 CREATE and ~1000 DATA. 5 such files in one batch is 727040</div><div># If geo-rep worker crashes while processing a batch, it has to retry only</div><div># that batch since stime will get updated after each batch.</div><div>value=727040</div><div>help=Max size of Changelogs to process per batch.</div><div>type=int</div><div><br></div><div>[slave-timeout]</div><div>value=120</div><div>type=int</div><div>help=Timeout in seconds for Slave Gsyncd. If no activity from master for this timeout, Slave gsyncd will be disconnected. Set Timeout to zero to skip this check.</div><div><br></div><div>[connection-timeout]</div><div>value=60</div><div>type=int</div><div>help=Timeout for mounts</div><div><br></div><div>[replica-failover-interval]</div><div>value=1</div><div>type=int</div><div>help=Minimum time interval in seconds for passive worker to become Active</div><div><br></div><div>[changelog-archive-format]</div><div>value=%%Y%%m</div><div>help=Processed changelogs will be archived in working directory. Pattern for archive file</div><div><br></div><div>[use-meta-volume]</div><div>value=false</div><div>type=bool</div><div>help=Use this to set Active Passive mode to meta-volume.</div><div><br></div><div>[meta-volume-mnt]</div><div>value=/var/run/gluster/shared_storage</div><div>help=Meta Volume or Shared Volume mount path</div><div><br></div><div>[allow-network]</div><div>value=</div><div><br></div><div>[change-interval]</div><div>value=5</div><div>type=int</div><div><br></div><div>[use-tarssh]</div><div>value=false</div><div>type=bool</div><div>help=Use sync-mode as tarssh</div><div><br></div><div>[remote-gsyncd]</div><div>value=/usr/lib/x86_64-linux-gnu/glusterfs/gsyncd</div><div>help=If SSH keys are not secured with gsyncd prefix then use this configuration to set the actual path of gsyncd(Usually /usr/libexec/glusterfs/gsyncd)</div><div><br></div><div>[gluster-command-dir]</div><div>value=/usr/sbin</div><div>help=Directory where Gluster binaries exist on master</div><div><br></div><div>[slave-gluster-command-dir]</div><div>value=/usr/sbin</div><div>help=Directory where Gluster binaries exist on slave</div><div><br></div><div>[gluster-params]</div><div>value = aux-gfid-mount acl</div><div>help=Parameters for Gluster Geo-rep mount in Master</div><div><br></div><div>[slave-gluster-params]</div><div>value = aux-gfid-mount acl</div><div>help=Parameters for Gluster Geo-rep mount in Slave</div><div><br></div><div>[ignore-deletes]</div><div>value = false</div><div>type=bool</div><div>help=Do not sync deletes in Slave</div><div><br></div><div>[special-sync-mode]</div><div># tunables for failover/failback mechanism:</div><div># None   - gsyncd behaves as normal</div><div># blind  - gsyncd works with xtime pairs to identify</div><div>#          candidates for synchronization</div><div># wrapup - same as normal mode but does not assign</div><div>#          xtimes to orphaned files</div><div># see crawl() for usage of the above tunables</div><div>value =</div><div>help=</div><div><br></div><div>[gfid-conflict-resolution]</div><div>value = true</div><div>validation=bool</div><div>type=bool</div><div>help=Disables automatic gfid conflict resolution while syncing</div><div><br></div><div>[working-dir]</div><div>value = ${gsyncd_miscdir}/${master}_${primary_slave_host}_${slavevol}/</div><div>template=true</div><div>configurable=false</div><div>help=Working directory for storing Changelogs</div><div><br></div><div>[change-detector]</div><div>value=changelog</div><div>help=Change detector</div><div>validation=choice</div><div>allowed_values=changelog,xsync</div><div><br></div><div>[cli-log-file]</div><div>value=${gluster_logdir}/geo-replication/cli.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[cli-log-level]</div><div>value=DEBUG</div><div>help=Set CLI Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/gsyncd.log</div><div>configurable=false</div><div>template=true</div><div><br></div><div>[changelog-log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/changes-${local_id}.log</div><div>configurable=false</div><div>template=true</div><div><br></div><div>[gluster-log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/mnt-${local_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-log-file]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/gsyncd.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-gluster-log-file]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/mnt-${master_node}-${master_brick_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-gluster-log-file-mbr]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/mnt-mbr-${master_node}-${master_brick_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[log-level]</div><div>value=DEBUG</div><div>help=Set Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[gluster-log-level]</div><div>value=DEBUG</div><div>help=Set Gluster mount Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[changelog-log-level]</div><div>value=DEBUG</div><div>help=Set Changelog Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[slave-log-level]</div><div>value=DEBUG</div><div>help=Set Slave Gsyncd Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[slave-gluster-log-level]</div><div>value=DEBUG</div><div>help=Set Slave Gluster mount Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[ssh-port]</div><div>value=2202</div><div>validation=int</div><div>help=Set SSH port</div><div>type=int</div><div><br></div><div>[ssh-command]</div><div>value=ssh</div><div>help=Set ssh binary path</div><div>validation=execpath</div><div><br></div><div>[tar-command]</div><div>value=tar</div><div>help=Set tar command path</div><div>validation=execpath</div><div><br></div><div>[ssh-options]</div><div>value = -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i ${glusterd_workdir}/geo-replication/secret.pem</div><div>template=true</div><div><br></div><div>[ssh-options-tar]</div><div>value = -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i ${glusterd_workdir}/geo-replication/tar_ssh.pem</div><div>template=true</div><div><br></div><div>[gluster-command]</div><div>value=gluster</div><div>help=Set gluster binary path</div><div>validation=execpath</div><div><br></div><div>[sync-jobs]</div><div>value=3</div><div>help=Number of Syncer jobs</div><div>validation=minmax</div><div>min=1</div><div>max=100</div><div>type=int</div><div><br></div><div>[rsync-command]</div><div>value=rsync</div><div>help=Set rsync command path</div><div>validation=execpath</div><div><br></div><div>[rsync-options]</div><div>value=</div><div><br></div><div>[rsync-ssh-options]</div><div>value=</div><div><br></div><div>[rsync-opt-ignore-missing-args]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[rsync-opt-existing]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[log-rsync-performance]</div><div>value=false</div><div>help=Log Rsync performance</div><div>validation=bool</div><div>type=bool</div><div><br></div><div>[use-rsync-xattrs]</div><div>value=false</div><div>type=bool</div><div><br></div><div>[sync-xattrs]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[sync-acls]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[max-rsync-retries]</div><div>value=10</div><div>type=int</div><div><br></div><div>[state_socket_unencoded]</div><div># Unused, For backward compatibility</div><div>value=</div><div><br></div><div><br></div><div>[SLAVE /etc/glusterfs/gsyncd.conf]</div><div>root@media03:~# cat /etc/glusterfs/gsyncd.conf</div><div>[__meta__]</div><div>version = 4.0</div><div><br></div><div>[master-bricks]</div><div>configurable=false</div><div><br></div><div>[slave-bricks]</div><div>configurable=false</div><div><br></div><div>[master-volume-id]</div><div>configurable=false</div><div><br></div><div>[slave-volume-id]</div><div>configurable=false</div><div><br></div><div>[master-replica-count]</div><div>configurable=false</div><div>type=int</div><div>value=1</div><div><br></div><div>[master-disperse-count]</div><div>configurable=false</div><div>type=int</div><div>value=1</div><div><br></div><div>[glusterd-workdir]</div><div>value = /var/lib/glusterd</div><div><br></div><div>[gluster-logdir]</div><div>value = /var/log/glusterfs</div><div><br></div><div>[gluster-rundir]</div><div>value = /var/run/gluster</div><div><br></div><div>[gsyncd-miscdir]</div><div>value = /var/lib/misc/gluster/gsyncd</div><div><br></div><div>[stime-xattr-prefix]</div><div>value=</div><div><br></div><div>[checkpoint]</div><div>value=0</div><div>help=Set Checkpoint</div><div>validation=unixtime</div><div>type=int</div><div><br></div><div>[gluster-cli-options]</div><div>value=</div><div>help=Gluster CLI Options</div><div><br></div><div>[pid-file]</div><div>value=${gluster_rundir}/gsyncd-${master}-${primary_slave_host}-${slavevol}.pid</div><div>configurable=false</div><div>template = true</div><div>help=PID file path</div><div><br></div><div>[state-file]</div><div>value=${glusterd_workdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/monitor.status</div><div>configurable=false</div><div>template=true</div><div>help=Status File path</div><div><br></div><div>[georep-session-working-dir]</div><div>value=${glusterd_workdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/</div><div>template=true</div><div>help=Session Working directory</div><div>configurable=false</div><div><br></div><div>[access-mount]</div><div>value=false</div><div>type=bool</div><div>validation=bool</div><div>help=Do not lazy unmount the master volume. This allows admin to access the mount for debugging.</div><div><br></div><div>[slave-access-mount]</div><div>value=false</div><div>type=bool</div><div>validation=bool</div><div>help=Do not lazy unmount the slave volume. This allows admin to access the mount for debugging.</div><div><br></div><div>[isolated-slaves]</div><div>value=</div><div>help=List of Slave nodes which are isolated</div><div><br></div><div>[changelog-batch-size]</div><div># Max size of Changelogs to process per batch, Changelogs Processing is</div><div># not limited by the number of changelogs but instead based on</div><div># size of the changelog file, One sample changelog file size was 145408</div><div># with ~1000 CREATE and ~1000 DATA. 5 such files in one batch is 727040</div><div># If geo-rep worker crashes while processing a batch, it has to retry only</div><div># that batch since stime will get updated after each batch.</div><div>value=727040</div><div>help=Max size of Changelogs to process per batch.</div><div>type=int</div><div><br></div><div>[slave-timeout]</div><div>value=120</div><div>type=int</div><div>help=Timeout in seconds for Slave Gsyncd. If no activity from master for this timeout, Slave gsyncd will be disconnected. Set Timeout to zero to skip this check.</div><div><br></div><div>[connection-timeout]</div><div>value=60</div><div>type=int</div><div>help=Timeout for mounts</div><div><br></div><div>[replica-failover-interval]</div><div>value=1</div><div>type=int</div><div>help=Minimum time interval in seconds for passive worker to become Active</div><div><br></div><div>[changelog-archive-format]</div><div>value=%%Y%%m</div><div>help=Processed changelogs will be archived in working directory. Pattern for archive file</div><div><br></div><div>[use-meta-volume]</div><div>value=false</div><div>type=bool</div><div>help=Use this to set Active Passive mode to meta-volume.</div><div><br></div><div>[meta-volume-mnt]</div><div>value=/var/run/gluster/shared_storage</div><div>help=Meta Volume or Shared Volume mount path</div><div><br></div><div>[allow-network]</div><div>value=</div><div><br></div><div>[change-interval]</div><div>value=5</div><div>type=int</div><div><br></div><div>[use-tarssh]</div><div>value=false</div><div>type=bool</div><div>help=Use sync-mode as tarssh</div><div><br></div><div>[remote-gsyncd]</div><div>value=/usr/lib/x86_64-linux-gnu/glusterfs/gsyncd</div><div>help=If SSH keys are not secured with gsyncd prefix then use this configuration to set the actual path of gsyncd(Usually /usr/libexec/glusterfs/gsyncd)</div><div><br></div><div>[gluster-command-dir]</div><div>value=/usr/sbin</div><div>help=Directory where Gluster binaries exist on master</div><div><br></div><div>[slave-gluster-command-dir]</div><div>value=/usr/sbin</div><div>help=Directory where Gluster binaries exist on slave</div><div><br></div><div>[gluster-params]</div><div>value = aux-gfid-mount acl</div><div>help=Parameters for Gluster Geo-rep mount in Master</div><div><br></div><div>[slave-gluster-params]</div><div>value = aux-gfid-mount acl</div><div>help=Parameters for Gluster Geo-rep mount in Slave</div><div><br></div><div>[ignore-deletes]</div><div>value = false</div><div>type=bool</div><div>help=Do not sync deletes in Slave</div><div><br></div><div>[special-sync-mode]</div><div># tunables for failover/failback mechanism:</div><div># None   - gsyncd behaves as normal</div><div># blind  - gsyncd works with xtime pairs to identify</div><div>#          candidates for synchronization</div><div># wrapup - same as normal mode but does not assign</div><div>#          xtimes to orphaned files</div><div># see crawl() for usage of the above tunables</div><div>value =</div><div>help=</div><div><br></div><div>[gfid-conflict-resolution]</div><div>value = true</div><div>validation=bool</div><div>type=bool</div><div>help=Disables automatic gfid conflict resolution while syncing</div><div><br></div><div>[working-dir]</div><div>value = ${gsyncd_miscdir}/${master}_${primary_slave_host}_${slavevol}/</div><div>template=true</div><div>configurable=false</div><div>help=Working directory for storing Changelogs</div><div><br></div><div>[change-detector]</div><div>value=changelog</div><div>help=Change detector</div><div>validation=choice</div><div>allowed_values=changelog,xsync</div><div><br></div><div>[cli-log-file]</div><div>value=${gluster_logdir}/geo-replication/cli.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[cli-log-level]</div><div>value=DEBUG</div><div>help=Set CLI Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/gsyncd.log</div><div>configurable=false</div><div>template=true</div><div><br></div><div>[changelog-log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/changes-${local_id}.log</div><div>configurable=false</div><div>template=true</div><div><br></div><div>[gluster-log-file]</div><div>value=${gluster_logdir}/geo-replication/${master}_${primary_slave_host}_${slavevol}/mnt-${local_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-log-file]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/gsyncd.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-gluster-log-file]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/mnt-${master_node}-${master_brick_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[slave-gluster-log-file-mbr]</div><div>value=${gluster_logdir}/geo-replication-slaves/${master}_${primary_slave_host}_${slavevol}/mnt-mbr-${master_node}-${master_brick_id}.log</div><div>template=true</div><div>configurable=false</div><div><br></div><div>[log-level]</div><div>value=DEBUG</div><div>help=Set Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[gluster-log-level]</div><div>value=DEBUG</div><div>help=Set Gluster mount Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[changelog-log-level]</div><div>value=DEBUG</div><div>help=Set Changelog Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[slave-log-level]</div><div>value=DEBUG</div><div>help=Set Slave Gsyncd Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[slave-gluster-log-level]</div><div>value=DEBUG</div><div>help=Set Slave Gluster mount Log Level</div><div>validation=choice</div><div>allowed_values=ERROR,INFO,WARNING,DEBUG</div><div><br></div><div>[ssh-port]</div><div>value=2202</div><div>validation=int</div><div>help=Set SSH port</div><div>type=int</div><div><br></div><div>[ssh-command]</div><div>value=ssh</div><div>help=Set ssh binary path</div><div>validation=execpath</div><div><br></div><div>[tar-command]</div><div>value=tar</div><div>help=Set tar command path</div><div>validation=execpath</div><div><br></div><div>[ssh-options]</div><div>value = -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i ${glusterd_workdir}/geo-replication/secret.pem</div><div>template=true</div><div><br></div><div>[ssh-options-tar]</div><div>value = -oPasswordAuthentication=no -oStrictHostKeyChecking=no -i ${glusterd_workdir}/geo-replication/tar_ssh.pem</div><div>template=true</div><div><br></div><div>[gluster-command]</div><div>value=gluster</div><div>help=Set gluster binary path</div><div>validation=execpath</div><div><br></div><div>[sync-jobs]</div><div>value=3</div><div>help=Number of Syncer jobs</div><div>validation=minmax</div><div>min=1</div><div>max=100</div><div>type=int</div><div><br></div><div>[rsync-command]</div><div>value=rsync</div><div>help=Set rsync command path</div><div>validation=execpath</div><div><br></div><div>[rsync-options]</div><div>value=</div><div><br></div><div>[rsync-ssh-options]</div><div>value=</div><div><br></div><div>[rsync-opt-ignore-missing-args]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[rsync-opt-existing]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[log-rsync-performance]</div><div>value=false</div><div>help=Log Rsync performance</div><div>validation=bool</div><div>type=bool</div><div><br></div><div>[use-rsync-xattrs]</div><div>value=false</div><div>type=bool</div><div><br></div><div>[sync-xattrs]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[sync-acls]</div><div>value=true</div><div>type=bool</div><div><br></div><div>[max-rsync-retries]</div><div>value=10</div><div>type=int</div><div><br></div><div>[state_socket_unencoded]</div><div># Unused, For backward compatibility</div><div>value=</div><div><br></div><div><br></div><div>8/ Master volume status</div><div>root@media01:/var/run/gluster# gluster volume status</div><div>Status of volume: gfs1</div><div>Gluster process                             TCP Port  RDMA Port  Online  Pid</div><div>------------------------------------------------------------------------------</div><div>Brick media01:/gfs1-data/brick              49153     0          Y       8366</div><div>Brick media02:/gfs1-data/brick              49153     0          Y       5560</div><div>Self-heal Daemon on localhost               N/A       N/A        Y       9170</div><div>Bitrot Daemon on localhost                  N/A       N/A        Y       9186</div><div>Scrubber Daemon on localhost                N/A       N/A        Y       9212</div><div>Self-heal Daemon on media02                 N/A       N/A        Y       6034</div><div>Bitrot Daemon on media02                    N/A       N/A        Y       6050</div><div>Scrubber Daemon on media02                  N/A       N/A        Y       6076</div><div><br></div><div>Task Status of Volume gfs1</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div><br></div><div>Status of volume: gfs2</div><div>Gluster process                             TCP Port  RDMA Port  Online  Pid</div><div>------------------------------------------------------------------------------</div><div>Brick media01:/gfs2-data/brick              49154     0          Y       8460</div><div>Brick media02:/gfs2-data/brick              49154     0          Y       5650</div><div>Self-heal Daemon on localhost               N/A       N/A        Y       9170</div><div>Bitrot Daemon on localhost                  N/A       N/A        Y       9186</div><div>Scrubber Daemon on localhost                N/A       N/A        Y       9212</div><div>Self-heal Daemon on media02                 N/A       N/A        Y       6034</div><div>Bitrot Daemon on media02                    N/A       N/A        Y       6050</div><div>Scrubber Daemon on media02                  N/A       N/A        Y       6076</div><div><br></div><div>Task Status of Volume gfs2</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div><br></div><div>Status of volume: gluster_shared_storage</div><div>Gluster process                             TCP Port  RDMA Port  Online  Pid</div><div>------------------------------------------------------------------------------</div><div>Brick media02:/var/lib/glusterd/ss_brick    49152     0          Y       2767</div><div>Brick media01:/var/lib/glusterd/ss_brick    49152     0          Y       3288</div><div>Self-heal Daemon on localhost               N/A       N/A        Y       9170</div><div>Self-heal Daemon on media02                 N/A       N/A        Y       6034</div><div><br></div><div>Task Status of Volume gluster_shared_storage</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div><br></div><div><br></div><div>9/ Master gluster config</div><div>root@media01:/var/run/gluster# gluster volume info</div><div><br></div><div>Volume Name: gfs1</div><div>Type: Replicate</div><div>Volume ID: f720f1cb-16de-47a4-b1da-49d348736b53</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1 x 2 = 2</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: media01:/gfs1-data/brick</div><div>Brick2: media02:/gfs1-data/brick</div><div>Options Reconfigured:</div><div>geo-replication.ignore-pid-check: on</div><div>diagnostics.count-fop-hits: on</div><div>diagnostics.latency-measurement: on</div><div>changelog.changelog: on</div><div>geo-replication.indexing: on</div><div>encryption.data-key-size: 512</div><div>encryption.master-key: /var/lib/glusterd/vols/gfs1/gfs1-encryption.key</div><div>performance.open-behind: off</div><div>performance.write-behind: off</div><div>performance.quick-read: off</div><div>features.encryption: on</div><div>server.ssl: on</div><div>client.ssl: on</div><div>performance.client-io-threads: off</div><div>nfs.disable: on</div><div>transport.address-family: inet</div><div>features.utime: on</div><div>performance.ctime-invalidation: on</div><div>cluster.lookup-optimize: on</div><div>cluster.self-heal-daemon: on</div><div>server.allow-insecure: on</div><div>cluster.ensure-durability: on</div><div>cluster.nufa: enable</div><div>auth.allow: *</div><div>auth.ssl-allow: *</div><div>features.bitrot: on</div><div>features.scrub: Active</div><div>cluster.enable-shared-storage: enable</div><div><br></div><div>Volume Name: gfs2</div><div>Type: Replicate</div><div>Volume ID: 3b506d7f-26cc-47e1-85f0-5e4047b3a526</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1 x 2 = 2</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: media01:/gfs2-data/brick</div><div>Brick2: media02:/gfs2-data/brick</div><div>Options Reconfigured:</div><div>geo-replication.ignore-pid-check: on</div><div>diagnostics.count-fop-hits: on</div><div>diagnostics.latency-measurement: on</div><div>changelog.changelog: on</div><div>geo-replication.indexing: on</div><div>encryption.data-key-size: 512</div><div>encryption.master-key: /var/lib/glusterd/vols/gfs2/gfs2-encryption.key</div><div>performance.open-behind: off</div><div>performance.write-behind: off</div><div>performance.quick-read: off</div><div>features.encryption: on</div><div>server.ssl: on</div><div>client.ssl: on</div><div>performance.client-io-threads: off</div><div>nfs.disable: on</div><div>transport.address-family: inet</div><div>features.utime: on</div><div>performance.ctime-invalidation: on</div><div>cluster.lookup-optimize: on</div><div>cluster.self-heal-daemon: on</div><div>server.allow-insecure: on</div><div>cluster.ensure-durability: on</div><div>cluster.nufa: enable</div><div>auth.allow: *</div><div>auth.ssl-allow: *</div><div>features.bitrot: on</div><div>features.scrub: Active</div><div>cluster.enable-shared-storage: enable</div><div><br></div><div>Volume Name: gluster_shared_storage</div><div>Type: Replicate</div><div>Volume ID: 1aa8c5c9-a950-490a-8e7f-486d06fe68fa</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1 x 2 = 2</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: media02:/var/lib/glusterd/ss_brick</div><div>Brick2: media01:/var/lib/glusterd/ss_brick</div><div>Options Reconfigured:</div><div>transport.address-family: inet</div><div>nfs.disable: on</div><div>performance.client-io-threads: off</div><div>cluster.enable-shared-storage: enable</div><div><br></div><div><br></div><div>10/ Slave gluster config</div><div>root@media03:~# gluster volume info</div><div><br></div><div>Volume Name: gfs1</div><div>Type: Distribute</div><div>Volume ID: 45f73890-72f2-48a7-84e5-3bc87d995b62</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: media03:/gfs1-data/brick</div><div>Options Reconfigured:</div><div>features.scrub: Active</div><div>features.bitrot: on</div><div>auth.ssl-allow: *</div><div>auth.allow: *</div><div>cluster.nufa: enable</div><div>cluster.ensure-durability: on</div><div>server.allow-insecure: on</div><div>cluster.lookup-optimize: on</div><div>performance.ctime-invalidation: on</div><div>features.utime: on</div><div>transport.address-family: inet</div><div>nfs.disable: on</div><div>client.ssl: on</div><div>server.ssl: on</div><div>features.encryption: on</div><div>performance.quick-read: off</div><div>performance.write-behind: off</div><div>performance.open-behind: off</div><div>encryption.master-key: /var/lib/glusterd/vols/gfs1/gfs1-encryption.key</div><div>encryption.data-key-size: 512</div><div>geo-replication.indexing: on</div><div>diagnostics.latency-measurement: on</div><div>diagnostics.count-fop-hits: on</div><div>features.shard: disable</div><div><br></div><div>Volume Name: gfs2</div><div>Type: Distribute</div><div>Volume ID: 98f4619a-c0c8-4fa0-b467-98ada511375a</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: media03:/gfs2-data/brick</div><div>Options Reconfigured:</div><div>features.scrub: Active</div><div>features.bitrot: on</div><div>auth.ssl-allow: *</div><div>auth.allow: *</div><div>cluster.nufa: enable</div><div>cluster.ensure-durability: on</div><div>server.allow-insecure: on</div><div>cluster.lookup-optimize: on</div><div>performance.ctime-invalidation: on</div><div>features.utime: on</div><div>transport.address-family: inet</div><div>nfs.disable: on</div><div>client.ssl: on</div><div>server.ssl: on</div><div>features.encryption: on</div><div>performance.quick-read: off</div><div>performance.write-behind: off</div><div>performance.open-behind: off</div><div>encryption.master-key: /var/lib/glusterd/vols/gfs2/gfs2-encryption.key</div><div>encryption.data-key-size: 512</div><div>geo-replication.indexing: on</div><div>diagnostics.latency-measurement: on</div><div>diagnostics.count-fop-hits: on</div><div>features.shard: disable</div><div><br></div><div><br></div><div><br></div><div><br></div></div><br clear="all"><div><div dir="ltr" class="gmail_signature"><div dir="ltr">-Boubacar Cisse</div></div></div></div></div></div>