<div><br><div class="gmail_quote"><div dir="auto">On Fri, 18 Aug 2017 at 13:45, Raghavendra Talur &lt;<a href="mailto:rtalur@redhat.com">rtalur@redhat.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Fri, Aug 18, 2017 at 1:38 PM, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt; On Fri, Aug 18, 2017 at 12:22 PM, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; You&#39;re hitting a race here. By the time glusterd tries to resolve the<br>
&gt;&gt; address of one of the remote bricks of a particular volume, the n/w<br>
&gt;&gt; interface is not up by that time. We have fixed this issue in mainline and<br>
&gt;&gt; 3.12 branch through the following commit:<br>
&gt;<br>
&gt;<br>
&gt; Correction. This patch is only available in master and I&#39;ve backported it to<br>
&gt; 3.12 now, <a href="https://review.gluster.org/#/c/18061" rel="noreferrer" target="_blank">https://review.gluster.org/#/c/18061</a>.<br>
<br>
Atin,<br>
<br>
User has 3.10.x, we will have to backport it to 3.10 also.</blockquote><div dir="auto"><br></div><div dir="auto">Can be done but we always encourage users to try out the latest bits :)</div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
Talur<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt; commit 1477fa442a733d7b1a5ea74884cac8f29fbe7e6a<br>
&gt;&gt; Author: Gaurav Yadav &lt;<a href="mailto:gyadav@redhat.com" target="_blank">gyadav@redhat.com</a>&gt;<br>
&gt;&gt; Date:   Tue Jul 18 16:23:18 2017 +0530<br>
&gt;&gt;<br>
&gt;&gt;     glusterd : glusterd fails to start when  peer&#39;s network interface is<br>
&gt;&gt; down<br>
&gt;&gt;<br>
&gt;&gt;     Problem:<br>
&gt;&gt;     glusterd fails to start on nodes where glusterd tries to come up even<br>
&gt;&gt;     before network is up.<br>
&gt;&gt;<br>
&gt;&gt;     Fix:<br>
&gt;&gt;     On startup glusterd tries to resolve brick path which is based on<br>
&gt;&gt;     hostname/ip, but in the above scenario when network interface is not<br>
&gt;&gt;     up, glusterd is not able to resolve the brick path using ip_address or<br>
&gt;&gt;     hostname With this fix glusterd will use UUID to resolve brick path.<br>
&gt;&gt;<br>
&gt;&gt;     Change-Id: Icfa7b2652417135530479d0aa4e2a82b0476f710<br>
&gt;&gt;     BUG: 1472267<br>
&gt;&gt;     Signed-off-by: Gaurav Yadav &lt;<a href="mailto:gyadav@redhat.com" target="_blank">gyadav@redhat.com</a>&gt;<br>
&gt;&gt;     Reviewed-on: <a href="https://review.gluster.org/17813" rel="noreferrer" target="_blank">https://review.gluster.org/17813</a><br>
&gt;&gt;     Smoke: Gluster Build System &lt;<a href="mailto:jenkins@build.gluster.org" target="_blank">jenkins@build.gluster.org</a>&gt;<br>
&gt;&gt;     Reviewed-by: Prashanth Pai &lt;<a href="mailto:ppai@redhat.com" target="_blank">ppai@redhat.com</a>&gt;<br>
&gt;&gt;     CentOS-regression: Gluster Build System &lt;<a href="mailto:jenkins@build.gluster.org" target="_blank">jenkins@build.gluster.org</a>&gt;<br>
&gt;&gt;     Reviewed-by: Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Note : 3.12 release is planned by end of this month.<br>
&gt;&gt;<br>
&gt;&gt; ~Atin<br>
&gt;&gt;<br>
&gt;&gt; On Thu, Aug 17, 2017 at 2:45 PM, ismael mondiu &lt;<a href="mailto:mondiu@hotmail.com" target="_blank">mondiu@hotmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Hi Team,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I noticed that glusterd is never starting when i reboot my Redhat 7.1<br>
&gt;&gt;&gt; server.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Service is enabled but don&#39;t works.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I tested with gluster 3.10.4 &amp; gluster 3.10.5 and the problem still<br>
&gt;&gt;&gt; exists.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; When i started the service manually this works.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I&#39;va also tested on Redhat 6.6 server and gluster 3.10.4 and this works<br>
&gt;&gt;&gt; fine.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; The problem seems to be related to Redhat 7.1<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; This is à known issue ? if yes , can you tell me what&#39;s is the<br>
&gt;&gt;&gt; workaround?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Thanks<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Some logs here<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; [root@~]# systemctl status  glusterd<br>
&gt;&gt;&gt; ● glusterd.service - GlusterFS, a clustered file-system server<br>
&gt;&gt;&gt;    Loaded: loaded (/usr/lib/systemd/system/glusterd.service; enabled;<br>
&gt;&gt;&gt; vendor preset: disabled)<br>
&gt;&gt;&gt;    Active: failed (Result: exit-code) since Thu 2017-08-17 11:04:00 CEST;<br>
&gt;&gt;&gt; 2min 9s ago<br>
&gt;&gt;&gt;   Process: 851 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid<br>
&gt;&gt;&gt; --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=1/FAILURE)<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Aug 17 11:03:59 dvihcasc0r systemd[1]: Starting GlusterFS, a clustered<br>
&gt;&gt;&gt; file-system server...<br>
&gt;&gt;&gt; Aug 17 11:04:00 dvihcasc0r systemd[1]: glusterd.service: control process<br>
&gt;&gt;&gt; exited, code=exited status=1<br>
&gt;&gt;&gt; Aug 17 11:04:00 dvihcasc0r systemd[1]: Failed to start GlusterFS, a<br>
&gt;&gt;&gt; clustered file-system server.<br>
&gt;&gt;&gt; Aug 17 11:04:00 dvihcasc0r systemd[1]: Unit glusterd.service entered<br>
&gt;&gt;&gt; failed state.<br>
&gt;&gt;&gt; Aug 17 11:04:00 dvihcasc0r systemd[1]: glusterd.service failed.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ****************************************************************************************<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  /var/log/glusterfs/glusterd.log<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ********************************************************************************************<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 2017-08-17 09:04:00.202529] I [MSGID: 106478] [glusterd.c:1449:init]<br>
&gt;&gt;&gt; 0-management: Maximum allowed open file descriptors set to 65536<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.202573] I [MSGID: 106479] [glusterd.c:1496:init]<br>
&gt;&gt;&gt; 0-management: Using /var/lib/glusterd as working directory<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.365134] E [rpc-transport.c:283:rpc_transport_load]<br>
&gt;&gt;&gt; 0-rpc-transport: /usr/lib64/glusterfs/3.10.5/rpc-transport/rdma.so: cannot<br>
&gt;&gt;&gt; open shared object file: No such file or directory<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.365161] W [rpc-transport.c:287:rpc_transport_load]<br>
&gt;&gt;&gt; 0-rpc-transport: volume &#39;rdma.management&#39;: transport-type &#39;rdma&#39; is not<br>
&gt;&gt;&gt; valid or not found on this machine<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.365195] W [rpcsvc.c:1661:rpcsvc_create_listener]<br>
&gt;&gt;&gt; 0-rpc-service: cannot create listener, initing the transport failed<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.365206] E [MSGID: 106243] [glusterd.c:1720:init]<br>
&gt;&gt;&gt; 0-management: creation of 1 listeners failed, continuing with succeeded<br>
&gt;&gt;&gt; transport<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.464314] I [MSGID: 106228]<br>
&gt;&gt;&gt; [glusterd.c:500:glusterd_check_gsync_present] 0-glusterd: geo-replication<br>
&gt;&gt;&gt; module not installed in the system [No such file or directory]<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.510412] I [MSGID: 106513]<br>
&gt;&gt;&gt; [glusterd-store.c:2197:glusterd_restore_op_version] 0-glusterd: retrieved<br>
&gt;&gt;&gt; op-version: 31004<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.711413] I [MSGID: 106194]<br>
&gt;&gt;&gt; [glusterd-store.c:3776:glusterd_store_retrieve_missed_snaps_list]<br>
&gt;&gt;&gt; 0-management: No missed snaps list.<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.756731] E [MSGID: 106187]<br>
&gt;&gt;&gt; [glusterd-store.c:4559:glusterd_resolve_all_bricks] 0-glusterd: resolve<br>
&gt;&gt;&gt; brick failed in restore<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.756787] E [MSGID: 101019] [xlator.c:503:xlator_init]<br>
&gt;&gt;&gt; 0-management: Initialization of volume &#39;management&#39; failed, review your<br>
&gt;&gt;&gt; volfile again<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.756802] E [MSGID: 101066]<br>
&gt;&gt;&gt; [graph.c:325:glusterfs_graph_init] 0-management: initializing translator<br>
&gt;&gt;&gt; failed<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.756816] E [MSGID: 101176]<br>
&gt;&gt;&gt; [graph.c:681:glusterfs_graph_activate] 0-graph: init failed<br>
&gt;&gt;&gt; [2017-08-17 09:04:00.766584] W [glusterfsd.c:1332:cleanup_and_exit]<br>
&gt;&gt;&gt; (--&gt;/usr/sbin/glusterd(glusterfs_volumes_init+0xfd) [0x7f9bdef4cabd]<br>
&gt;&gt;&gt; --&gt;/usr/sbin/glusterd(glusterfs_process_volfp+0x1b1) [0x7f9bdef4c961]<br>
&gt;&gt;&gt; --&gt;/usr/sbin/glusterd(cleanup_and_exit+0x6b) [0x7f9bdef4be4b] ) 0-: received<br>
&gt;&gt;&gt; signum (1), shutting down<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ******************************************************************************************<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; [root@~]# uptime<br>
&gt;&gt;&gt;  11:13:55 up 10 min,  1 user,  load average: 0.00, 0.02, 0.04<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ******************************************************************************************<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a></blockquote></div></div><div dir="ltr">-- <br></div><div class="gmail_signature" data-smartmail="gmail_signature">--Atin</div>