<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
p.gmail-msonormal, li.gmail-msonormal, div.gmail-msonormal
        {mso-style-name:gmail-msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle20
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D">Hi thank you for the reply.&nbsp; Ultimately the volume did eventually start after about 1.5 hours from the volume start command.&nbsp; Could it have something to do with
 the amount of files on the volume? &nbsp;<o:p></o:p></span></p>
<p class="MsoNormal"><a name="_MailEndCompose"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D"><o:p>&nbsp;</o:p></span></a></p>
<span style="mso-bookmark:_MailEndCompose"></span>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif"> Atin Mukherjee [mailto:amukherj@redhat.com]
<br>
<b>Sent:</b> Monday, December 18, 2017 1:26 AM<br>
<b>To:</b> Matt Waymack &lt;mwaymack@nsgdv.com&gt;<br>
<b>Cc:</b> gluster-users &lt;Gluster-users@gluster.org&gt;<br>
<b>Subject:</b> Re: [Gluster-users] Production Volume will not start<o:p></o:p></span></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal">On Sat, Dec 16, 2017 at 12:45 AM, Matt Waymack &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mwaymack@nsgdv.com</a>&gt; wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="gmail-msonormal">Hi all, <o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">I have an issue where our volume will not start from any node.&nbsp; When attempting to start the volume it will eventually return:<br>
<br>
Error: Request timed out<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">For some time after that, the volume is locked and we either have to wait or restart Gluster services.&nbsp; In the gluserd.log, it shows the following:<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:00:12.423478] I [glusterd-utils.c:5926:glusterd_brick_start] 0-management: starting a fresh brick process for brick /exp/b1/gv0<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:03:12.673885] I [glusterd-locks.c:729:gd_mgmt_v3_unlock_timer_cbk] 0-management: In gd_mgmt_v3_unlock_timer_cbk<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:06:34.304868] I [MSGID: 106499] [glusterd-handler.c:4303:__glusterd_handle_status_volume] 0-management: Received status volume req for volume gv0<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:06:34.306603] E [MSGID: 106301] [glusterd-syncop.c:1353:gd_stage_op_phase] 0-management: Staging of operation 'Volume Status' failed on localhost : Volume gv0 is not started<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:11:39.412700] I [glusterd-utils.c:5926:glusterd_brick_start] 0-management: starting a fresh brick process for brick /exp/b2/gv0<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:11:42.405966] I [MSGID: 106143] [glusterd-pmap.c:280:pmap_registry_bind] 0-pmap: adding brick /exp/b2/gv0 on port 49153<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:11:42.406415] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-management: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:11:42.406669] I [glusterd-utils.c:5926:glusterd_brick_start] 0-management: starting a fresh brick process for brick /exp/b3/gv0<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:14:39.737192] I [glusterd-locks.c:729:gd_mgmt_v3_unlock_timer_cbk] 0-management: In gd_mgmt_v3_unlock_timer_cbk<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:35:20.856849] I [MSGID: 106143] [glusterd-pmap.c:280:pmap_registry_bind] 0-pmap: adding brick /exp/b1/gv0 on port 49152<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:35:20.857508] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-management: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:35:20.858277] I [glusterd-utils.c:5926:glusterd_brick_start] 0-management: starting a fresh brick process for brick /exp/b4/gv0<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.953995] I [MSGID: 106143] [glusterd-pmap.c:280:pmap_registry_bind] 0-pmap: adding brick /exp/b3/gv0 on port 49154<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.954432] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-management: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.971355] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-snapd: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.989392] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-nfs: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.989543] I [MSGID: 106132] [glusterd-proc-mgmt.c:83:glusterd_proc_stop] 0-management: nfs already stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.989562] I [MSGID: 106568] [glusterd-svc-mgmt.c:229:glusterd_svc_stop] 0-management: nfs service is stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.989575] I [MSGID: 106600] [glusterd-nfs-svc.c:82:glusterd_nfssvc_manager] 0-management: nfs/server.so xlator is not installed<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:07.989601] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-glustershd: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:08.003011] I [MSGID: 106132] [glusterd-proc-mgmt.c:83:glusterd_proc_stop] 0-management: glustershd already stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:08.003039] I [MSGID: 106568] [glusterd-svc-mgmt.c:229:glusterd_svc_stop] 0-management: glustershd service is stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:08.003079] I [MSGID: 106567] [glusterd-svc-mgmt.c:197:glusterd_svc_start] 0-management: Starting glustershd service<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005173] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-quotad: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005569] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-bitd: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005673] I [MSGID: 106132] [glusterd-proc-mgmt.c:83:glusterd_proc_stop] 0-management: bitd already stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005689] I [MSGID: 106568] [glusterd-svc-mgmt.c:229:glusterd_svc_stop] 0-management: bitd service is stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005712] I [rpc-clnt.c:1044:rpc_clnt_connection_init] 0-scrub: setting frame-timeout to 600<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005892] I [MSGID: 106132] [glusterd-proc-mgmt.c:83:glusterd_proc_stop] 0-management: scrub already stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.005912] I [MSGID: 106568] [glusterd-svc-mgmt.c:229:glusterd_svc_stop] 0-management: scrub service is stopped<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.026559] I [socket.c:3672:socket_submit_reply] 0-socket.management: not connected (priv-&gt;connected = -1)<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.026568] E [rpcsvc.c:1364:rpcsvc_submit_generic] 0-rpc-service: failed to submit message (XID: 0x2, Program: GlusterD svc cli, ProgVers: 2, Proc: 27) to rpc-transport (socket.management)<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:46:09.026582] E [MSGID: 106430] [glusterd-utils.c:568:glusterd_submit_reply] 0-glusterd: Reply submission failed<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.962251] E [rpc-clnt.c:185:call_bail] 0-management: bailing out frame type(glusterd mgmt v3) op(--(4)) xid = 0x14 sent = 2017-12-15 18:46:09.005976. timeout = 600 for
<a href="http://10.17.100.208:24007" target="_blank">10.17.100.208:24007</a><o:p></o:p></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">There's a call bail here which means glusterd was never able to get a cbk response back from
<a href="http://nsgtpcfs02.corp.nsgdv.com" target="_blank">nsgtpcfs02.corp.nsgdv.com</a> .
<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">I am guessing you have ended up with a duplicate peerinfo entry of
<a href="http://nsgtpcfs02.corp.nsgdv.com" target="_blank">nsgtpcfs02.corp.nsgdv.com</a> in /var/lib/glusterd/peers folder on the node where the CLI failed. Can you please share the output of gluster peer status along with the content of &quot;cat /var/lib/glusterd/peers/*
 &quot; from all the nodes? <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="gmail-msonormal">[2017-12-15 18:56:17.962324] E [MSGID: 106116] [glusterd-mgmt.c:124:gd_mgmt_v3_collate_errors] 0-management: Commit failed on
<a href="http://nsgtpcfs02.corp.nsgdv.com" target="_blank">nsgtpcfs02.corp.nsgdv.com</a>. Please check log file for details.<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.962408] E [MSGID: 106123] [glusterd-mgmt.c:1677:glusterd_mgmt_v3_commit] 0-management: Commit failed on peers<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.962656] E [MSGID: 106123] [glusterd-mgmt.c:2209:glusterd_mgmt_v3_initiate_all_phases] 0-management: Commit Op Failed<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.964004] E [MSGID: 106116] [glusterd-mgmt.c:124:gd_mgmt_v3_collate_errors] 0-management: Unlocking failed on
<a href="http://nsgtpcfs02.corp.nsgdv.com" target="_blank">nsgtpcfs02.corp.nsgdv.com</a>. Please check log file for details.<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965184] E [MSGID: 106116] [glusterd-mgmt.c:124:gd_mgmt_v3_collate_errors] 0-management: Unlocking failed on tpc-arbiter1-100617. Please check log file for details.<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965277] E [MSGID: 106118] [glusterd-mgmt.c:2087:glusterd_mgmt_v3_release_peer_locks] 0-management: Unlock failed on peers<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965372] W [glusterd-locks.c:843:glusterd_mgmt_v3_unlock] (--&gt;/usr/lib64/glusterfs/3.12.3/xlator/mgmt/glusterd.so(&#43;0xe5631) [0x7f48e44a1631] --&gt;/usr/lib64/glusterfs/3.12.3/xlator/mgmt/glusterd.so(&#43;0xe543e) [0x7f48e44a143e]
 --&gt;/usr/lib64/glusterfs/3.12.3/xlator/mgmt/glusterd.so(&#43;0xe4625) [0x7f48e44a0625] ) 0-management: Lock for vol gv0 not held<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965394] E [MSGID: 106118] [glusterd-locks.c:356:glusterd_mgmt_v3_unlock_entity] 0-management: Failed to release lock for vol gv0 on behalf of 711ffb0c-57b7-46ec-ba8d-185de969e6cc.<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965409] E [MSGID: 106147] [glusterd-locks.c:483:glusterd_multiple_mgmt_v3_unlock] 0-management: Unable to unlock all vol<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965424] E [MSGID: 106118] [glusterd-mgmt.c:2240:glusterd_mgmt_v3_initiate_all_phases] 0-management: Failed to release mgmt_v3 locks on localhost<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965469] I [socket.c:3672:socket_submit_reply] 0-socket.management: not connected (priv-&gt;connected = -1)<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965474] E [rpcsvc.c:1364:rpcsvc_submit_generic] 0-rpc-service: failed to submit message (XID: 0x2, Program: GlusterD svc cli, ProgVers: 2, Proc: 8) to rpc-transport (socket.management)<o:p></o:p></p>
<p class="gmail-msonormal">[2017-12-15 18:56:17.965486] E [MSGID: 106430] [glusterd-utils.c:568:glusterd_submit_reply] 0-glusterd: Reply submission failed<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">This issue started after a gluster volume stop followed by a reboot of all nodes.&nbsp; We also updated to the latest available in the CentOS repo and are at version 3.12.3.&nbsp; I’m not sure where to look as the log doesn’t seem to show me
 anything other than it just not working.<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">gluster peer status shows all peers connected across all nodes, firewall has all ports opened and was disabled for troubleshooting.&nbsp; The volume is a distributed-replicated with arbiter for a total of 3 nodes.<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">The volume is a production volume with over 120TB of data so I’d really like to not have to start over with the volume.&nbsp; Anyone have any suggestions on where else to look?<o:p></o:p></p>
<p class="gmail-msonormal">&nbsp;<o:p></o:p></p>
<p class="gmail-msonormal">Thank you!<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</div>
</div>
</body>
</html>