<div dir="ltr">Hi Shaik,<div><br></div><div>Can you please provide us complete glusterd and cmd_history logs from all the nodes in the cluster? Also please paste output of the following commands (from all nodes):</div><div>1. gluster --version</div><div>2. gluster volume info</div><div>3. gluster volume status</div><div>4. gluster peer status</div><div>5. ps -ax | grep glusterfsd</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jan 22, 2019 at 12:47 PM Shaik Salam &lt;<a href="mailto:shaik.salam@tcs.com">shaik.salam@tcs.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="2" face="sans-serif">Hi Surya,</font>
<br>
<br><font size="2" face="sans-serif">It is already customer setup and cant
redeploy again.</font>
<br><font size="2" face="sans-serif">Enabled debug for brick level log but
nothing writing to it.</font>
<br><font size="2" face="sans-serif">Can you tell me is any other ways to
troubleshoot  or logs to look??</font>
<br>
<br>
<br><font size="1" color="#5f5f5f" face="sans-serif">From:      
 </font><font size="1" face="sans-serif">Shaik Salam/HYD/TCS</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">To:      
 </font><font size="1" face="sans-serif">&quot;Amar Tumballi
Suryanarayan&quot; &lt;<a href="mailto:atumball@redhat.com" target="_blank">atumball@redhat.com</a>&gt;</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Cc:      
 </font><font size="1" face="sans-serif">&quot;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>
List&quot; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Date:      
 </font><font size="1" face="sans-serif">01/22/2019 12:06 PM</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Subject:    
   </font><font size="1" face="sans-serif">Re: [Bugs] Bricks
are going offline unable to recover with heal/start force commands</font>
<br>
<hr noshade>
<br>
<br><font size="2" face="sans-serif">Hi Surya,</font>
<br>
<br><font size="2" face="sans-serif">I have enabled DEBUG mode for brick
level. But nothing writing to brick log.</font>
<br>
<br><font size="2" face="sans-serif">gluster volume set vol_3442e86b6d994a14de73f1b8c82cf0b8
diagnostics.brick-log-level DEBUG</font>
<br>
<br><font size="2" face="sans-serif">sh-4.2# pwd</font>
<br><font size="2" face="sans-serif">/var/log/glusterfs/bricks</font>
<br>
<br><font size="2" face="sans-serif">sh-4.2# ls -la |grep brick_e15c12cceae12c8ab7782dd57cf5b6c1</font>
<br><font size="2" face="sans-serif">-rw-------. 1 root root    
  </font><font size="2" color="red" face="sans-serif">0</font><font size="2" face="sans-serif">
Jan 20 02:46 var-lib-heketi-mounts-vg_d5f17487744584e3652d3ca943b0b91b-brick_e15c12cceae12c8ab7782dd57cf5b6c1-brick.log</font>
<br>
<br><font size="2" face="sans-serif">BR</font>
<br><font size="2" face="sans-serif">Salam</font>
<br>
<br>
<br>
<br>
<br><font size="1" color="#5f5f5f" face="sans-serif">From:      
 </font><font size="1" face="sans-serif">&quot;Amar Tumballi
Suryanarayan&quot; &lt;<a href="mailto:atumball@redhat.com" target="_blank">atumball@redhat.com</a>&gt;</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">To:      
 </font><font size="1" face="sans-serif">&quot;Shaik Salam&quot;
&lt;<a href="mailto:shaik.salam@tcs.com" target="_blank">shaik.salam@tcs.com</a>&gt;</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Cc:      
 </font><font size="1" face="sans-serif">&quot;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>
List&quot; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Date:      
 </font><font size="1" face="sans-serif">01/22/2019 11:38 AM</font>
<br><font size="1" color="#5f5f5f" face="sans-serif">Subject:    
   </font><font size="1" face="sans-serif">Re: [Bugs] Bricks
are going offline unable to recover with heal/start force commands</font>
<br>
<hr noshade>
<br>
<br>
<br><font size="2" color="#ff8141"><b>&quot;External email. Open with Caution&quot;</b></font>
<br><font size="3">Hi Shaik,</font>
<br>
<br><font size="3">Can you check what is there in brick logs? They are located
in /var/log/glusterfs/bricks/*? </font>
<br>
<br><font size="3">Looks like the samba hooks script failed, but that shouldn&#39;t
matter in this use case.</font>
<br>
<br><font size="3">Also, I see that you are trying to setup heketi to provision
volumes, which means you may be using gluster in container usecases. If
you are still in &#39;PoC&#39; phase, can you give </font><a href="https://github.com/gluster/gcs" target="_blank"><font size="3" color="blue"><u>https://github.com/gluster/gcs</u></font></a><font size="3">
a try? That makes the deployment and the stack little simpler.</font>
<br>
<br><font size="3">-Amar</font>
<br>
<br>
<br>
<br>
<br><font size="3">On Tue, Jan 22, 2019 at 11:29 AM Shaik Salam &lt;</font><a href="mailto:shaik.salam@tcs.com" target="_blank"><font size="3" color="blue"><u>shaik.salam@tcs.com</u></font></a><font size="3">&gt;
wrote:</font>
<br><font size="2" face="sans-serif">Can anyone respond how to recover bricks
apart from heal/start force according to below events from logs.</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Please let me know any other logs required.</font><font size="3"> </font><font size="2" face="sans-serif"><br>
Thanks in advance.</font><font size="3"> <br>
</font><font size="2" face="sans-serif"><br>
BR</font><font size="3"> </font><font size="2" face="sans-serif"><br>
Salam</font><font size="3"> <br>
<br>
<br>
</font><font size="1" color="#5f5f5f" face="sans-serif"><br>
From:        </font><font size="1" face="sans-serif">Shaik
Salam/HYD/TCS</font><font size="3"> </font><font size="1" color="#5f5f5f" face="sans-serif"><br>
To:        </font><a href="mailto:bugs@gluster.org" target="_blank"><font size="1" color="blue" face="sans-serif"><u>bugs@gluster.org</u></font></a><font size="1" face="sans-serif">,
</font><a href="mailto:gluster-users@gluster.org" target="_blank"><font size="1" color="blue" face="sans-serif"><u>gluster-users@gluster.org</u></font></a><font size="3">
</font><font size="1" color="#5f5f5f" face="sans-serif"><br>
Date:        </font><font size="1" face="sans-serif">01/21/2019
10:03 PM</font><font size="3"> </font><font size="1" color="#5f5f5f" face="sans-serif"><br>
Subject:        </font><font size="1" face="sans-serif">Bricks
are going offline unable to recover with heal/start force commands</font><font size="3">
<br>
</font>
<hr noshade><font size="3"><br>
</font><font size="2" face="sans-serif"><br>
Hi,</font><font size="3"> <br>
</font><font size="2" face="sans-serif"><br>
Bricks are in offline and  unable to recover with following commands</font><font size="3">
<br>
</font><font size="2" face="sans-serif"><br>
gluster volume heal &lt;vol-name&gt;</font><font size="3"> <br>
</font><font size="2" face="sans-serif"><br>
gluster volume start &lt;vol-name&gt; force</font><font size="3"> <br>
</font><font size="2" face="sans-serif"><br>
But still bricks are offline.</font><font size="3"> <br>
<br>
</font><font size="2" face="sans-serif"><br>
sh-4.2# gluster volume status vol_3442e86b6d994a14de73f1b8c82cf0b8</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Status of volume: vol_3442e86b6d994a14de73f1b8c82cf0b8</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Gluster process                
            TCP Port  RDMA Port  Online
 Pid</font><font size="3"> </font><font size="2" face="sans-serif"><br>
------------------------------------------------------------------------------</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Brick 192.168.3.6:/var/lib/heketi/mounts/vg</font><font size="3"> </font><font size="2" face="sans-serif"><br>
_ca57f326195c243be2380ce4e42a4191/brick_952</font><font size="3"> </font><font size="2" face="sans-serif"><br>
d75fd193c7209c9a81acbc23a3747/brick         49166  
  0          Y       269</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Brick 192.168.3.5:/var/lib/heketi/mounts/vg</font><font size="3"> </font><font size="2" face="sans-serif"><br>
_d5f17487744584e3652d3ca943b0b91b/brick_e15</font><font size="3"> </font><font size="2" face="sans-serif"><br>
c12cceae12c8ab7782dd57cf5b6c1/brick         N/A  
    N/A        N       N/A</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Brick 192.168.3.15:/var/lib/heketi/mounts/v</font><font size="3"> </font><font size="2" face="sans-serif"><br>
g_462ea199185376b03e4b0317363bb88c/brick_17</font><font size="3"> </font><font size="2" face="sans-serif"><br>
36459d19e8aaa1dcb5a87f48747d04/brick        49173  
  0          Y       225</font><font size="3">
</font><font size="2" face="sans-serif"><br>
Self-heal Daemon on localhost            
  N/A       N/A        Y  
    45826</font><font size="3"> </font><font size="2" face="sans-serif"><br>
Self-heal Daemon on 192.168.3.6            
N/A       N/A        Y    
  65196</font><font size="3"> </font><font size="2" face="sans-serif"><br>
Self-heal Daemon on 192.168.3.15            N/A
      N/A        Y      
52915</font><font size="3"> <br>
</font><font size="2" face="sans-serif"><br>
Task Status of Volume vol_3442e86b6d994a14de73f1b8c82cf0b8</font><font size="3">
</font><font size="2" face="sans-serif"><br>
------------------------------------------------------------------------------</font><font size="3">
<br>
<br>
</font><font size="2" face="sans-serif"><br>
We can see following events from when we start forcing volumes</font><font size="3">
<br>
</font><font size="2" face="sans-serif"><br>
/mgmt/glusterd.so(+0xe2b3a) [0x7fca9e139b3a] --&gt;/usr/lib64/glusterfs/4.1.5/xlator/mgmt/glusterd.so(+0xe2605)
[0x7fca9e139605] --&gt;/lib64/libglusterfs.so.0(runner_log+0x115) [0x7fcaa346f0e5]
) 0-management: Ran script: /var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh
--volname=vol_3442e86b6d994a14de73f1b8c82cf0b8 --first=no --version=1 --volume-op=start
--gd-workdir=/var/lib/glusterd</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:34.555068] E [run.c:241:runner_log] (--&gt;/usr/lib64/glusterfs/4.1.5/xlator/mgmt/glusterd.so(+0xe2b3a)
[0x7fca9e139b3a] --&gt;/usr/lib64/glusterfs/4.1.5/xlator/mgmt/glusterd.so(+0xe2563)
[0x7fca9e139563] --&gt;/lib64/libglusterfs.so.0(runner_log+0x115) [0x7fcaa346f0e5]
) 0-management: Failed to execute script: /var/lib/glusterd/hooks/1/start/post/S30samba-start.sh
--volname=vol_3442e86b6d994a14de73f1b8c82cf0b8 --first=no --version=1 --volume-op=start
--gd-workdir=/var/lib/glusterd</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.389049] I [MSGID: 106499] [glusterd-handler.c:4314:__glusterd_handle_status_volume]
0-management: Received status volume req for volume vol_3442e86b6d994a14de73f1b8c82cf0b8</font><font size="3">
</font><font size="2" face="sans-serif"><br>
[2019-01-21 08:23:25.346839] I [MSGID: 106487] [glusterd-handler.c:1486:__glusterd_handle_cli_list_friends]
0-glusterd: Received cli list req</font><font size="3"> <br>
<br>
</font><font size="2" face="sans-serif"><br>
We can see following events from when we heal volumes.</font><font size="3">
<br>
</font><font size="2" face="sans-serif"><br>
[2019-01-21 08:20:07.576070] W [rpc-clnt.c:1753:rpc_clnt_submit] 0-glusterfs:
error returned while attempting to connect to host:(null), port:0</font><font size="3">
</font><font size="2" face="sans-serif"><br>
[2019-01-21 08:20:07.580225] I [cli-rpc-ops.c:9182:gf_cli_heal_volume_cbk]
0-cli: Received resp to heal volume</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:20:07.580326] I [input.c:31:cli_batch] 0-: Exiting with:
-1</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:30.423311] I [cli.c:768:main] 0-cli: Started running
gluster with version 4.1.5</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:30.463648] I [MSGID: 101190] [event-epoll.c:617:event_dispatch_epoll_worker]
0-epoll: Started thread with index 1</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:30.463718] I [socket.c:2632:socket_event_handler] 0-transport:
EPOLLERR - disconnecting now</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:30.463859] W [rpc-clnt.c:1753:rpc_clnt_submit] 0-glusterfs:
error returned while attempting to connect to host:(null), port:0</font><font size="3">
</font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:33.427710] I [socket.c:2632:socket_event_handler] 0-transport:
EPOLLERR - disconnecting now</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:34.581555] I [cli-rpc-ops.c:1472:gf_cli_start_volume_cbk]
0-cli: Received resp to start volume</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:34.581678] I [input.c:31:cli_batch] 0-: Exiting with:
0</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.345351] I [cli.c:768:main] 0-cli: Started running
gluster with version 4.1.5</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.387992] I [MSGID: 101190] [event-epoll.c:617:event_dispatch_epoll_worker]
0-epoll: Started thread with index 1</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.388059] I [socket.c:2632:socket_event_handler] 0-transport:
EPOLLERR - disconnecting now</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.388138] W [rpc-clnt.c:1753:rpc_clnt_submit] 0-glusterfs:
error returned while attempting to connect to host:(null), port:0</font><font size="3">
</font><font size="2" face="sans-serif"><br>
[2019-01-21 08:22:53.394737] I [input.c:31:cli_batch] 0-: Exiting with:
0</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:23:25.304688] I [cli.c:768:main] 0-cli: Started running
gluster with version 4.1.5</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:23:25.346319] I [MSGID: 101190] [event-epoll.c:617:event_dispatch_epoll_worker]
0-epoll: Started thread with index 1</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:23:25.346389] I [socket.c:2632:socket_event_handler] 0-transport:
EPOLLERR - disconnecting now</font><font size="3"> </font><font size="2" face="sans-serif"><br>
[2019-01-21 08:23:25.346500] W [rpc-clnt.c:1753:rpc_clnt_submit] 0-glusterfs:
error returned while attempting to connect to host:(null), port:0</font><font size="3">
<br>
<br>
<br>
</font><font size="2" face="sans-serif"><br>
Please let us know steps to recover bricks.</font><font size="3"> <br>
<br>
</font><font size="2" face="sans-serif"><br>
BR</font><font size="3"> </font><font size="2" face="sans-serif"><br>
Salam</font><font size="3"> </font>
<br><font size="3">=====-----=====-----=====<br>
Notice: The information contained in this e-mail<br>
message and/or attachments to it may contain <br>
confidential or privileged information. If you are <br>
not the intended recipient, any dissemination, use, <br>
review, distribution, printing or copying of the <br>
information contained in this e-mail message <br>
and/or attachments to it are strictly prohibited. If <br>
you have received this communication in error, <br>
please notify us by reply e-mail or telephone and <br>
immediately and permanently delete the message <br>
and any attachments. Thank you</font>
<br><font size="3">_______________________________________________<br>
Bugs mailing list</font><font size="3" color="blue"><u><br>
</u></font><a href="mailto:Bugs@gluster.org" target="_blank"><font size="3" color="blue"><u>Bugs@gluster.org</u></font></a><font size="3" color="blue"><u><br>
</u></font><a href="https://lists.gluster.org/mailman/listinfo/bugs" target="_blank"><font size="3" color="blue"><u>https://lists.gluster.org/mailman/listinfo/bugs</u></font></a>
<br>
<br>
<br><font size="3">-- </font>
<br><font size="3">Amar Tumballi (amarts)</font>
<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Thanks,<br></div>Sanju<br></div></div>