<div dir="ltr"><br><div class="gmail_extra"><div class="gmail_quote">On Mon, Jan 16, 2017 at 10:19 AM, likun <span dir="ltr">&lt;<a href="mailto:kun.li@ucarinc.com" target="_blank">kun.li@ucarinc.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="#0563C1" vlink="#954F72" lang="ZH-CN"><div class="m_-2985749596316259851WordSection1"><p class="MsoNormal"><span lang="EN-US">Hi, everybody.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">I have glusterfs 3.8.5 setuped in a kubernetes enveironment.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Recently, one of my glusterfs server rebooted, glusterfs service didn’t come up successfully.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Out of totally 6 bricks, 3 came up, 3 didn’t.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Here is the logs of the brick that have failed:<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:46:50.240032] I [MSGID: 100030] [glusterfsd.c:2454:main] 0-/usr/sbin/glusterfsd: Started running /usr/sbin/glusterfsd version 3.8.5 (args: /usr/sbin/glusterfsd -s 10.32.3.23 --volfile-id gvol0.10.32.3.23.mnt-brick1-<wbr>vol -p /var/lib/glusterd/vols/gvol0/<wbr>run/10.32.3.23-mnt-brick1-vol.<wbr>pid -S /var/run/gluster/<wbr>08da045f3e66eefc50c0ff9a035c67<wbr>94.socket --brick-name /mnt/brick1/vol -l /var/log/glusterfs/bricks/mnt-<wbr>brick1-vol.log --xlator-option *-posix.glusterd-uuid=<wbr>58c3b462-a4b6-4655-b2ac-<wbr>d0502e278e03 --brick-port 49152 --xlator-option gvol0-server.listen-port=<wbr>49152)</span></p></div></div></blockquote><div><br></div><div>So 49152 port was allocated for this brick.<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="#0563C1" vlink="#954F72" lang="ZH-CN"><div class="m_-2985749596316259851WordSection1"><p class="MsoNormal"><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:46:50.258772] I [MSGID: 101190] [event-epoll.c:628:event_<wbr>dispatch_epoll_worker] 0-epoll: Started thread with index 1<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.153575] I [MSGID: 101173] [graph.c:269:gf_add_cmdline_<wbr>options] 0-gvol0-server: adding option &#39;listen-port&#39; for volume &#39;gvol0-server&#39; with value &#39;49152&#39;<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.153613] I [MSGID: 101173] [graph.c:269:gf_add_cmdline_<wbr>options] 0-gvol0-posix: adding option &#39;glusterd-uuid&#39; for volume &#39;gvol0-posix&#39; with value &#39;58c3b462-a4b6-4655-b2ac-<wbr>d0502e278e03&#39;<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.153777] I [MSGID: 115034] [server.c:398:_check_for_auth_<wbr>option] 0-gvol0-decompounder: skip format check for non-addr auth option auth.login./mnt/brick1/vol.<wbr>allow<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.153785] I [MSGID: 115034] [server.c:398:_check_for_auth_<wbr>option] 0-gvol0-decompounder: skip format check for non-addr auth option auth.login.94bedfd1-619d-402a-<wbr>9826-67dab7600f43.password<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.153895] I [MSGID: 101190] [event-epoll.c:628:event_<wbr>dispatch_epoll_worker] 0-epoll: Started thread with index 2<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159776] I [rpcsvc.c:2214:rpcsvc_set_<wbr>outstanding_rpc_limit] 0-rpc-service: Configured rpc.outstanding-rpc-limit with value 64<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159829] W [MSGID: 101002] [options.c:954:xl_opt_<wbr>validate] 0-gvol0-server: option &#39;listen-port&#39; is deprecated, preferred is &#39;transport.socket.listen-port&#39;<wbr>, continuing with correction<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159893] E [socket.c:793:__socket_server_<wbr>bind] 0-tcp.gvol0-server: binding to  failed: Address already in use<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159899] E [socket.c:796:__socket_server_<wbr>bind] 0-tcp.gvol0-server: Port is already in use</span></p></div></div></blockquote><div><br></div><div>What does &#39;netstat -nap | grep 49152&#39; says at that time? Are we sure no other application has accidentally raced to consume the same port  ?<br><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="#0563C1" vlink="#954F72" lang="ZH-CN"><div class="m_-2985749596316259851WordSection1"><p class="MsoNormal"><span lang="EN-US"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159907] W [rpcsvc.c:1645:rpcsvc_create_<wbr>listener] 0-rpc-service: listening on transport failed<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159913] W [MSGID: 115045] [server.c:1061:init] 0-gvol0-server: creation of listener failed<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159919] E [MSGID: 101019] [xlator.c:433:xlator_init] 0-gvol0-server: Initialization of volume &#39;gvol0-server&#39; failed, review your volfile again<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159924] E [MSGID: 101066] [graph.c:324:glusterfs_graph_<wbr>init] 0-gvol0-server: initializing translator failed<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.159929] E [MSGID: 101176] [graph.c:673:glusterfs_graph_<wbr>activate] 0-graph: init failed<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">[2016-12-29 03:47:08.160764] W [glusterfsd.c:1327:cleanup_<wbr>and_exit] (--&gt;/usr/sbin/glusterfsd(mgmt_<wbr>getspec_cbk+0x3c1) [0x55ead22bee51] --&gt;/usr/sbin/glusterfsd(<wbr>glusterfs_process_volfp+0x172) [0x55ead22b95d2] --&gt;/usr/sbin/glusterfsd(<wbr>cleanup_and_exit+0x6b) [0x55ead22b8b4b] ) 0-: received signum (98), shutting down<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">What’s wrong with it ? “port is already in use” ? the system was just rebooted, it’s clear, no other daemon was using this port .<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">After restarted the glusterfs container, all six bricks came up. Sometime, two restart or more needed to take all the bricks back to work. Any idea ?<span class="HOEnZb"><font color="#888888"><u></u><u></u></font></span></span></p><span class="HOEnZb"><font color="#888888"><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Likun<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></font></span></div></div><br>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div><br></div>