<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html>
<head>
  <meta name="Generator" content="Zarafa WebAccess v7.1.14-51822">
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>After stop and start wrong port is advertised</title>
  <style type="text/css">
      body
      {
        font-family: Arial, Verdana, Sans-Serif ! important;
        font-size: 12px;
        padding: 5px 5px 5px 5px;
        margin: 0px;
        border-style: none;
        background-color: #ffffff;
      }

      p, ul, li
      {
        margin-top: 0px;
        margin-bottom: 0px;
      }
  </style>
</head>
<body>
<p><span style="font-family: monospace;">Hi,</span></p><p>&nbsp;</p><p>&nbsp;</p><p>We use glusterfs 3.10.5 on Debian 9.</p><p>&nbsp;</p><p>When we stop or restart the service, e.g.:&nbsp;service glusterfs-server restart</p><p>&nbsp;</p><p>We see that the wrong port get&#39;s advertised afterwards. For example:</p><p>&nbsp;</p><p>Before restart:</p><p>&nbsp;</p><div>Status of volume: public</div><div>Gluster process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid</div><div>------------------------------------------------------------------------------</div><div>Brick 192.168.140.41:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49153 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 6364</div><div>Brick 192.168.140.42:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49152 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 1483</div><div>Brick 192.168.140.43:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49152 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 5913</div><div>Self-heal Daemon on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 5932</div><div>Self-heal Daemon on 192.168.140.42 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 13084</div><div>Self-heal Daemon on 192.168.140.41 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 15499</div><div>&nbsp;</div><div>Task Status of Volume public</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div>&nbsp;</div><div>&nbsp;</div><div>After restart of the service on one of the nodes (192.168.140.43) the port seems to have changed (but it didn&#39;t):</div><div>&nbsp;</div><div><div>root@app3:/var/log/glusterfs# &nbsp;gluster volume status</div><div>Status of volume: public</div><div>Gluster process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid</div><div>------------------------------------------------------------------------------</div><div>Brick 192.168.140.41:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49153 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 6364</div><div>Brick 192.168.140.42:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49152 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 1483</div><div>Brick 192.168.140.43:/gluster/public &nbsp; &nbsp; &nbsp; &nbsp;49154 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 5913</div><div>Self-heal Daemon on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 4628</div><div>Self-heal Daemon on 192.168.140.42 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 3077</div><div>Self-heal Daemon on 192.168.140.41 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 28777</div><div>&nbsp;</div><div>Task Status of Volume public</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div>&nbsp;</div></div><div>&nbsp;</div><div>However the active process is STILL the same pid AND still listening on the old port</div><div>&nbsp;</div><div><div>root@192.168.140.43:/var/log/glusterfs# netstat -tapn | grep gluster</div><div>tcp &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp;0 0.0.0.0:49152 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0.0.0.0:* &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; LISTEN &nbsp; &nbsp; &nbsp;5913/glusterfsd</div><div>&nbsp;</div></div><div>&nbsp;</div><div>The other nodes logs fill up with errors because they can&#39;t reach the daemon anymore. They try to reach it on the &quot;new&quot; port instead of the old one:</div><div>&nbsp;</div><div><div>[2017-09-21 08:33:25.225006] E [socket.c:2327:socket_connect_finish] 0-public-client-2: connection to 192.168.140.43:49154 failed (Connection refused); disconnecting socket</div><div>[2017-09-21 08:33:29.226633] I [rpc-clnt.c:2000:rpc_clnt_reconfig] 0-public-client-2: changing port to 49154 (from 0)</div><div>[2017-09-21 08:33:29.227490] E [socket.c:2327:socket_connect_finish] 0-public-client-2: connection to 192.168.140.43:49154 failed (Connection refused); disconnecting socket</div><div>[2017-09-21 08:33:33.225849] I [rpc-clnt.c:2000:rpc_clnt_reconfig] 0-public-client-2: changing port to 49154 (from 0)</div><div>[2017-09-21 08:33:33.236395] E [socket.c:2327:socket_connect_finish] 0-public-client-2: connection to 192.168.140.43:49154 failed (Connection refused); disconnecting socket</div><div>[2017-09-21 08:33:37.225095] I [rpc-clnt.c:2000:rpc_clnt_reconfig] 0-public-client-2: changing port to 49154 (from 0)</div><div>[2017-09-21 08:33:37.225628] E [socket.c:2327:socket_connect_finish] 0-public-client-2: connection to 192.168.140.43:49154 failed (Connection refused); disconnecting socket</div><div>[2017-09-21 08:33:41.225805] I [rpc-clnt.c:2000:rpc_clnt_reconfig] 0-public-client-2: changing port to 49154 (from 0)</div><div>[2017-09-21 08:33:41.226440] E [socket.c:2327:socket_connect_finish] 0-public-client-2: connection to 192.168.140.43:49154 failed (Connection refused); disconnecting socket</div><div>&nbsp;</div></div><div>So they now try 49154 instead of the old 49152&nbsp;</div><div>&nbsp;</div><div>Is this also by design? We had a lot of issues because of this recently. We don&#39;t understand why it starts advertising a completely wrong port after stop/start.</div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><p>&nbsp;</p><p>Regards</p><p>Jo Goossens</p><p>&nbsp;</p><p><style type="text/css">body { font-family: monospace; }</style><style type="text/css">       .bodyclass       {         font-family: Arial, Verdana, Sans-Serif ! important;         font-size: 12px;         padding: 5px 5px 5px 5px;         margin: 0px;         border-style: none;         background-color: #ffffff;       }        p, ul, li       {         margin-top: 0px;         margin-bottom: 0px;       }   </style></p>
</body>
</html>