<div dir="ltr"><div dir="ltr">Hi,<div><br></div><div>Okay. So, after applying the fix everything worked well? Means all the peers were in connected state?</div><div>If so, can you try creating a new volume without enabling SSL and share the log, and also for the volume that is not starting can you try the steps mentioned here <a href="https://docs.gluster.org/en/latest/Troubleshooting/troubleshooting-glusterd/" rel="noopener noreferrer" target="_blank">https://docs.gluster.org/en/latest/Troubleshooting/troubleshooting-glusterd/</a> only in the &#39;Common issues how to resolve them section&quot; and what logs do you get?</div><div>Also, could you ping test all the peers?</div><div>And the error &#39;failed to fetch volume files&#39; occurs as it is not able to fetch the vol file from it&#39;s peers, as all the peers in the cluster share the same vol file for a volume.</div><div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><br></div><div>Regards</div><div>Nikhil Ladha</div></div></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 28, 2020 at 12:37 PM &lt;<a href="mailto:nico@furyweb.fr">nico@furyweb.fr</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div>Hi.<br></div><div><br></div><div>No operation on any volume nor brick, the only change was SSL certificate renewal on 3 nodes and all clients. Then, node 2 was rejected and I applied following steps to fix : <span id="gmail-m_-5956154649879068912OBJ_PREFIX_DWT244_com_zimbra_url"><span id="gmail-m_-5956154649879068912OBJ_PREFIX_DWT253_com_zimbra_url"><a href="https://staged-gluster-docs.readthedocs.io/en/release3.7.0beta1/Administrator%20Guide/Resolving%20Peer%20Rejected/" rel="noopener noreferrer" target="_blank">https://staged-gluster-docs.readthedocs.io/en/release3.7.0beta1/Administrator%20Guide/Resolving%20Peer%20Rejected/</a></span></span><br>I also saw <span id="gmail-m_-5956154649879068912OBJ_PREFIX_DWT245_com_zimbra_url"><span id="gmail-m_-5956154649879068912OBJ_PREFIX_DWT254_com_zimbra_url"><a href="https://docs.gluster.org/en/latest/Troubleshooting/troubleshooting-glusterd/" rel="noopener noreferrer" target="_blank">https://docs.gluster.org/en/latest/Troubleshooting/troubleshooting-glusterd/</a></span></span> but solution wasn&#39;t compatible as cluster.max-op-version doesn&#39;t exist and all op-version are the same on all 3 nodes. <br></div><div><br></div><div>The strange thing is error  &quot;failed to fetch volume file&quot; occurs on the node owning the brick, does it means it can&#39;t access it&#39;s own brick ?<br></div><div><br></div><div>Regards,<br></div><div>Nicolas.<br></div><div><br></div><hr id="gmail-m_-5956154649879068912zwchr"><div><b>De: </b>&quot;Nikhil Ladha&quot; &lt;<a href="mailto:nladha@redhat.com" target="_blank">nladha@redhat.com</a>&gt;<br><b>À: </b><a href="mailto:nico@furyweb.fr" target="_blank">nico@furyweb.fr</a><br><b>Cc: </b>&quot;gluster-users&quot; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Envoyé: </b>Mardi 28 Avril 2020 07:43:20<br><b>Objet: </b>Re: [Gluster-users] never ending logging<br></div><div><br></div><div><div dir="ltr">Hi,<br><div>Since, all things are working fine except few bricks which are not coming up, I doubt there is any issue with gluster itself. Did you by chance made any changes to those bricks or the volume or the node to which they are linked?</div><div>And as far as SSL logs are concerned, I am looking into that matter.</div><div><br clear="all"><div><div dir="ltr"><div dir="ltr"><div>Regards</div><div>Nikhil Ladha</div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 27, 2020 at 7:17 PM &lt;<a href="mailto:nico@furyweb.fr" target="_blank">nico@furyweb.fr</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div>Thanks for reply.<br></div><br><div>I updated storage pool in 7.5 and restarted all 3 nodes sequentially.<br></div><div>All nodes now appear in Connected state from every node and gluster volume list show all 74 volumes.</div><div>SSL log lines are still flooding glusterd log file on all nodes but don&#39;t appear on grick log files. As there&#39;s no information about volume nor client on these lines I&#39;m not able to check if a certain volume produce this error or not.<br></div><div>I alos tried pstack after installing Debian package glusterfs-dbg but still getting &quot;No symbols&quot; error<br></div><br><div>I found that 5 brick processes didn&#39;t start on node 2 and 1 on node 3<br></div><div>[2020-04-27 11:54:23.622659] I [MSGID: 100030] [glusterfsd.c:2867:main] 0-/usr/sbin/glusterfsd: Started running /usr/sbin/glusterfsd version 7.5 (args: /usr/sbin/glusterfsd -s glusterDevVM2 --volfile-id svg_pg_wed_dev_bkp.glusterDevVM2.bricks-svg_pg_wed_dev_bkp-brick1-data -p /var/run/gluster/vols/svg_pg_wed_dev_bkp/glusterDevVM2-bricks-svg_pg_wed_dev_bkp-brick1-data.pid -S /var/run/gluster/5023d38a22a8a874.socket --brick-name /bricks/svg_pg_wed_dev_bkp/brick1/data -l /var/log/glusterfs/bricks/bricks-svg_pg_wed_dev_bkp-brick1-data.log --xlator-option *-posix.glusterd-uuid=7f6c3023-144b-4db2-9063-d90926dbdd18 --process-name brick --brick-port 49206 --xlator-option svg_pg_wed_dev_bkp-server.listen-port=49206)<br>[2020-04-27 11:54:23.632870] I [glusterfsd.c:2594:daemonize] 0-glusterfs: Pid of current running process is 5331<br>[2020-04-27 11:54:23.636679] I [socket.c:4350:ssl_setup_connection_params] 0-socket.glusterfsd: SSL support for glusterd is ENABLED<br>[2020-04-27 11:54:23.636745] I [socket.c:4360:ssl_setup_connection_params] 0-socket.glusterfsd: using certificate depth 1<br>[2020-04-27 11:54:23.637580] I [socket.c:958:__socket_server_bind] 0-socket.glusterfsd: closing (AF_UNIX) reuse check socket 9<br>[2020-04-27 11:54:23.637932] I [socket.c:4347:ssl_setup_connection_params] 0-glusterfs: SSL support on the I/O path is ENABLED<br>[2020-04-27 11:54:23.637949] I [socket.c:4350:ssl_setup_connection_params] 0-glusterfs: SSL support for glusterd is ENABLED<br>[2020-04-27 11:54:23.637960] I [socket.c:4360:ssl_setup_connection_params] 0-glusterfs: using certificate depth 1<br>[2020-04-27 11:54:23.639324] I [MSGID: 101190] [event-epoll.c:682:event_dispatch_epoll_worker] 0-epoll: Started thread with index 0<br>[2020-04-27 11:54:23.639380] I [MSGID: 101190] [event-epoll.c:682:event_dispatch_epoll_worker] 0-epoll: Started thread with index 1<br>[2020-04-27 11:54:28.933102] E [glusterfsd-mgmt.c:2217:mgmt_getspec_cbk] 0-glusterfs: failed to get the &#39;volume file&#39; from server<br>[2020-04-27 11:54:28.933134] E [glusterfsd-mgmt.c:2416:mgmt_getspec_cbk] 0-mgmt: failed to fetch volume file (key:svg_pg_wed_dev_bkp.glusterDevVM2.bricks-svg_pg_wed_dev_bkp-brick1-data)<br>[2020-04-27 11:54:28.933361] W [glusterfsd.c:1596:cleanup_and_exit] (--&gt;/usr/lib/x86_64-linux-gnu/libgfrpc.so.0(+0xe5d1) [0x7f2b08ec35d1] --&gt;/usr/sbin/glusterfsd(mgmt_getspec_cbk+0x8d0) [0x55d46cb5a110] --&gt;/usr/sbin/glusterfsd(cleanup_and_exit+0x54) [0x55d46cb51ec4] ) 0-: received signum (0), shutting down<br></div><br><div>I tried to stop the volume but gluster commands are still locked (Another transaction is in progress.).<br></div><br><div>Best regards,<br></div><div>Nicolas.<br></div><br><hr id="gmail-m_-5956154649879068912gmail-m_5100860692984386704zwchr"><div><b>De: </b>&quot;Nikhil Ladha&quot; &lt;<a href="mailto:nladha@redhat.com" target="_blank">nladha@redhat.com</a>&gt;<br><b>À: </b><a href="mailto:nico@furyweb.fr" target="_blank">nico@furyweb.fr</a><br><b>Cc: </b>&quot;gluster-users&quot; &lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br><b>Envoyé: </b>Lundi 27 Avril 2020 13:34:47<br><b>Objet: </b>Re: [Gluster-users] never ending logging<br></div><br><div><div dir="ltr">Hi,<br><div>As you mentioned that the node 2 is in &quot;semi-connected&quot; state, I think due to that the locking of volume is failing, and since it is failing in one of the volumes the transaction is not complete and you are seeing a transaction error on another volume.</div><div>Moreover, for the repeated logging of lines :</div><div>SSL support on the I/O path is enabled, SSL support for glusterd is enabled and using certificate depth 1</div><div>If you can try creating a volume without having ssl enabled and then check if the same log messages appear.</div><div><div>Also, if you update to 7.5, and find any change in log message with SSL ENABLED, then please do share that.</div><div><br clear="all"><div><div dir="ltr"><div dir="ltr"><div>Regards</div><div>Nikhil Ladha</div></div></div></div></div></div></div></div></div></div></blockquote></div><br></div></div></div></blockquote></div>