<div>I now also restarted the glusterd daemon on node2 and arbiternode and it seems to work again. It's not healing some files and I hope all goes well.<br></div><div><br></div><div>Thanks so far for your help. By the way I identified the process which suck up all the memory of my node1, it was that stupid mlocate script which runs in the early morning to index all files of a Linux server. I would recommend anyone using GlusterFS to uninstall the mlocate package to avoid this situation. <br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><div><br></div></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><blockquote class="protonmail_quote" type="cite"><div>-------- Original Message --------<br></div><div>Subject: Re: [Gluster-users] State: Peer Rejected (Connected)<br></div><div>Local Time: August 6, 2017 10:26 AM<br></div><div>UTC Time: August 6, 2017 8:26 AM<br></div><div>From: mabi@protonmail.ch<br></div><div>To: Ji-Hyeon Gim &lt;potatogim@potatogim.net&gt;<br></div><div>Gluster Users &lt;gluster-users@gluster.org&gt;<br></div><div><br></div><div>Hi Ji-Hyeon,<br></div><div><br></div><div>Thanks to your help I could find out the problematic file. This would be the quota file of my volume it has a different checksum on node1 whereas node2 and arbiternode have the same checksum. This is expected as I had issues which my quota file and had to fix it manually with a script (more details on this mailing list in a previous post) and I only did that on node1.<br></div><div><br></div><div>So what I now did is to copy /var/lib/glusterd/vols/myvolume/quota.conf file from node1 to node2 and arbiternode and then restart the glusterd process on node1 but somehow this did not fix the issue. I suppose I am missing a step here and maybe you have an idea what?<br></div><div><br></div><div>Here would be the relevant part of my glusterd.log file taken from node1:<br></div><div><br></div><div>[2017-08-06 08:16:57.699131] E [MSGID: 106012] [glusterd-utils.c:2988:glusterd_compare_friend_volume] 0-management: Cksums of quota configuration of volume myvolume differ. local cksum = 3823389269, remote&nbsp; cksum = 733515336 on peer node2.domain.tld<br></div><div>[2017-08-06 08:16:57.275558] E [MSGID: 106012] [glusterd-utils.c:2988:glusterd_compare_friend_volume] 0-management: Cksums of quota configuration of volume myvolume differ. local cksum = 3823389269, remote&nbsp; cksum = 733515336 on peer arbiternode.intra.oriented.ch<br></div><div><br></div><div>Best regards,<br></div><div>Mabi<br></div><div><br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><div><br></div></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><blockquote type="cite" class="protonmail_quote"><div>-------- Original Message --------<br></div><div>Subject: Re: [Gluster-users] State: Peer Rejected (Connected)<br></div><div>Local Time: August 6, 2017 9:31 AM<br></div><div>UTC Time: August 6, 2017 7:31 AM<br></div><div>From: potatogim@potatogim.net<br></div><div>To: mabi &lt;mabi@protonmail.ch&gt;<br></div><div>Gluster Users &lt;gluster-users@gluster.org&gt;<br></div><div><br></div><div>On 2017년 08월 06일 15:59, mabi wrote:<br></div><div>&gt; Hi,<br></div><div>&gt;<br></div><div>&gt; I have a 3 nodes replica (including arbiter) volume with GlusterFS<br></div><div>&gt; 3.8.11 and this night one of my nodes (node1) had an out of memory for<br></div><div>&gt; some unknown reason and as such the Linux OOM killer has killed the<br></div><div>&gt; glusterd and glusterfs process. I restarted the glusterd process but<br></div><div>&gt; now that node is in "Peer Rejected" state from the other nodes and<br></div><div>&gt; from itself it rejects the two other nodes as you can see below from<br></div><div>&gt; the output of "gluster peer status":<br></div><div>&gt;<br></div><div>&gt; Number of Peers: 2<br></div><div>&gt;<br></div><div>&gt; Hostname: arbiternode.domain.tld<br></div><div>&gt; Uuid: 60a03a81-ba92-4b84-90fe-7b6e35a10975<br></div><div>&gt; State: Peer Rejected (Connected)<br></div><div>&gt;<br></div><div>&gt; Hostname: node2.domain.tld<br></div><div>&gt; Uuid: 4834dceb-4356-4efb-ad8d-8baba44b967c<br></div><div>&gt; State: Peer Rejected (Connected)<br></div><div>&gt;<br></div><div>&gt;<br></div><div>&gt;<br></div><div>&gt; I also rebooted my node1 just in case but that did not help.<br></div><div>&gt;<br></div><div>&gt; I read here http://www.spinics.net/lists/gluster-users/msg25803.html<br></div><div>&gt; that the problem could have to do something with the volume info file,<br></div><div>&gt; in my case I checked the file:<br></div><div>&gt;<br></div><div>&gt; /var/lib/glusterd/vols/myvolume/info<br></div><div>&gt;<br></div><div>&gt; and they are the same on node1 and arbiternode but on node2 the order<br></div><div>&gt; of the following volume parameters are different:<br></div><div>&gt;<br></div><div>&gt; features.quota-deem-statfs=on<br></div><div>&gt; features.inode-quota=on<br></div><div>&gt; nfs.disable=on<br></div><div>&gt; performance.readdir-ahead=on<br></div><div>&gt;<br></div><div>&gt; Could that be the reason why the peer is in rejected status? can I<br></div><div>&gt; simply edit this file on node2 to re-order the parameters like on the<br></div><div>&gt; other 2 nodes?<br></div><div>&gt;<br></div><div>&gt; What else should I do to investigate the reason for this rejected peer<br></div><div>&gt; state?<br></div><div>&gt;<br></div><div>&gt; Thank you in advance for the help.<br></div><div>&gt;<br></div><div>&gt; Best,<br></div><div>&gt; Mabi<br></div><div>&gt;<br></div><div>&gt;<br></div><div>&gt; _______________________________________________<br></div><div>&gt; Gluster-users mailing list<br></div><div>&gt; Gluster-users@gluster.org<br></div><div>&gt; http://lists.gluster.org/mailman/listinfo/gluster-users<br></div><div><br></div><div>Hi mabi.<br></div><div><br></div><div>In my opinion, It caused by some volfile/checksum mismatch. try to look<br></div><div>glusterd log file(/var/log/glusterfs/glusterd.log) in REJECTED node, and<br></div><div>find some log like below<br></div><div><br></div><div>[2014-06-17 04:21:11.266398] I [glusterd-handler.c:2050:__glusterd_handle_incoming_friend_req] 0-glusterd: Received probe from uuid: 81857e74-a726-4f48-8d1b-c2a4bdbc094f<br></div><div>[2014-06-17 04:21:11.266485] E [glusterd-utils.c:2373:glusterd_compare_friend_volume] 0-management: Cksums of volume supportgfs differ. local cksum = 52468988, remote cksum = 2201279699 on peer 172.26.178.254<br></div><div>[2014-06-17 04:21:11.266542] I [glusterd-handler.c:3085:glusterd_xfer_friend_add_resp] 0-glusterd: Responded to 172.26.178.254 (0), ret: 0<br></div><div>[2014-06-17 04:21:11.272206] I [glusterd-rpc-ops.c:356:__glusterd_friend_add_cbk] 0-glusterd: Received RJT from uuid: 81857e74-a726-4f48-8d1b-c2a4bdbc094f, host: 172.26.178.254, port: 0<br></div><div><br></div><div>if it is, you need to sync volfile files/directories under<br></div><div>/var/lib/glusterd/vols/&lt;VOLNAME&gt; from one of GOOD nodes.<br></div><div><br></div><div>for details to resolve this problem, please show more information such<br></div><div>as glusterd log :)<br></div><div><br></div><div>-- <br></div><div>Best regards.<br></div><div><br></div><div>--<br></div><div><br></div><div>Ji-Hyeon Gim<br></div><div>Research Engineer, Gluesys<br></div><div><br></div><div>Address. Gluesys R&amp;D Center, 5F, 11-31, Simin-daero 327beon-gil,<br></div><div>Dongan-gu, Anyang-si,<br></div><div>Gyeonggi-do, Korea<br></div><div>(14055)<br></div><div>Phone.   +82-70-8787-1053<br></div><div>Fax.     +82-31-388-3261<br></div><div>Mobile.  +82-10-7293-8858<br></div><div>E-Mail.  potatogim@potatogim.net<br></div><div>Website. www.potatogim.net<br></div><div><br></div><div>The time I wasted today is the tomorrow the dead man was eager to see yesterday.<br></div><div>- Sophocles<br></div><div><br></div></blockquote><div><br></div></blockquote><div><br></div>