<div dir="auto"><div>Hi Yuhao, <br><br><div class="gmail_quote"><div dir="ltr">On Mon, 6 Aug 2018, 15:26 Yuhao Zhang, &lt;<a href="mailto:zzyzxd@gmail.com">zzyzxd@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div>Hello,</div><div><br></div>I just experienced another hanging one hour ago and the server was not even under heavy IO.<div><br></div><div>Atin, I attached the process monitoring results and another statedump.</div><div><br></div><div>Xavi, ZFS was fine, during the hanging, I can still write directly to the ZFS volume. My ZFS version: ZFS: Loaded module v0.6.5.6-0ubuntu16, ZFS pool version 5000, ZFS filesystem version 5</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I highly recommend you to upgrade to version 0.6.5.8 at least. It fixes a kernel panic that can happen when used with gluster. However this is not your current problem.</div><div dir="auto"><br></div><div dir="auto">Top statistics show low available memory and high CPU utilization of kswapd process (along with one of the gluster processes). I&#39;ve seen frequent memory management problems with ZFS. Have you configured any ZFS parameters? It&#39;s highly recommendable to tweak some memory limits.</div><div dir="auto"><br></div><div dir="auto">If that were the problem, there&#39;s one thing that should alleviate it (and see if it could be related):</div><div dir="auto"><br></div><div dir="auto">echo 3 &gt;/proc/sys/vm/drop_caches</div><div dir="auto"><br></div><div dir="auto">This should be done on all bricks from time to time. You can wait until the problem appears, but in this case the recovery time can be larger. </div><div dir="auto"><br></div><div dir="auto">I think this should fix the high CPU usage of kswapd. If so, we&#39;ll need to tweak some ZFS parameters.</div><div dir="auto"><br></div><div dir="auto">I&#39;m not sure if the high CPU usage of gluster could be related to this or not.</div><div dir="auto"><br></div><div dir="auto">Xavi</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div><div><br></div><div>Thank you,</div><div>Yuhao</div><div></div></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><div></div></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><div></div></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><div></div></div></div></blockquote></div></div></div>