<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 14, 2018 at 7:23 PM, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Bad news: the process blocked happened again this time with another directory of another user which is NOT over his quota but which also has quota enabled.<br></div><div><br></div><div>The symptoms on the Linux side are the same:<br></div><div><br></div><div>[Tue Aug 14 15:30:33 2018] INFO: task php5-fpm:14773 blocked for more than 120 seconds.<br></div><div>[Tue Aug 14 15:30:33 2018]       Not tainted 3.16.0-4-amd64 #1<br></div><div>[Tue Aug 14 15:30:33 2018] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_<wbr>timeout_secs&quot; disables this message.<br></div><div>[Tue Aug 14 15:30:33 2018] php5-fpm        D ffff8801fea13200     0 14773    729 0x00000000<br></div><div>[Tue Aug 14 15:30:33 2018]  ffff880100bbe0d0 0000000000000282 0000000000013200 ffff880129bcffd8<br></div><div>[Tue Aug 14 15:30:33 2018]  0000000000013200 ffff880100bbe0d0 ffff880153ed0d68 ffff880129bcfee0<br></div><div>[Tue Aug 14 15:30:33 2018]  ffff880153ed0d6c ffff880100bbe0d0 00000000ffffffff ffff880153ed0d70<br></div><div>[Tue Aug 14 15:30:33 2018] Call Trace:<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff81522935&gt;] ? schedule_preempt_disabled+<wbr>0x25/0x70<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff815243d3&gt;] ? __mutex_lock_slowpath+0xd3/<wbr>0x1d0<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff811d7a93&gt;] ? write_inode_now+0x93/0xc0<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff815244eb&gt;] ? mutex_lock+0x1b/0x2a<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffffa00df69f&gt;] ? fuse_flush+0x8f/0x1e0 [fuse]<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff811af393&gt;] ? vfs_read+0x93/0x170<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff811ad14a&gt;] ? filp_close+0x2a/0x70<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff811ad1af&gt;] ? SyS_close+0x1f/0x50<br></div><div>[Tue Aug 14 15:30:33 2018]  [&lt;ffffffff81525d0d&gt;] ? system_call_fast_compare_end+<wbr>0x10/0x15<br></div><div><br></div><div>and if I check this process it has state &quot;D&quot; which is &quot;D = uninterruptible sleep&quot;.<br></div><div><br></div><div>Now I also managed to take a statedump file as recommended but I see in its content under the &quot;[io-cache.inode]&quot; a &quot;path=&quot; which I would need to remove as it contains filenames for privacy reasons. Can I remove every &quot;path=&quot; line and still send you the statedump file for analysis?<br></div></blockquote><div><br></div><div>Yes. Removing path is fine and statedumps will still be useful for debugging the issue.</div><div> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div></div><div><br></div><div>Thank you.<br></div><div class="m_7960939273442436523protonmail_signature_block m_7960939273442436523protonmail_signature_block-empty"><div class="m_7960939273442436523protonmail_signature_block-user m_7960939273442436523protonmail_signature_block-empty"><div><br></div></div><div class="m_7960939273442436523protonmail_signature_block-proton m_7960939273442436523protonmail_signature_block-empty"><br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="HOEnZb"><div class="h5"><div> On August 14, 2018 10:48 AM, Nithya Balachandran &lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt; wrote:<br></div><div> <br></div><blockquote type="cite" class="m_7960939273442436523protonmail_quote"><div dir="ltr"><div>Thanks for letting us know. Sanoj, can you take a look at this?<br></div><div><br></div><div>Thanks.<br></div><div>Nithya<br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 14 August 2018 at 13:58, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>As you mentioned after creating the /var/run/gluster directory I got a statedump file in there.<br></div><div><br></div><div>As a workaround I have now removed the quota for this specific directory and as it is a production server I can currently not &quot;play&quot; with it by adding the quota back and having the same problem as it requires me to reboot the server with downtime...<br></div><div><br></div><div>But I can confirm that by removing the quota from that directory, the problem is gone (no more blocking processes such as &quot;ls&quot;) so there must be an issue or bug with the quota part of gluster.<br></div><div class="m_7960939273442436523m_-7856903485672909502protonmail_signature_block m_7960939273442436523m_-7856903485672909502protonmail_signature_block-empty"><div class="m_7960939273442436523m_-7856903485672909502protonmail_signature_block-user m_7960939273442436523m_-7856903485672909502protonmail_signature_block-empty"><div><br></div></div><div class="m_7960939273442436523m_-7856903485672909502protonmail_signature_block-proton m_7960939273442436523m_-7856903485672909502protonmail_signature_block-empty"><br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="m_7960939273442436523HOEnZb"><div class="m_7960939273442436523h5"><div>On August 10, 2018 4:19 PM, Nithya Balachandran &lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_7960939273442436523m_-7856903485672909502protonmail_quote"><div dir="ltr"><div><br></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 9 August 2018 at 19:54, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Thanks for the documentation. On my client using FUSE mount I found the PID by using ps (output below):<br></div><div><br></div><div>root       456     1  4 14:17 ?        00:05:15 /usr/sbin/glusterfs --volfile-server=gfs1a --volfile-id=myvol-private /mnt/myvol-private<br></div><div><br></div><div>Then I ran the following command<br></div><div><br></div><div>sudo kill -USR1 456<br></div><div><br></div><div>but now I can&#39;t find where the files are stored. Are these supposed to be stored on the client directly? I checked /var/run/gluster and /var/log/gluster but could not see anything and /var/log/gluster does not even exist on the client. <br></div></blockquote><div><br></div><div>They are usually created in /var/run/gluster. You will need to create the directory on the client if it does not exist. <br></div><div><br></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="m_7960939273442436523m_-7856903485672909502HOEnZb"><div class="m_7960939273442436523m_-7856903485672909502h5"><div>On August 9, 2018 3:59 PM, Raghavendra Gowdappa &lt;<a href="mailto:rgowdapp@redhat.com" target="_blank">rgowdapp@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956protonmail_quote"><div dir="ltr"><div><br></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On Thu, Aug 9, 2018 at 6:47 PM, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hi Nithya,<br></div><div><br></div><div>Thanks for the fast answer. Here the additional info:<br></div><div><br></div><div>1. gluster volume info<br></div><div><br></div><div>Volume Name: myvol-private<br></div><div>Type: Replicate<br></div><div>Volume ID: e7a40a1b-45c9-4d3c-bb19-0c59b4<wbr>eceec5<br></div><div>Status: Started<br></div><div>Snapshot Count: 0<br></div><div>Number of Bricks: 1 x (2 + 1) = 3<br></div><div>Transport-type: tcp<br></div><div>Bricks:<br></div><div>Brick1: gfs1a:/data/myvol-private/bric<wbr>k<br></div><div>Brick2: gfs1b:/data/myvol-private/bric<wbr>k<br></div><div>Brick3: gfs1c:/srv/glusterfs/myvol-pri<wbr>vate/brick (arbiter)<br></div><div>Options Reconfigured:<br></div><div>features.default-soft-limit: 95%<br></div><div>transport.address-family: inet<br></div><div>features.quota-deem-statfs: on<br></div><div>features.inode-quota: on<br></div><div>features.quota: on<br></div><div>nfs.disable: on<br></div><div>performance.readdir-ahead: on<br></div><div>client.event-threads: 4<br></div><div>server.event-threads: 4<br></div><div>auth.allow: 192.168.100.92<br></div><div class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><div class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-user m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><div><br></div></div><div class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-proton m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><br></div></div><div><br></div><div>2. Sorry I have no clue how to take a &quot;statedump&quot; of a process on Linux. Which command should I use for that? and which process would you like, the blocked process (for example &quot;ls&quot;)?<br></div></blockquote><div><br></div><div>Statedumps are gluster specific. Please refer to <a href="https://docs.gluster.org/en/v3/Troubleshooting/statedump/" target="_blank">https://docs.gluster.org/en/v3<wbr>/Troubleshooting/statedump/</a> for instructions.<br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><br></div><div><br></div><div>Regards,<br></div><div>M.<br></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936HOEnZb"><div class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936h5"><div>On August 9, 2018 3:10 PM, Nithya Balachandran &lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_7960939273442436523m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_quote"><div dir="ltr"><div>Hi,<br></div><div><br></div><div>Please provide the following:<br></div><div><ol><li>gluster volume info<br></li><li>statedump of the fuse process when it hangs<br></li></ol></div><div><br></div><div>Thanks,<br></div><div>Nithya<br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 9 August 2018 at 18:24, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hello,<br></div><div><br></div><div>I recently upgraded my GlusterFS replica 2+1 (aribter) to version 3.12.12 and now I see a weird behaviour on my client (using FUSE mount) where I have processes (PHP 5.6 FPM) trying to access a specific directory and then the process blocks. I can&#39;t kill the process either, not even with kill -9. I need to reboot the machine in order to get rid of these blocked processes.<br></div><div><br></div><div>This directory has one particularity compared to the other directories it is that it has reached it&#39;s quota soft-limit as you can see here in the output of gluster volume quota list:<br></div><div><br></div><div>                  Path                   Hard-limit  Soft-limit      Used  Available  Soft-limit exceeded? Hard-limit exceeded?<br></div><div>------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>-------<br></div><div>/directory                          100.0GB     80%(80.0GB)   90.5GB   9.5GB             Yes                   No<br></div><div><br></div><div>That does not mean that it is the quota&#39;s fault but it might be a hint where to start looking for... And by the way can someone explain me what the soft-limit does? or does it not do anything special?<br></div><div><br></div><div>Here is an the linux stack of a blocking process on that directory which happened with a simple &quot;ls -la&quot;:<br></div><div><br></div><div>[Thu Aug  9 14:21:07 2018] INFO: task ls:2272 blocked for more than 120 seconds.<br></div><div>[Thu Aug  9 14:21:07 2018]       Not tainted 3.16.0-4-amd64 #1<br></div><div>[Thu Aug  9 14:21:07 2018] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.<br></div><div>[Thu Aug  9 14:21:07 2018] ls              D ffff88017ef93200     0  2272   2268 0x00000004<br></div><div>[Thu Aug  9 14:21:07 2018]  ffff88017653f490 0000000000000286 0000000000013200 ffff880174d7bfd8<br></div><div>[Thu Aug  9 14:21:07 2018]  0000000000013200 ffff88017653f490 ffff8800eeb3d5f0 ffff8800fefac800<br></div><div>[Thu Aug  9 14:21:07 2018]  ffff880174d7bbe0 ffff8800eeb3d6d0 ffff8800fefac800 ffff8800ffe1e1c0<br></div><div>[Thu Aug  9 14:21:07 2018] Call Trace:<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffffa00dc50d&gt;] ? __fuse_request_send+0xbd/0x270 [fuse]<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff810abce0&gt;] ? prepare_to_wait_event+0xf0/0xf<wbr>0<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffffa00e0791&gt;] ? fuse_dentry_revalidate+0x181/0<wbr>x300 [fuse]<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811b944e&gt;] ? lookup_fast+0x25e/0x2b0<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811bacc5&gt;] ? path_lookupat+0x155/0x780<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff81195715&gt;] ? kmem_cache_alloc+0x75/0x480<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffffa00dfca9&gt;] ? fuse_getxattr+0xe9/0x150 [fuse]<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811bb316&gt;] ? filename_lookup+0x26/0xc0<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811bf594&gt;] ? user_path_at_empty+0x54/0x90<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff81193e08&gt;] ? kmem_cache_free+0xd8/0x210<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811bf59f&gt;] ? user_path_at_empty+0x5f/0x90<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811b3d46&gt;] ? vfs_fstatat+0x46/0x90<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811b421d&gt;] ? SYSC_newlstat+0x1d/0x40<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff811d34b8&gt;] ? SyS_lgetxattr+0x58/0x80<br></div><div>[Thu Aug  9 14:21:07 2018]  [&lt;ffffffff81525d0d&gt;] ? system_call_fast_compare_end+0<wbr>x10/0x15<br></div><div><br></div><div><br></div><div>My 3 gluster nodes are all Debian 9 and my client Debian 8.<br></div><div><br></div><div>Let me know if you need more information.<br></div><div><br></div><div>Best regards,<br></div><div>Mabi<br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></blockquote><div><br></div></div></div><div><br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></div></blockquote><div><br></div></div></div><div><br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></div></blockquote><div><br></div></div></div></blockquote></div></div></blockquote><div><br></div></div></div><br>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br></blockquote></div><br></div></div>