<div>Bad news: the process blocked happened again this time with another directory of another user which is NOT over his quota but which also has quota enabled.<br></div><div><br></div><div>The symptoms on the Linux side are the same:<br></div><div><br></div><div>[Tue Aug 14 15:30:33 2018] INFO: task php5-fpm:14773 blocked for more than 120 seconds.<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Not tainted 3.16.0-4-amd64 #1<br></div><div>[Tue Aug 14 15:30:33 2018] "echo 0 &gt; /proc/sys/kernel/hung_task_timeout_secs" disables this message.<br></div><div>[Tue Aug 14 15:30:33 2018] php5-fpm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; D ffff8801fea13200&nbsp;&nbsp;&nbsp;&nbsp; 0 14773&nbsp;&nbsp;&nbsp; 729 0x00000000<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; ffff880100bbe0d0 0000000000000282 0000000000013200 ffff880129bcffd8<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; 0000000000013200 ffff880100bbe0d0 ffff880153ed0d68 ffff880129bcfee0<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; ffff880153ed0d6c ffff880100bbe0d0 00000000ffffffff ffff880153ed0d70<br></div><div>[Tue Aug 14 15:30:33 2018] Call Trace:<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff81522935&gt;] ? schedule_preempt_disabled+0x25/0x70<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff815243d3&gt;] ? __mutex_lock_slowpath+0xd3/0x1d0<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff811d7a93&gt;] ? write_inode_now+0x93/0xc0<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff815244eb&gt;] ? mutex_lock+0x1b/0x2a<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffffa00df69f&gt;] ? fuse_flush+0x8f/0x1e0 [fuse]<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff811af393&gt;] ? vfs_read+0x93/0x170<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff811ad14a&gt;] ? filp_close+0x2a/0x70<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff811ad1af&gt;] ? SyS_close+0x1f/0x50<br></div><div>[Tue Aug 14 15:30:33 2018]&nbsp; [&lt;ffffffff81525d0d&gt;] ? system_call_fast_compare_end+0x10/0x15<br></div><div><br></div><div>and if I check this process it has state "D" which is "D = uninterruptible sleep".<br></div><div><br></div><div>Now I also managed to take a statedump file as recommended but I see in its content under the "[io-cache.inode]" a "path=" which I would need to remove as it contains filenames for privacy reasons. Can I remove every "path=" line and still send you the statedump file for analysis?<br></div><div><br></div><div>Thank you.<br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><div><br></div></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div> On August 14, 2018 10:48 AM, Nithya Balachandran &lt;nbalacha@redhat.com&gt; wrote:<br></div><div> <br></div><blockquote type="cite" class="protonmail_quote"><div dir="ltr"><div>Thanks for letting us know. Sanoj, can you take a look at this?<br></div><div><br></div><div>Thanks.<br></div><div>Nithya<br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 14 August 2018 at 13:58, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>As you mentioned after creating the /var/run/gluster directory I got a statedump file in there.<br></div><div><br></div><div>As a workaround I have now removed the quota for this specific directory and as it is a production server I can currently not "play" with it by adding the quota back and having the same problem as it requires me to reboot the server with downtime...<br></div><div><br></div><div>But I can confirm that by removing the quota from that directory, the problem is gone (no more blocking processes such as "ls") so there must be an issue or bug with the quota part of gluster.<br></div><div class="m_-7856903485672909502protonmail_signature_block m_-7856903485672909502protonmail_signature_block-empty"><div class="m_-7856903485672909502protonmail_signature_block-user m_-7856903485672909502protonmail_signature_block-empty"><div><br></div></div><div class="m_-7856903485672909502protonmail_signature_block-proton m_-7856903485672909502protonmail_signature_block-empty"><br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="HOEnZb"><div class="h5"><div>On August 10, 2018 4:19 PM, Nithya Balachandran &lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_-7856903485672909502protonmail_quote"><div dir="ltr"><div><br></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 9 August 2018 at 19:54, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Thanks for the documentation. On my client using FUSE mount I found the PID by using ps (output below):<br></div><div><br></div><div>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 456&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4 14:17 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:05:15 /usr/sbin/glusterfs --volfile-server=gfs1a --volfile-id=myvol-private /mnt/myvol-private<br></div><div><br></div><div>Then I ran the following command<br></div><div><br></div><div>sudo kill -USR1 456<br></div><div><br></div><div>but now I can't find where the files are stored. Are these supposed to be stored on the client directly? I checked /var/run/gluster and /var/log/gluster but could not see anything and /var/log/gluster does not even exist on the client. <br></div></blockquote><div><br></div><div>They are usually created in /var/run/gluster. You will need to create the directory on the client if it does not exist.&nbsp;<br></div><div><br></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="m_-7856903485672909502HOEnZb"><div class="m_-7856903485672909502h5"><div>On August 9, 2018 3:59 PM, Raghavendra Gowdappa &lt;<a href="mailto:rgowdapp@redhat.com" target="_blank">rgowdapp@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_-7856903485672909502m_-621346234045762956protonmail_quote"><div dir="ltr"><div><br></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On Thu, Aug 9, 2018 at 6:47 PM, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hi Nithya,<br></div><div><br></div><div>Thanks for the fast answer. Here the additional info:<br></div><div><br></div><div>1. gluster volume info<br></div><div><br></div><div>Volume Name: myvol-private<br></div><div>Type: Replicate<br></div><div>Volume ID: e7a40a1b-45c9-4d3c-bb19-0c59b4<wbr>eceec5<br></div><div>Status: Started<br></div><div>Snapshot Count: 0<br></div><div>Number of Bricks: 1 x (2 + 1) = 3<br></div><div>Transport-type: tcp<br></div><div>Bricks:<br></div><div>Brick1: gfs1a:/data/myvol-private/bric<wbr>k<br></div><div>Brick2: gfs1b:/data/myvol-private/bric<wbr>k<br></div><div>Brick3: gfs1c:/srv/glusterfs/myvol-pri<wbr>vate/brick (arbiter)<br></div><div>Options Reconfigured:<br></div><div>features.default-soft-limit: 95%<br></div><div>transport.address-family: inet<br></div><div>features.quota-deem-statfs: on<br></div><div>features.inode-quota: on<br></div><div>features.quota: on<br></div><div>nfs.disable: on<br></div><div>performance.readdir-ahead: on<br></div><div>client.event-threads: 4<br></div><div>server.event-threads: 4<br></div><div>auth.allow: 192.168.100.92<br></div><div class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><div class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-user m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><div><br></div></div><div class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-proton m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_signature_block-empty"><br></div></div><div><br></div><div>2. Sorry I have no clue how to take a "statedump" of a process on Linux. Which command should I use for that? and which process would you like, the blocked process (for example "ls")?<br></div></blockquote><div><br></div><div>Statedumps are gluster specific. Please refer to <a href="https://docs.gluster.org/en/v3/Troubleshooting/statedump/" target="_blank">https://docs.gluster.org/en/v3<wbr>/Troubleshooting/statedump/</a> for instructions.<br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><br></div><div><br></div><div>Regards,<br></div><div>M.<br></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936HOEnZb"><div class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936h5"><div>On August 9, 2018 3:10 PM, Nithya Balachandran &lt;<a href="mailto:nbalacha@redhat.com" target="_blank">nbalacha@redhat.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_-7856903485672909502m_-621346234045762956gmail-m_1794882659989363936m_6410021432565766835protonmail_quote"><div dir="ltr"><div>Hi,<br></div><div><br></div><div>Please provide the following:<br></div><div><ol><li>gluster volume info<br></li><li>statedump of the fuse process when it hangs<br></li></ol></div><div><br></div><div>Thanks,<br></div><div>Nithya<br></div></div><div class="gmail_extra"><div><br></div><div class="gmail_quote"><div>On 9 August 2018 at 18:24, mabi <span dir="ltr">&lt;<a href="mailto:mabi@protonmail.ch" target="_blank">mabi@protonmail.ch</a>&gt;</span> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hello,<br></div><div><br></div><div>I recently upgraded my GlusterFS replica 2+1 (aribter) to version 3.12.12 and now I see a weird behaviour on my client (using FUSE mount) where I have processes (PHP 5.6 FPM) trying to access a specific directory and then the process blocks. I can't kill the process either, not even with kill -9. I need to reboot the machine in order to get rid of these blocked processes.<br></div><div><br></div><div>This directory has one particularity compared to the other directories it is that it has reached it's quota soft-limit as you can see here in the output of gluster volume quota list:<br></div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Path&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Hard-limit&nbsp; Soft-limit&nbsp; &nbsp; &nbsp; Used&nbsp; Available&nbsp; Soft-limit exceeded? Hard-limit exceeded?<br></div><div>------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>-------<br></div><div>/directory&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 100.0GB&nbsp; &nbsp; &nbsp;80%(80.0GB)&nbsp; &nbsp;90.5GB&nbsp; &nbsp;9.5GB&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Yes&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;No<br></div><div><br></div><div>That does not mean that it is the quota's fault but it might be a hint where to start looking for... And by the way can someone explain me what the soft-limit does? or does it not do anything special?<br></div><div><br></div><div>Here is an the linux stack of a blocking process on that directory which happened with a simple "ls -la":<br></div><div><br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018] INFO: task ls:2272 blocked for more than 120 seconds.<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; &nbsp; &nbsp; &nbsp;Not tainted 3.16.0-4-amd64 #1<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018] "echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs" disables this message.<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018] ls&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; D ffff88017ef93200&nbsp; &nbsp; &nbsp;0&nbsp; 2272&nbsp; &nbsp;2268 0x00000004<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; ffff88017653f490 0000000000000286 0000000000013200 ffff880174d7bfd8<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; 0000000000013200 ffff88017653f490 ffff8800eeb3d5f0 ffff8800fefac800<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; ffff880174d7bbe0 ffff8800eeb3d6d0 ffff8800fefac800 ffff8800ffe1e1c0<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018] Call Trace:<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffffa00dc50d&gt;] ? __fuse_request_send+0xbd/0x270 [fuse]<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff810abce0&gt;] ? prepare_to_wait_event+0xf0/0xf<wbr>0<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffffa00e0791&gt;] ? fuse_dentry_revalidate+0x181/0<wbr>x300 [fuse]<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811b944e&gt;] ? lookup_fast+0x25e/0x2b0<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811bacc5&gt;] ? path_lookupat+0x155/0x780<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff81195715&gt;] ? kmem_cache_alloc+0x75/0x480<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffffa00dfca9&gt;] ? fuse_getxattr+0xe9/0x150 [fuse]<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811bb316&gt;] ? filename_lookup+0x26/0xc0<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811bf594&gt;] ? user_path_at_empty+0x54/0x90<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff81193e08&gt;] ? kmem_cache_free+0xd8/0x210<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811bf59f&gt;] ? user_path_at_empty+0x5f/0x90<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811b3d46&gt;] ? vfs_fstatat+0x46/0x90<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811b421d&gt;] ? SYSC_newlstat+0x1d/0x40<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff811d34b8&gt;] ? SyS_lgetxattr+0x58/0x80<br></div><div>[Thu Aug&nbsp; 9 14:21:07 2018]&nbsp; [&lt;ffffffff81525d0d&gt;] ? system_call_fast_compare_end+0<wbr>x10/0x15<br></div><div><br></div><div><br></div><div>My 3 gluster nodes are all Debian 9 and my client Debian 8.<br></div><div><br></div><div>Let me know if you need more information.<br></div><div><br></div><div>Best regards,<br></div><div>Mabi<br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></blockquote><div><br></div></div></div><div><br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></div></blockquote><div><br></div></div></div><div><br></div><div>______________________________<wbr>_________________<br></div><div>Gluster-users mailing list<br></div><div><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br></div><div><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mail<wbr>man/listinfo/gluster-users</a><br></div></blockquote></div></div></div></blockquote><div><br></div></div></div></blockquote></div></div></blockquote><div><br></div>