<div dir="ltr"><div>What version of gluster are you using?</div><div>Also, can you capture and share volume-profile output for a run where you manage to recreate this issue?</div><div><a href="https://docs.gluster.org/en/v3/Administrator%20Guide/Monitoring%20Workload/#running-glusterfs-volume-profile-command">https://docs.gluster.org/en/v3/Administrator%20Guide/Monitoring%20Workload/#running-glusterfs-volume-profile-command</a></div><div>Let me know if you have any questions.<br></div><div><br></div><div>-Krutika<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 13, 2019 at 12:34 PM Martin Toth &lt;<a href="mailto:snowmailer@gmail.com">snowmailer@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
there is no healing operation, not peer disconnects, no readonly filesystem. Yes, storage is slow and unavailable for 120 seconds, but why, its SSD with 10G, performance is good.<br>
<br>
&gt; you&#39;d have it&#39;s log on qemu&#39;s standard output,<br>
<br>
If you mean /var/log/libvirt/qemu/vm.log there is nothing. I am looking for problem for more than month, tried everything. Can’t find anything. Any more clues or leads?<br>
<br>
BR,<br>
Martin<br>
<br>
&gt; On 13 May 2019, at 08:55, <a href="mailto:lemonnierk@ulrar.net" target="_blank">lemonnierk@ulrar.net</a> wrote:<br>
&gt; <br>
&gt; On Mon, May 13, 2019 at 08:47:45AM +0200, Martin Toth wrote:<br>
&gt;&gt; Hi all,<br>
&gt; <br>
&gt; Hi<br>
&gt; <br>
&gt;&gt; <br>
&gt;&gt; I am running replica 3 on SSDs with 10G networking, everything works OK but VMs stored in Gluster volume occasionally freeze with “Task XY blocked for more than 120 seconds”.<br>
&gt;&gt; Only solution is to poweroff (hard) VM and than boot it up again. I am unable to SSH and also login with console, its stuck probably on some disk operation. No error/warning logs or messages are store in VMs logs.<br>
&gt;&gt; <br>
&gt; <br>
&gt; As far as I know this should be unrelated, I get this during heals<br>
&gt; without any freezes, it just means the storage is slow I think.<br>
&gt; <br>
&gt;&gt; KVM/Libvirt(qemu) using libgfapi and fuse mount to access VM disks on replica volume. Can someone advice  how to debug this problem or what can cause these issues? <br>
&gt;&gt; It’s really annoying, I’ve tried to google everything but nothing came up. I’ve tried changing virtio-scsi-pci to virtio-blk-pci disk drivers, but its not related.<br>
&gt;&gt; <br>
&gt; <br>
&gt; Any chance your gluster goes readonly ? Have you checked your gluster<br>
&gt; logs to see if maybe they lose each other some times ?<br>
&gt; /var/log/glusterfs<br>
&gt; <br>
&gt; For libgfapi accesses you&#39;d have it&#39;s log on qemu&#39;s standard output,<br>
&gt; that might contain the actual error at the time of the freez.<br>
&gt; _______________________________________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
<br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a></blockquote></div>