<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 31, 2018 at 3:16 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I&#39;ve been back at it, and still am  unable to get more than one of my physical nodes to come online in ovirt, nor am I able to get more than the two gluster volumes (storage domains) to show online within ovirt.  <div><br></div><div>In Storage -&gt; Volumes, they all show offline (many with one brick down, which is correct: I have one server off)</div><div>However, in Storage -&gt; domains, they all show down (although somehow, I got machines from the data domain to start), and there&#39;s no obvious way I&#39;ve seen to tell them to bring it online.  It claims none of the servers can see that volume, but I&#39;ve quadruple-checked that the volumes are mounted on the engines and are fully functional there.  I have some more VMs I need to get back up and running.  How do I fix this?</div><div><br></div><div>ovirt1, for unknown reasons, will not work.  Attempts to bring it online fail, and I haven&#39;t figured out what log file to look in yet for more details.  </div></div></blockquote><div><br></div><div><br></div><div>As Krutika mentioned before, the storage performance issues seems to stem from the slow brick on ovirt1 - <span class="gmail-m_1641429597795755940gmail-im">ovirt1.nwfiber.com:/gluster/br<wbr>ick1/engine</span><br></div><div><br></div><div>Have you checked this?</div><div><br></div><div>When you say ovirt1 will not work - do you mean the host cannot be activated in oVirt engine? Can you look at/share  the engine.log (on the HE VM) to understand why it won&#39;t. Also if the storage domain is not accessible by any of the servers, check/share the vdsm.log to understand the error.<br></div><div><br></div><div></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 30, 2018 at 9:36 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all again:<div><br></div><div>I&#39;m now subscribed to gluster-users as well, so I should get any replies from that side too.</div><div><br></div><div>At this point, I am seeing acceptable (although slower than I expect) performance much of the time, with periodic massive spikes in latency (occasionally so bad as to cause ovirt to detect a engine bad health status).  Often, if I check the logs just then, I&#39;ll see those call traces in xfs_log_worker or other gluster processes, as well as hung task timeout messages.</div><div><br></div><div>As to the profile suggesting ovirt1 had poorer performance than ovirt2, I don&#39;t have an explanation.  gluster volume info engine on both hosts are identical.  The computers and drives are identical (Dell R610 with PERC 6/i controller configured to pass through the drive).  ovirt1 and ovirt2&#39;s partiion scheme/map do vary somewhat, but I figured that wouldn&#39;t be a big deal and gluster just uses the least common denominator.  Is that accurate?</div><div><br></div><div>In case it was missed, here are the dmesg errors being thrown by gluster (as far as I can tell).  They definately started after I upgraded from gluster 3.8 to 3.12:</div><div><br></div><div><div>[ 6604.536156] perf: interrupt took too long (9593 &gt; 9565), lowering kernel.perf_event_max_sample_r<wbr>ate to 20000</div><div>[ 8280.188734] INFO: task xfsaild/dm-10:1061 blocked for more than 120 seconds.</div><div>[ 8280.188787] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8280.188837] xfsaild/dm-10   D ffff93203a2eeeb0     0  1061      2 0x00000000</div><div>[ 8280.188843] Call Trace:</div><div>[ 8280.188857]  [&lt;ffffffff960a3a2e&gt;] ? try_to_del_timer_sync+0x5e/0x9<wbr>0</div><div>[ 8280.188864]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8280.188932]  [&lt;ffffffffc049fe36&gt;] _xfs_log_force+0x1c6/0x2c0 [xfs]</div><div>[ 8280.188939]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8280.188972]  [&lt;ffffffffc04abfec&gt;] ? xfsaild+0x16c/0x6f0 [xfs]</div><div>[ 8280.189003]  [&lt;ffffffffc049ff5c&gt;] xfs_log_force+0x2c/0x70 [xfs]</div><div>[ 8280.189035]  [&lt;ffffffffc04abe80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[ 8280.189067]  [&lt;ffffffffc04abfec&gt;] xfsaild+0x16c/0x6f0 [xfs]</div><div>[ 8280.189100]  [&lt;ffffffffc04abe80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[ 8280.189105]  [&lt;ffffffff960bb161&gt;] kthread+0xd1/0xe0</div><div>[ 8280.189109]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[ 8280.189117]  [&lt;ffffffff96720677&gt;] ret_from_fork_nospec_begin+0x2<wbr>1/0x21</div><div>[ 8280.189121]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[ 8280.189161] INFO: task glusterclogfsyn:6421 blocked for more than 120 seconds.</div><div>[ 8280.189207] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8280.189256] glusterclogfsyn D ffff93203a2edee0     0  6421      1 0x00000080</div><div>[ 8280.189260] Call Trace:</div><div>[ 8280.189265]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8280.189300]  [&lt;ffffffffc04a0388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[ 8280.189305]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8280.189333]  [&lt;ffffffffc0480b97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[ 8280.189340]  [&lt;ffffffff9624f0e7&gt;] do_fsync+0x67/0xb0</div><div>[ 8280.189345]  [&lt;ffffffff9672076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[ 8280.189348]  [&lt;ffffffff9624f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[ 8280.189352]  [&lt;ffffffff9672082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[ 8280.189356]  [&lt;ffffffff9672077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[ 8280.189360] INFO: task glusteriotwr2:766 blocked for more than 120 seconds.</div><div>[ 8280.189404] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8280.189453] glusteriotwr2   D ffff931cfa510000     0   766      1 0x00000080</div><div>[ 8280.189457] Call Trace:</div><div>[ 8280.189476]  [&lt;ffffffffc01a3839&gt;] ? __split_and_process_bio+0x2e9/<wbr>0x520 [dm_mod]</div><div>[ 8280.189480]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8280.189484]  [&lt;ffffffff967118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[ 8280.189494]  [&lt;ffffffffc01a3d98&gt;] ? dm_make_request+0x128/0x1a0 [dm_mod]</div><div>[ 8280.189498]  [&lt;ffffffff9671348d&gt;] io_schedule_timeout+0xad/0x130</div><div>[ 8280.189502]  [&lt;ffffffff967145ad&gt;] wait_for_completion_io+0xfd/0x<wbr>140</div><div>[ 8280.189507]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8280.189513]  [&lt;ffffffff9631e574&gt;] blkdev_issue_flush+0xb4/0x110</div><div>[ 8280.189546]  [&lt;ffffffffc04984b9&gt;] xfs_blkdev_issue_flush+0x19/0x<wbr>20 [xfs]</div><div>[ 8280.189588]  [&lt;ffffffffc0480c40&gt;] xfs_file_fsync+0x1b0/0x1e0 [xfs]</div><div>[ 8280.189593]  [&lt;ffffffff9624f0e7&gt;] do_fsync+0x67/0xb0</div><div>[ 8280.189597]  [&lt;ffffffff9672076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[ 8280.189600]  [&lt;ffffffff9624f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[ 8280.189604]  [&lt;ffffffff9672082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[ 8280.189608]  [&lt;ffffffff9672077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[ 8400.186024] INFO: task xfsaild/dm-10:1061 blocked for more than 120 seconds.</div><div>[ 8400.186077] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8400.186127] xfsaild/dm-10   D ffff93203a2eeeb0     0  1061      2 0x00000000</div><div>[ 8400.186133] Call Trace:</div><div>[ 8400.186146]  [&lt;ffffffff960a3a2e&gt;] ? try_to_del_timer_sync+0x5e/0x9<wbr>0</div><div>[ 8400.186153]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8400.186221]  [&lt;ffffffffc049fe36&gt;] _xfs_log_force+0x1c6/0x2c0 [xfs]</div><div>[ 8400.186227]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8400.186260]  [&lt;ffffffffc04abfec&gt;] ? xfsaild+0x16c/0x6f0 [xfs]</div><div>[ 8400.186292]  [&lt;ffffffffc049ff5c&gt;] xfs_log_force+0x2c/0x70 [xfs]</div><div>[ 8400.186324]  [&lt;ffffffffc04abe80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[ 8400.186356]  [&lt;ffffffffc04abfec&gt;] xfsaild+0x16c/0x6f0 [xfs]</div><div>[ 8400.186388]  [&lt;ffffffffc04abe80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[ 8400.186394]  [&lt;ffffffff960bb161&gt;] kthread+0xd1/0xe0</div><div>[ 8400.186398]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[ 8400.186405]  [&lt;ffffffff96720677&gt;] ret_from_fork_nospec_begin+0x2<wbr>1/0x21</div><div>[ 8400.186409]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[ 8400.186450] INFO: task glusterclogfsyn:6421 blocked for more than 120 seconds.</div><div>[ 8400.186496] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8400.186545] glusterclogfsyn D ffff93203a2edee0     0  6421      1 0x00000080</div><div>[ 8400.186549] Call Trace:</div><div>[ 8400.186554]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8400.186589]  [&lt;ffffffffc04a0388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[ 8400.186593]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8400.186622]  [&lt;ffffffffc0480b97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[ 8400.186629]  [&lt;ffffffff9624f0e7&gt;] do_fsync+0x67/0xb0</div><div>[ 8400.186634]  [&lt;ffffffff9672076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[ 8400.186637]  [&lt;ffffffff9624f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[ 8400.186641]  [&lt;ffffffff9672082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[ 8400.186645]  [&lt;ffffffff9672077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[ 8400.186649] INFO: task glusteriotwr2:766 blocked for more than 120 seconds.</div><div>[ 8400.186693] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8400.186741] glusteriotwr2   D ffff931cfa510000     0   766      1 0x00000080</div><div>[ 8400.186746] Call Trace:</div><div>[ 8400.186764]  [&lt;ffffffffc01a3839&gt;] ? __split_and_process_bio+0x2e9/<wbr>0x520 [dm_mod]</div><div>[ 8400.186768]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8400.186772]  [&lt;ffffffff967118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[ 8400.186782]  [&lt;ffffffffc01a3d98&gt;] ? dm_make_request+0x128/0x1a0 [dm_mod]</div><div>[ 8400.186786]  [&lt;ffffffff9671348d&gt;] io_schedule_timeout+0xad/0x130</div><div>[ 8400.186790]  [&lt;ffffffff967145ad&gt;] wait_for_completion_io+0xfd/0x<wbr>140</div><div>[ 8400.186795]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8400.186800]  [&lt;ffffffff9631e574&gt;] blkdev_issue_flush+0xb4/0x110</div><div>[ 8400.186833]  [&lt;ffffffffc04984b9&gt;] xfs_blkdev_issue_flush+0x19/0x<wbr>20 [xfs]</div><div>[ 8400.186862]  [&lt;ffffffffc0480c40&gt;] xfs_file_fsync+0x1b0/0x1e0 [xfs]</div><div>[ 8400.186879]  [&lt;ffffffff9624f0e7&gt;] do_fsync+0x67/0xb0</div><div>[ 8400.186884]  [&lt;ffffffff9672076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[ 8400.186887]  [&lt;ffffffff9624f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[ 8400.186891]  [&lt;ffffffff9672082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[ 8400.186895]  [&lt;ffffffff9672077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[ 8400.186912] INFO: task kworker/3:4:3191 blocked for more than 120 seconds.</div><div>[ 8400.186957] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[ 8400.187006] kworker/3:4     D ffff931faf598fd0     0  3191      2 0x00000080</div><div>[ 8400.187041] Workqueue: xfs-sync/dm-10 xfs_log_worker [xfs]</div><div>[ 8400.187043] Call Trace:</div><div>[ 8400.187050]  [&lt;ffffffff9614e45f&gt;] ? delayacct_end+0x8f/0xb0</div><div>[ 8400.187055]  [&lt;ffffffff960dbbc8&gt;] ? update_group_power+0x28/0x280</div><div>[ 8400.187059]  [&lt;ffffffff96713f79&gt;] schedule+0x29/0x70</div><div>[ 8400.187062]  [&lt;ffffffff967118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[ 8400.187066]  [&lt;ffffffff9671432d&gt;] wait_for_completion+0xfd/0x140</div><div>[ 8400.187071]  [&lt;ffffffff960cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[ 8400.187075]  [&lt;ffffffff960b418d&gt;] flush_work+0xfd/0x190</div><div>[ 8400.187079]  [&lt;ffffffff960b06e0&gt;] ? move_linked_works+0x90/0x90</div><div>[ 8400.187110]  [&lt;ffffffffc04a1d8a&gt;] xlog_cil_force_lsn+0x8a/0x210 [xfs]</div><div>[ 8400.187142]  [&lt;ffffffffc049fcf5&gt;] _xfs_log_force+0x85/0x2c0 [xfs]</div><div>[ 8400.187174]  [&lt;ffffffffc049ffd6&gt;] ? xfs_log_worker+0x36/0x100 [xfs]</div><div>[ 8400.187206]  [&lt;ffffffffc049ff5c&gt;] xfs_log_force+0x2c/0x70 [xfs]</div><div>[ 8400.187237]  [&lt;ffffffffc049ffd6&gt;] xfs_log_worker+0x36/0x100 [xfs]</div><div>[ 8400.187241]  [&lt;ffffffff960b312f&gt;] process_one_work+0x17f/0x440</div><div>[ 8400.187245]  [&lt;ffffffff960b3df6&gt;] worker_thread+0x126/0x3c0</div><div>[ 8400.187249]  [&lt;ffffffff960b3cd0&gt;] ? manage_workers.isra.24+0x2a0/0<wbr>x2a0</div><div>[ 8400.187253]  [&lt;ffffffff960bb161&gt;] kthread+0xd1/0xe0</div><div>[ 8400.187257]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[ 8400.187261]  [&lt;ffffffff96720677&gt;] ret_from_fork_nospec_begin+0x2<wbr>1/0x21</div><div>[ 8400.187265]  [&lt;ffffffff960bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[13493.643624] perf: interrupt took too long (12026 &gt; 11991), lowering kernel.perf_event_max_sample_r<wbr>ate to 16000</div></div><div><br></div></div><div class="m_1294537151365086379HOEnZb"><div class="m_1294537151365086379h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 30, 2018 at 2:44 AM, Krutika Dhananjay <span dir="ltr">&lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>The profile seems to suggest very high latencies on the brick at <span class="m_1294537151365086379m_2477369586478693811m_8325978663967049795gmail-im">ovirt1.nwfiber.com:/gluster/br<wbr>ick1/engine<br></span></div><div>ovirt2.* shows decent numbers. Is everything OK with the brick on ovirt1?</div><div>Are the bricks of engine volume on both these servers identical in terms of their config?</div><span class="m_1294537151365086379m_2477369586478693811HOEnZb"><font color="#888888"><div><br></div><div>-Krutika<br></div><div><span class="m_1294537151365086379m_2477369586478693811m_8325978663967049795gmail-im"></span></div><br></font></span></div><div class="m_1294537151365086379m_2477369586478693811HOEnZb"><div class="m_1294537151365086379m_2477369586478693811h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 30, 2018 at 3:07 PM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi:<div><br></div><div>Thank you.  I was finally able to get my cluster minimally functional again (its 2am local here; had to be up by 6am).  I set the cluster.eager-lock off, but I&#39;m still seeing performance issues.  Here&#39;s the engine volume:</div><div><br></div><div><div>Brick: ovirt1.nwfiber.com:/gluster/br<wbr>ick1/engine</div><div>------------------------------<wbr>------------------</div><div>Cumulative Stats:</div><div>   Block Size:                256b+                 512b+                4096b+ </div><div> No. of Reads:                  702                    24                   772 </div><div>No. of Writes:                    0                   939                  4802 </div><div> </div><div>   Block Size:               8192b+               16384b+               32768b+ </div><div> No. of Reads:                    0                    51                    49 </div><div>No. of Writes:                 4211                   858                   291 </div><div> </div><div>   Block Size:              65536b+              131072b+ </div><div> No. of Reads:                   49                  5232 </div><div>No. of Writes:                  333                   588 </div><span><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div></span><div>      0.00       0.00 us       0.00 us       0.00 us              3      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1227     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1035  RELEASEDIR</div><div>      0.00     827.00 us     619.00 us    1199.00 us             10    READDIRP</div><div>      0.00      98.38 us      30.00 us     535.00 us            144     ENTRYLK</div><div>      0.00     180.11 us     121.00 us     257.00 us             94 REMOVEXATTR</div><div>      0.00     208.03 us      23.00 us    1980.00 us            182    GETXATTR</div><div>      0.00    1212.71 us      35.00 us   29459.00 us             38     READDIR</div><div>      0.01     260.39 us     172.00 us     552.00 us            376     XATTROP</div><div>      0.01     305.10 us      45.00 us  144983.00 us            727      STATFS</div><div>      0.03    1267.23 us      22.00 us  418399.00 us            451       FLUSH</div><div>      0.04    1164.14 us      86.00 us  437638.00 us            600        OPEN</div><div>      0.07    2253.75 us       3.00 us  645037.00 us            598     OPENDIR</div><div>      0.08   17360.97 us     149.00 us  962156.00 us             94     SETATTR</div><div>      0.12    2733.36 us      50.00 us 1683945.00 us            877       FSTAT</div><div>      0.21    3041.55 us      29.00 us 1021732.00 us           1368     INODELK</div><div>      0.24     389.93 us     107.00 us  550203.00 us          11840    FXATTROP</div><div>      0.34   14820.49 us      38.00 us 1935527.00 us            444        STAT</div><div>      0.88    3765.77 us      42.00 us 1341978.00 us           4581      LOOKUP</div><div>     15.06   19624.04 us      26.00 us 6412511.00 us          14971    FINODELK</div><div>     21.63   59817.26 us      45.00 us 4008832.00 us           7054       FSYNC</div><div>     23.19  263941.14 us      86.00 us 4130892.00 us           1714        READ</div><div>     38.10  125578.64 us     207.00 us 7682338.00 us           5919       WRITE</div><div> </div><div>    Duration: 6957 seconds</div><div>   Data Read: 694832857 bytes</div><div>Data Written: 192751104 bytes</div><div> </div><div>Interval 0 Stats:</div><div>   Block Size:                256b+                 512b+                4096b+ </div><div> No. of Reads:                  702                    24                   772 </div><div>No. of Writes:                    0                   939                  4802 </div><div> </div><div>   Block Size:               8192b+               16384b+               32768b+ </div><div> No. of Reads:                    0                    51                    49 </div><div>No. of Writes:                 4211                   858                   291 </div><div> </div><div>   Block Size:              65536b+              131072b+ </div><div> No. of Reads:                   49                  5232 </div><div>No. of Writes:                  333                   588 </div><span><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div></span><div>      0.00       0.00 us       0.00 us       0.00 us              3      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1227     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1035  RELEASEDIR</div><div>      0.00     827.00 us     619.00 us    1199.00 us             10    READDIRP</div><div>      0.00      98.38 us      30.00 us     535.00 us            144     ENTRYLK</div><div>      0.00     180.11 us     121.00 us     257.00 us             94 REMOVEXATTR</div><div>      0.00     208.03 us      23.00 us    1980.00 us            182    GETXATTR</div><div>      0.00    1212.71 us      35.00 us   29459.00 us             38     READDIR</div><div>      0.01     260.39 us     172.00 us     552.00 us            376     XATTROP</div><div>      0.01     305.10 us      45.00 us  144983.00 us            727      STATFS</div><div>      0.03    1267.23 us      22.00 us  418399.00 us            451       FLUSH</div><div>      0.04    1164.14 us      86.00 us  437638.00 us            600        OPEN</div><div>      0.07    2253.75 us       3.00 us  645037.00 us            598     OPENDIR</div><div>      0.08   17360.97 us     149.00 us  962156.00 us             94     SETATTR</div><div>      0.12    2733.36 us      50.00 us 1683945.00 us            877       FSTAT</div><div>      0.21    3041.55 us      29.00 us 1021732.00 us           1368     INODELK</div><div>      0.24     389.93 us     107.00 us  550203.00 us          11840    FXATTROP</div><div>      0.34   14820.49 us      38.00 us 1935527.00 us            444        STAT</div><div>      0.91    3859.75 us      42.00 us 1341978.00 us           4581      LOOKUP</div><div>     15.05   19622.80 us      26.00 us 6412511.00 us          14971    FINODELK</div><div>     21.62   59809.04 us      45.00 us 4008832.00 us           7054       FSYNC</div><div>     23.18  263941.14 us      86.00 us 4130892.00 us           1714        READ</div><div>     38.09  125562.74 us     207.00 us 7682338.00 us           5919       WRITE</div><div> </div><div>    Duration: 6957 seconds</div><div>   Data Read: 694832857 bytes</div><div>Data Written: 192751104 bytes</div><div> </div><div>Brick: ovirt2.nwfiber.com:/gluster/br<wbr>ick1/engine</div><div>------------------------------<wbr>------------------</div><span><div>Cumulative Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div></span><div> No. of Reads:                  704                   167                   216 </div><div>No. of Writes:                    0                   939                     0 </div><span><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div></span><div> No. of Reads:                  424                 34918                  9866 </div><div>No. of Writes:                    0                  4802                  4211 </div><span><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div></span><div> No. of Reads:                12695                  3290                  3880 </div><div>No. of Writes:                  858                   291                   333 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:                13718 </div><div>No. of Writes:                  596 </div><span><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div></span><div>      0.00       0.00 us       0.00 us       0.00 us              3      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1228     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1041  RELEASEDIR</div><div>      0.06      74.26 us      21.00 us     915.00 us            144     ENTRYLK</div><div>      0.07     141.97 us      87.00 us     268.00 us             94 REMOVEXATTR</div><div>      0.08     370.68 us      22.00 us    1311.00 us             38     READDIR</div><div>      0.09     184.88 us     108.00 us     316.00 us             94     SETATTR</div><div>      0.14      56.41 us      21.00 us     540.00 us            451       FLUSH</div><div>      0.14     139.42 us      18.00 us    3251.00 us            184    GETXATTR</div><div>      0.31      96.06 us       2.00 us    2293.00 us            598     OPENDIR</div><div>      0.35      88.76 us      31.00 us     716.00 us            727      STATFS</div><div>      0.43     131.96 us      59.00 us     784.00 us            600        OPEN</div><div>      0.44     214.77 us     110.00 us     851.00 us            376     XATTROP</div><div>      0.44      81.02 us      21.00 us    3029.00 us            998        STAT</div><div>      0.51      68.57 us      17.00 us    3039.00 us           1368     INODELK</div><div>      1.26     429.06 us     274.00 us     988.00 us            539    READDIRP</div><div>      1.89     109.48 us      38.00 us    2492.00 us           3175       FSTAT</div><div>      5.09      62.48 us      19.00 us    4578.00 us          14967    FINODELK</div><div>      5.72     229.43 us      32.00 us     979.00 us           4581      LOOKUP</div><div>     11.48     356.40 us     144.00 us   16222.00 us           5917       WRITE</div><div>     12.40     192.55 us      87.00 us    4372.00 us          11834    FXATTROP</div><div>     12.48     325.11 us      33.00 us   10702.00 us           7051       FSYNC</div><div>     46.61    2063.11 us     131.00 us  193833.00 us           4151        READ</div><div> </div><div>    Duration: 6958 seconds</div><div>   Data Read: 2782908225 bytes</div><div>Data Written: 193799680 bytes</div><span><div> </div><div>Interval 0 Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div></span><div> No. of Reads:                  704                   167                   216 </div><div>No. of Writes:                    0                   939                     0 </div><span><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div></span><div> No. of Reads:                  424                 34918                  9866 </div><div>No. of Writes:                    0                  4802                  4211 </div><span><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div></span><div> No. of Reads:                12695                  3290                  3880 </div><div>No. of Writes:                  858                   291                   333 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:                13718 </div><div>No. of Writes:                  596 </div><span><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div></span><div>      0.00       0.00 us       0.00 us       0.00 us              3      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1228     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1041  RELEASEDIR</div><div>      0.06      74.26 us      21.00 us     915.00 us            144     ENTRYLK</div><div>      0.07     141.97 us      87.00 us     268.00 us             94 REMOVEXATTR</div><div>      0.08     370.68 us      22.00 us    1311.00 us             38     READDIR</div><div>      0.09     184.88 us     108.00 us     316.00 us             94     SETATTR</div><div>      0.14      56.41 us      21.00 us     540.00 us            451       FLUSH</div><div>      0.14     139.42 us      18.00 us    3251.00 us            184    GETXATTR</div><div>      0.31      96.06 us       2.00 us    2293.00 us            598     OPENDIR</div><div>      0.35      88.76 us      31.00 us     716.00 us            727      STATFS</div><div>      0.43     131.96 us      59.00 us     784.00 us            600        OPEN</div><div>      0.44     214.77 us     110.00 us     851.00 us            376     XATTROP</div><div>      0.44      81.02 us      21.00 us    3029.00 us            998        STAT</div><div>      0.51      68.57 us      17.00 us    3039.00 us           1368     INODELK</div><div>      1.26     429.06 us     274.00 us     988.00 us            539    READDIRP</div><div>      1.89     109.51 us      38.00 us    2492.00 us           3175       FSTAT</div><div>      5.09      62.48 us      19.00 us    4578.00 us          14967    FINODELK</div><div>      5.72     229.43 us      32.00 us     979.00 us           4581      LOOKUP</div><div>     11.48     356.40 us     144.00 us   16222.00 us           5917       WRITE</div><div>     12.40     192.55 us      87.00 us    4372.00 us          11834    FXATTROP</div><div>     12.48     325.11 us      33.00 us   10702.00 us           7051       FSYNC</div><div>     46.62    2063.91 us     131.00 us  193833.00 us           4151        READ</div><div> </div><div>    Duration: 6958 seconds</div><div>   Data Read: 2782908225 bytes</div><div>Data Written: 193799680 bytes</div><div> </div></div><div><br></div><div><br></div><div><div>gluster&gt; volume info engine</div><span><div> </div><div>Volume Name: engine</div><div>Type: Replicate</div><div>Volume ID: 87ad86b9-d88b-457e-ba21-5d3173<wbr>c612de</div><div>Status: Started</div><div>Snapshot Count: 0</div><div>Number of Bricks: 1 x (2 + 1) = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: ovirt1.nwfiber.com:/gluster/br<wbr>ick1/engine</div><div>Brick2: ovirt2.nwfiber.com:/gluster/br<wbr>ick1/engine</div><div>Brick3: ovirt3.nwfiber.com:/gluster/br<wbr>ick1/engine (arbiter)</div><div>Options Reconfigured:</div></span><div>diagnostics.count-fop-hits: on</div><div>diagnostics.latency-measuremen<wbr>t: on</div><span><div>performance.strict-o-direct: on</div><div>nfs.disable: on</div><div>user.cifs: off</div><div>network.ping-timeout: 30</div><div>cluster.shd-max-threads: 6</div><div>cluster.shd-wait-qlength: 10000</div><div>cluster.locking-scheme: granular</div><div>cluster.data-self-heal-algorit<wbr>hm: full</div><div>performance.low-prio-threads: 32</div><div>features.shard-block-size: 512MB</div><div>features.shard: on</div><div>storage.owner-gid: 36</div><div>storage.owner-uid: 36</div><div>cluster.server-quorum-type: server</div><div>cluster.quorum-type: auto</div><div>network.remote-dio: off</div></span><div>cluster.eager-lock: off</div><span><div>performance.stat-prefetch: off</div><div>performance.io-cache: off</div><div>performance.read-ahead: off</div><div>performance.quick-read: off</div><div>performance.readdir-ahead: on</div></span><div>geo-replication.indexing: on</div><div>geo-replication.ignore-pid-che<wbr>ck: on</div><div>changelog.changelog: on</div></div><div><br></div></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 9:17 PM, Krutika Dhananjay <span dir="ltr">&lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Adding Ravi to look into the heal issue.</div><div><br></div><div>As for the fsync hang and subsequent IO errors, it seems a lot like <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1497156" target="_blank">https://bugzilla.redhat.com/sh<wbr>ow_bug.cgi?id=1497156</a> and Paolo Bonzini from qemu had pointed out that this would be fixed by the following commit:</div><div><br></div><div><pre class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262gmail-bz_comment_text m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262gmail-bz_wrap_comment_text" id="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262gmail-comment_text_20">  commit e72c9a2a67a6400c8ef3d01d4c461d<wbr>bbbfa0e1f0
    Author: Paolo Bonzini &lt;<a href="mailto:pbonzini@redhat.com" target="_blank">pbonzini@redhat.com</a>&gt;
    Date:   Wed Jun 21 16:35:46 2017 +0200

    scsi: virtio_scsi: let host do exception handling
    
    virtio_scsi tries to do exception handling after the default 30 seconds
    timeout expires.  However, it&#39;s better to let the host control the
    timeout, otherwise with a heavy I/O load it is likely that an abort will
    also timeout.  This leads to fatal errors like filesystems going
    offline.
    
    Disable the &#39;sd&#39; timeout and allow the host to do exception handling,
    following the precedent of the storvsc driver.
    
    Hannes has a proposal to introduce timeouts in virtio, but this provides
    an immediate solution for stable kernels too.
    
    [mkp: fixed typo]
    
    Reported-by: Douglas Miller &lt;<a href="mailto:dougmill@linux.vnet.ibm.com" target="_blank">dougmill@linux.vnet.ibm.com</a>&gt;
    Cc: &quot;James E.J. Bottomley&quot; &lt;<a href="mailto:jejb@linux.vnet.ibm.com" target="_blank">jejb@linux.vnet.ibm.com</a>&gt;
    Cc: &quot;Martin K. Petersen&quot; &lt;<a href="mailto:martin.petersen@oracle.com" target="_blank">martin.petersen@oracle.com</a>&gt;
    Cc: Hannes Reinecke &lt;<a href="mailto:hare@suse.de" target="_blank">hare@suse.de</a>&gt;
    Cc: <a href="mailto:linux-scsi@vger.kernel.org" target="_blank">linux-scsi@vger.kernel.org</a>
    Cc: <a href="mailto:stable@vger.kernel.org" target="_blank">stable@vger.kernel.org</a>
    Signed-off-by: Paolo Bonzini &lt;<a href="mailto:pbonzini@redhat.com" target="_blank">pbonzini@redhat.com</a>&gt;
    Signed-off-by: Martin K. Petersen &lt;<a href="mailto:martin.petersen@oracle.com" target="_blank">martin.petersen@oracle.com</a>&gt;</pre></div><div><br></div><div>Adding Paolo/Kevin to comment.</div><div><br></div><div>As for the poor gluster performance, could you disable cluster.eager-lock and see if that makes any difference:</div><div><br></div><div># gluster volume set &lt;VOL&gt; cluster.eager-lock off</div><div><br></div><div>Do also capture the volume profile again if you still see performance issues after disabling eager-lock.<br></div><div><br></div><div>-Krutika</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740h5">On Wed, May 30, 2018 at 6:55 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740h5"><div dir="ltr">I also finally found the following in my system log on one server:<div><br></div><div><div>[10679.524491] INFO: task glusterclogro:14933 blocked for more than 120 seconds.</div><div>[10679.525826] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[10679.527144] glusterclogro   D ffff97209832bf40     0 14933      1 0x00000080</div><div>[10679.527150] Call Trace:</div><div>[10679.527161]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[10679.527218]  [&lt;ffffffffc060e388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[10679.527225]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[10679.527254]  [&lt;ffffffffc05eeb97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[10679.527260]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[10679.527268]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[10679.527271]  [&lt;ffffffffb944f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[10679.527275]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[10679.527279]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[10679.527283] INFO: task glusterposixfsy:14941 blocked for more than 120 seconds.</div><div>[10679.528608] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[10679.529956] glusterposixfsy D ffff972495f84f10     0 14941      1 0x00000080</div><div>[10679.529961] Call Trace:</div><div>[10679.529966]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[10679.530003]  [&lt;ffffffffc060e388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[10679.530008]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[10679.530038]  [&lt;ffffffffc05eeb97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[10679.530042]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[10679.530046]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[10679.530050]  [&lt;ffffffffb944f3f3&gt;] SyS_fdatasync+0x13/0x20</div><div>[10679.530054]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[10679.530058]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[10679.530062] INFO: task glusteriotwr13:15486 blocked for more than 120 seconds.</div><div>[10679.531805] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[10679.533732] glusteriotwr13  D ffff9720a83f0000     0 15486      1 0x00000080</div><div>[10679.533738] Call Trace:</div><div>[10679.533747]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[10679.533799]  [&lt;ffffffffc060e388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[10679.533806]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[10679.533846]  [&lt;ffffffffc05eeb97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[10679.533852]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[10679.533858]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[10679.533863]  [&lt;ffffffffb944f3f3&gt;] SyS_fdatasync+0x13/0x20</div><div>[10679.533868]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[10679.533873]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[10919.512757] INFO: task glusterclogro:14933 blocked for more than 120 seconds.</div><div>[10919.514714] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[10919.516663] glusterclogro   D ffff97209832bf40     0 14933      1 0x00000080</div><div>[10919.516677] Call Trace:</div><div>[10919.516690]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[10919.516696]  [&lt;ffffffffb99118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[10919.516703]  [&lt;ffffffffb951cc04&gt;] ? blk_finish_plug+0x14/0x40</div><div>[10919.516768]  [&lt;ffffffffc05e9224&gt;] ? _xfs_buf_ioapply+0x334/0x460 [xfs]</div><div>[10919.516774]  [&lt;ffffffffb991432d&gt;] wait_for_completion+0xfd/0x140</div><div>[10919.516782]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[10919.516821]  [&lt;ffffffffc05eb0a3&gt;] ? _xfs_buf_read+0x23/0x40 [xfs]</div><div>[10919.516859]  [&lt;ffffffffc05eafa9&gt;] xfs_buf_submit_wait+0xf9/0x1d0 [xfs]</div><div>[10919.516902]  [&lt;ffffffffc061b279&gt;] ? xfs_trans_read_buf_map+0x199/0<wbr>x400 [xfs]</div><div>[10919.516940]  [&lt;ffffffffc05eb0a3&gt;] _xfs_buf_read+0x23/0x40 [xfs]</div><div>[10919.516977]  [&lt;ffffffffc05eb1b9&gt;] xfs_buf_read_map+0xf9/0x160 [xfs]</div><div>[10919.517022]  [&lt;ffffffffc061b279&gt;] xfs_trans_read_buf_map+0x199/0<wbr>x400 [xfs]</div><div>[10919.517057]  [&lt;ffffffffc05c8d04&gt;] xfs_da_read_buf+0xd4/0x100 [xfs]</div><div>[10919.517091]  [&lt;ffffffffc05c8d53&gt;] xfs_da3_node_read+0x23/0xd0 [xfs]</div><div>[10919.517126]  [&lt;ffffffffc05c9fee&gt;] xfs_da3_node_lookup_int+0x6e/0<wbr>x2f0 [xfs]</div><div>[10919.517160]  [&lt;ffffffffc05d5a1d&gt;] xfs_dir2_node_lookup+0x4d/0x17<wbr>0 [xfs]</div><div>[10919.517194]  [&lt;ffffffffc05ccf5d&gt;] xfs_dir_lookup+0x1bd/0x1e0 [xfs]</div><div>[10919.517233]  [&lt;ffffffffc05fd8d9&gt;] xfs_lookup+0x69/0x140 [xfs]</div><div>[10919.517271]  [&lt;ffffffffc05fa018&gt;] xfs_vn_lookup+0x78/0xc0 [xfs]</div><div>[10919.517278]  [&lt;ffffffffb9425cf3&gt;] lookup_real+0x23/0x60</div><div>[10919.517283]  [&lt;ffffffffb9426702&gt;] __lookup_hash+0x42/0x60</div><div>[10919.517288]  [&lt;ffffffffb942d519&gt;] SYSC_renameat2+0x3a9/0x5a0</div><div>[10919.517296]  [&lt;ffffffffb94d3753&gt;] ? selinux_file_free_security+0x2<wbr>3/0x30</div><div>[10919.517304]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[10919.517309]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[10919.517313]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[10919.517318]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[10919.517323]  [&lt;ffffffffb942e58e&gt;] SyS_renameat2+0xe/0x10</div><div>[10919.517328]  [&lt;ffffffffb942e5ce&gt;] SyS_rename+0x1e/0x20</div><div>[10919.517333]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[10919.517339]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[11159.496095] INFO: task glusteriotwr9:15482 blocked for more than 120 seconds.</div><div>[11159.497546] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11159.498978] glusteriotwr9   D ffff971fa0fa1fa0     0 15482      1 0x00000080</div><div>[11159.498984] Call Trace:</div><div>[11159.498995]  [&lt;ffffffffb9911f00&gt;] ? bit_wait+0x50/0x50</div><div>[11159.498999]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11159.499003]  [&lt;ffffffffb99118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[11159.499056]  [&lt;ffffffffc05dd9b7&gt;] ? xfs_iext_bno_to_ext+0xa7/0x1a0 [xfs]</div><div>[11159.499082]  [&lt;ffffffffc05dd43e&gt;] ? xfs_iext_bno_to_irec+0x8e/0xd0 [xfs]</div><div>[11159.499090]  [&lt;ffffffffb92f7a12&gt;] ? ktime_get_ts64+0x52/0xf0</div><div>[11159.499093]  [&lt;ffffffffb9911f00&gt;] ? bit_wait+0x50/0x50</div><div>[11159.499097]  [&lt;ffffffffb991348d&gt;] io_schedule_timeout+0xad/0x130</div><div>[11159.499101]  [&lt;ffffffffb9913528&gt;] io_schedule+0x18/0x20</div><div>[11159.499104]  [&lt;ffffffffb9911f11&gt;] bit_wait_io+0x11/0x50</div><div>[11159.499107]  [&lt;ffffffffb9911ac1&gt;] __wait_on_bit_lock+0x61/0xc0</div><div>[11159.499113]  [&lt;ffffffffb9393634&gt;] __lock_page+0x74/0x90</div><div>[11159.499118]  [&lt;ffffffffb92bc210&gt;] ? wake_bit_function+0x40/0x40</div><div>[11159.499121]  [&lt;ffffffffb9394154&gt;] __find_lock_page+0x54/0x70</div><div>[11159.499125]  [&lt;ffffffffb9394e85&gt;] grab_cache_page_write_begin+0x<wbr>55/0xc0</div><div>[11159.499130]  [&lt;ffffffffb9484b76&gt;] iomap_write_begin+0x66/0x100</div><div>[11159.499135]  [&lt;ffffffffb9484edf&gt;] iomap_write_actor+0xcf/0x1d0</div><div>[11159.499140]  [&lt;ffffffffb9484e10&gt;] ? iomap_write_end+0x80/0x80</div><div>[11159.499144]  [&lt;ffffffffb94854e7&gt;] iomap_apply+0xb7/0x150</div><div>[11159.499149]  [&lt;ffffffffb9485621&gt;] iomap_file_buffered_write+0xa1<wbr>/0xe0</div><div>[11159.499153]  [&lt;ffffffffb9484e10&gt;] ? iomap_write_end+0x80/0x80</div><div>[11159.499182]  [&lt;ffffffffc05f025d&gt;] xfs_file_buffered_aio_write+0x<wbr>12d/0x2c0 [xfs]</div><div>[11159.499213]  [&lt;ffffffffc05f057d&gt;] xfs_file_aio_write+0x18d/0x1b0 [xfs]</div><div>[11159.499217]  [&lt;ffffffffb941a533&gt;] do_sync_write+0x93/0xe0</div><div>[11159.499222]  [&lt;ffffffffb941b010&gt;] vfs_write+0xc0/0x1f0</div><div>[11159.499225]  [&lt;ffffffffb941c002&gt;] SyS_pwrite64+0x92/0xc0</div><div>[11159.499230]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[11159.499234]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[11159.499238]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[11279.488720] INFO: task xfsaild/dm-10:1134 blocked for more than 120 seconds.</div><div>[11279.490197] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11279.491665] xfsaild/dm-10   D ffff9720a8660fd0     0  1134      2 0x00000000</div><div>[11279.491671] Call Trace:</div><div>[11279.491682]  [&lt;ffffffffb92a3a2e&gt;] ? try_to_del_timer_sync+0x5e/0x9<wbr>0</div><div>[11279.491688]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11279.491744]  [&lt;ffffffffc060de36&gt;] _xfs_log_force+0x1c6/0x2c0 [xfs]</div><div>[11279.491750]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[11279.491783]  [&lt;ffffffffc0619fec&gt;] ? xfsaild+0x16c/0x6f0 [xfs]</div><div>[11279.491817]  [&lt;ffffffffc060df5c&gt;] xfs_log_force+0x2c/0x70 [xfs]</div><div>[11279.491849]  [&lt;ffffffffc0619e80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[11279.491880]  [&lt;ffffffffc0619fec&gt;] xfsaild+0x16c/0x6f0 [xfs]</div><div>[11279.491913]  [&lt;ffffffffc0619e80&gt;] ? xfs_trans_ail_cursor_first+0x9<wbr>0/0x90 [xfs]</div><div>[11279.491919]  [&lt;ffffffffb92bb161&gt;] kthread+0xd1/0xe0</div><div>[11279.491926]  [&lt;ffffffffb92bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[11279.491932]  [&lt;ffffffffb9920677&gt;] ret_from_fork_nospec_begin+0x2<wbr>1/0x21</div><div>[11279.491936]  [&lt;ffffffffb92bb090&gt;] ? insert_kthread_work+0x40/0x40</div><div>[11279.491976] INFO: task glusterclogfsyn:14934 blocked for more than 120 seconds.</div><div>[11279.493466] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11279.494952] glusterclogfsyn D ffff97209832af70     0 14934      1 0x00000080</div><div>[11279.494957] Call Trace:</div><div>[11279.494979]  [&lt;ffffffffc0309839&gt;] ? __split_and_process_bio+0x2e9/<wbr>0x520 [dm_mod]</div><div>[11279.494983]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11279.494987]  [&lt;ffffffffb99118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[11279.494997]  [&lt;ffffffffc0309d98&gt;] ? dm_make_request+0x128/0x1a0 [dm_mod]</div><div>[11279.495001]  [&lt;ffffffffb991348d&gt;] io_schedule_timeout+0xad/0x130</div><div>[11279.495005]  [&lt;ffffffffb99145ad&gt;] wait_for_completion_io+0xfd/0x<wbr>140</div><div>[11279.495010]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[11279.495016]  [&lt;ffffffffb951e574&gt;] blkdev_issue_flush+0xb4/0x110</div><div>[11279.495049]  [&lt;ffffffffc06064b9&gt;] xfs_blkdev_issue_flush+0x19/0x<wbr>20 [xfs]</div><div>[11279.495079]  [&lt;ffffffffc05eec40&gt;] xfs_file_fsync+0x1b0/0x1e0 [xfs]</div><div>[11279.495086]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[11279.495090]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[11279.495094]  [&lt;ffffffffb944f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[11279.495098]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[11279.495102]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[11279.495105] INFO: task glusterposixfsy:14941 blocked for more than 120 seconds.</div><div>[11279.496606] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11279.498114] glusterposixfsy D ffff972495f84f10     0 14941      1 0x00000080</div><div>[11279.498118] Call Trace:</div><div>[11279.498134]  [&lt;ffffffffc0309839&gt;] ? __split_and_process_bio+0x2e9/<wbr>0x520 [dm_mod]</div><div>[11279.498138]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11279.498142]  [&lt;ffffffffb99118e9&gt;] schedule_timeout+0x239/0x2c0</div><div>[11279.498152]  [&lt;ffffffffc0309d98&gt;] ? dm_make_request+0x128/0x1a0 [dm_mod]</div><div>[11279.498156]  [&lt;ffffffffb991348d&gt;] io_schedule_timeout+0xad/0x130</div><div>[11279.498160]  [&lt;ffffffffb99145ad&gt;] wait_for_completion_io+0xfd/0x<wbr>140</div><div>[11279.498165]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[11279.498169]  [&lt;ffffffffb951e574&gt;] blkdev_issue_flush+0xb4/0x110</div><div>[11279.498202]  [&lt;ffffffffc06064b9&gt;] xfs_blkdev_issue_flush+0x19/0x<wbr>20 [xfs]</div><div>[11279.498231]  [&lt;ffffffffc05eec40&gt;] xfs_file_fsync+0x1b0/0x1e0 [xfs]</div><div>[11279.498238]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[11279.498242]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[11279.498246]  [&lt;ffffffffb944f3f3&gt;] SyS_fdatasync+0x13/0x20</div><div>[11279.498250]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[11279.498254]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[11279.498257] INFO: task glusteriotwr1:14950 blocked for more than 120 seconds.</div><div>[11279.499789] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11279.501343] glusteriotwr1   D ffff97208b6daf70     0 14950      1 0x00000080</div><div>[11279.501348] Call Trace:</div><div>[11279.501353]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11279.501390]  [&lt;ffffffffc060e388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[11279.501396]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[11279.501428]  [&lt;ffffffffc05eeb97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[11279.501432]  [&lt;ffffffffb944ef3f&gt;] generic_write_sync+0x4f/0x70</div><div>[11279.501461]  [&lt;ffffffffc05f0545&gt;] xfs_file_aio_write+0x155/0x1b0 [xfs]</div><div>[11279.501466]  [&lt;ffffffffb941a533&gt;] do_sync_write+0x93/0xe0</div><div>[11279.501471]  [&lt;ffffffffb941b010&gt;] vfs_write+0xc0/0x1f0</div><div>[11279.501475]  [&lt;ffffffffb941c002&gt;] SyS_pwrite64+0x92/0xc0</div><div>[11279.501479]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[11279.501483]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[11279.501489]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[11279.501493] INFO: task glusteriotwr4:14953 blocked for more than 120 seconds.</div><div>[11279.503047] &quot;echo 0 &gt; /proc/sys/kernel/hung_task_tim<wbr>eout_secs&quot; disables this message.</div><div>[11279.504630] glusteriotwr4   D ffff972499f2bf40     0 14953      1 0x00000080</div><div>[11279.504635] Call Trace:</div><div>[11279.504640]  [&lt;ffffffffb9913f79&gt;] schedule+0x29/0x70</div><div>[11279.504676]  [&lt;ffffffffc060e388&gt;] _xfs_log_force_lsn+0x2e8/0x340 [xfs]</div><div>[11279.504681]  [&lt;ffffffffb92cf1b0&gt;] ? wake_up_state+0x20/0x20</div><div>[11279.504710]  [&lt;ffffffffc05eeb97&gt;] xfs_file_fsync+0x107/0x1e0 [xfs]</div><div>[11279.504714]  [&lt;ffffffffb944f0e7&gt;] do_fsync+0x67/0xb0</div><div>[11279.504718]  [&lt;ffffffffb992076f&gt;] ? system_call_after_swapgs+0xbc/<wbr>0x160</div><div>[11279.504722]  [&lt;ffffffffb944f3d0&gt;] SyS_fsync+0x10/0x20</div><div>[11279.504725]  [&lt;ffffffffb992082f&gt;] system_call_fastpath+0x1c/0x21</div><div>[11279.504730]  [&lt;ffffffffb992077b&gt;] ? system_call_after_swapgs+0xc8/<wbr>0x160</div><div>[12127.466494] perf: interrupt took too long (8263 &gt; 8150), lowering kernel.perf_event_max_sample_r<wbr>ate to 24000</div></div><div><br></div><div>--------------------</div><div>I think this is the cause of the massive ovirt performance issues irrespective of gluster volume.  At the time this happened, I was also ssh&#39;ed into the host, and was doing some rpm querry commands.  I had just run rpm -qa |grep glusterfs (to verify what version was actually installed), and that command took almost 2 minutes to return!  Normally it takes less than 2 seconds.  That is all pure local SSD IO, too....</div><div><br></div><div>I&#39;m no expert, but its my understanding that anytime a software causes these kinds of issues, its a serious bug in the software, even if its mis-handled exceptions.  Is this correct?</div><span class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262HOEnZb"><font color="#888888"><div><br></div><div>--Jim</div></font></span></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 3:01 PM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I think this is the profile information for one of the volumes that lives on the SSDs and is fully operational with no down/problem disks:<div><br></div><div><div>[root@ovirt2 yum.repos.d]# gluster volume profile data info</div><div>Brick: ovirt2.nwfiber.com:/gluster/br<wbr>ick2/data</div><div>------------------------------<wbr>----------------</div><div>Cumulative Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div><div> No. of Reads:                  983                  2696                  1059 </div><div>No. of Writes:                    0                  1113                   302 </div><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div><div> No. of Reads:                  852                 88608                 53526 </div><div>No. of Writes:                  522                812340                 76257 </div><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div><div> No. of Reads:                54351                241901                 15024 </div><div>No. of Writes:                21636                  8656                  8976 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:               524156 </div><div>No. of Writes:               296071 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           4189     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1257  RELEASEDIR</div><div>      0.00      46.19 us      12.00 us     187.00 us             69       FLUSH</div><div>      0.00     147.00 us      78.00 us     367.00 us             86 REMOVEXATTR</div><div>      0.00     223.46 us      24.00 us    1166.00 us            149     READDIR</div><div>      0.00     565.34 us      76.00 us    3639.00 us             88   FTRUNCATE</div><div>      0.00     263.28 us      20.00 us   28385.00 us            228          LK</div><div>      0.00      98.84 us       2.00 us     880.00 us           1198     OPENDIR</div><div>      0.00      91.59 us      26.00 us   10371.00 us           3853      STATFS</div><div>      0.00     494.14 us      17.00 us  193439.00 us           1171    GETXATTR</div><div>      0.00     299.42 us      35.00 us    9799.00 us           2044    READDIRP</div><div>      0.00    1965.31 us     110.00 us  382258.00 us            321     XATTROP</div><div>      0.01     113.40 us      24.00 us   61061.00 us           8134        STAT</div><div>      0.01     755.38 us      57.00 us  607603.00 us           3196     DISCARD</div><div>      0.05    2690.09 us      58.00 us 2704761.00 us           3206        OPEN</div><div>      0.10  119978.25 us      97.00 us 9406684.00 us            154     SETATTR</div><div>      0.18     101.73 us      28.00 us  700477.00 us         313379       FSTAT</div><div>      0.23    1059.84 us      25.00 us 2716124.00 us          38255      LOOKUP</div><div>      0.47    1024.11 us      54.00 us 6197164.00 us          81455    FXATTROP</div><div>      1.72    2984.00 us      15.00 us 37098954.00 us         103020    FINODELK</div><div>      5.92   44315.32 us      51.00 us 24731536.00 us          23957       FSYNC</div><div>     13.27    2399.78 us      25.00 us 22089540.00 us         991005        READ</div><div>     37.00    5980.43 us      52.00 us 22099889.00 us        1108976       WRITE</div><div>     41.04    5452.75 us      13.00 us 22102452.00 us        1349053     INODELK</div><div> </div><div>    Duration: 10026 seconds</div><div>   Data Read: 80046027759 bytes</div><div>Data Written: 44496632320 bytes</div><div> </div><div>Interval 1 Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div><div> No. of Reads:                  983                  2696                  1059 </div><div>No. of Writes:                    0                   838                   185 </div><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div><div> No. of Reads:                  852                 85856                 51575 </div><div>No. of Writes:                  382                705802                 57812 </div><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div><div> No. of Reads:                52673                232093                 14984 </div><div>No. of Writes:                13499                  4908                  4242 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:               460040 </div><div>No. of Writes:                 6411 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           2093     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1093  RELEASEDIR</div><div>      0.00      53.38 us      26.00 us     111.00 us             16       FLUSH</div><div>      0.00     145.14 us      78.00 us     367.00 us             71 REMOVEXATTR</div><div>      0.00     190.96 us     114.00 us     298.00 us             71     SETATTR</div><div>      0.00     213.38 us      24.00 us    1145.00 us             90     READDIR</div><div>      0.00     263.28 us      20.00 us   28385.00 us            228          LK</div><div>      0.00     101.76 us       2.00 us     880.00 us           1093     OPENDIR</div><div>      0.01      93.60 us      27.00 us   10371.00 us           3090      STATFS</div><div>      0.02     537.47 us      17.00 us  193439.00 us           1038    GETXATTR</div><div>      0.03     297.44 us      35.00 us    9799.00 us           1990    READDIRP</div><div>      0.03    2357.28 us     110.00 us  382258.00 us            253     XATTROP</div><div>      0.04     385.93 us      58.00 us   47593.00 us           2091        OPEN</div><div>      0.04     114.86 us      24.00 us   61061.00 us           7715        STAT</div><div>      0.06     444.59 us      57.00 us  333240.00 us           3053     DISCARD</div><div>      0.42     316.24 us      25.00 us  290728.00 us          29823      LOOKUP</div><div>      0.73     257.92 us      54.00 us  344812.00 us          63296    FXATTROP</div><div>      1.37      98.30 us      28.00 us   67621.00 us         313172       FSTAT</div><div>      1.58    2124.69 us      51.00 us  849200.00 us          16717       FSYNC</div><div>      5.73     162.46 us      52.00 us  748492.00 us         794079       WRITE</div><div>      7.19    2065.17 us      16.00 us 37098954.00 us          78381    FINODELK</div><div>     36.44     886.32 us      25.00 us 2216436.00 us         925421        READ</div><div>     46.30    1178.04 us      13.00 us 1700704.00 us         884635     INODELK</div><div> </div><div>    Duration: 7485 seconds</div><div>   Data Read: 71250527215 bytes</div><div>Data Written: 5119903744 bytes</div><div> </div><div>Brick: ovirt3.nwfiber.com:/gluster/br<wbr>ick2/data</div><div>------------------------------<wbr>----------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+ </div><div> No. of Reads:                    0 </div><div>No. of Writes:              3264419 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us             90      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           9462     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           4254  RELEASEDIR</div><div>      0.00      50.52 us      13.00 us     190.00 us             71       FLUSH</div><div>      0.00     186.97 us      87.00 us     713.00 us             86 REMOVEXATTR</div><div>      0.00      79.32 us      33.00 us     189.00 us            228          LK</div><div>      0.00     220.98 us     129.00 us     513.00 us             86     SETATTR</div><div>      0.01     259.30 us      26.00 us    2632.00 us            137     READDIR</div><div>      0.02     322.76 us     145.00 us    2125.00 us            321     XATTROP</div><div>      0.03     109.55 us       2.00 us    1258.00 us           1193     OPENDIR</div><div>      0.05      70.21 us      21.00 us     431.00 us           3196     DISCARD</div><div>      0.05     169.26 us      21.00 us    2315.00 us           1545    GETXATTR</div><div>      0.12     176.85 us      63.00 us    2844.00 us           3206        OPEN</div><div>      0.61     303.49 us      90.00 us    3085.00 us           9633       FSTAT</div><div>      2.44     305.66 us      28.00 us    3716.00 us          38230      LOOKUP</div><div>      4.52     266.22 us      55.00 us   53424.00 us          81455    FXATTROP</div><div>      6.96    1397.99 us      51.00 us   64822.00 us          23889       FSYNC</div><div>     16.48      84.74 us      25.00 us    6917.00 us         932592       WRITE</div><div>     30.16     106.90 us      13.00 us 3920189.00 us        1353046     INODELK</div><div>     38.55    1794.52 us      14.00 us 16210553.00 us         103039    FINODELK</div><div> </div><div>    Duration: 66562 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 3264419 bytes</div><div> </div><div>Interval 1 Stats:</div><div>   Block Size:                  1b+ </div><div> No. of Reads:                    0 </div><div>No. of Writes:               794080 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           2093     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1093  RELEASEDIR</div><div>      0.00      70.31 us      26.00 us     125.00 us             16       FLUSH</div><div>      0.00     193.10 us     103.00 us     713.00 us             71 REMOVEXATTR</div><div>      0.01     227.32 us     133.00 us     513.00 us             71     SETATTR</div><div>      0.01      79.32 us      33.00 us     189.00 us            228          LK</div><div>      0.01     259.83 us      35.00 us    1138.00 us             89     READDIR</div><div>      0.03     318.26 us     145.00 us    2047.00 us            253     XATTROP</div><div>      0.04     112.67 us       3.00 us    1258.00 us           1093     OPENDIR</div><div>      0.06     167.98 us      23.00 us    1951.00 us           1014    GETXATTR</div><div>      0.08      70.97 us      22.00 us     431.00 us           3053     DISCARD</div><div>      0.13     183.78 us      66.00 us    2844.00 us           2091        OPEN</div><div>      1.01     303.82 us      90.00 us    3085.00 us           9610       FSTAT</div><div>      3.27     316.59 us      30.00 us    3716.00 us          29820      LOOKUP</div><div>      5.83     265.79 us      59.00 us   53424.00 us          63296    FXATTROP</div><div>      7.95    1373.89 us      51.00 us   64822.00 us          16717       FSYNC</div><div>     23.17     851.99 us      14.00 us 16210553.00 us          78555    FINODELK</div><div>     24.04      87.44 us      27.00 us    6917.00 us         794081       WRITE</div><div>     34.36     111.91 us      14.00 us  984871.00 us         886790     INODELK</div><div> </div><div>    Duration: 7485 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 794080 bytes</div></div><div><br></div><div><br></div><div>-----------------------</div><div>Here is the data from the volume that is backed by the SHDDs and has one failed disk:</div><div><div>[root@ovirt2 yum.repos.d]# gluster volume profile data-hdd info</div><div>Brick: 172.172.1.12:/gluster/brick3/d<wbr>ata-hdd</div><div>------------------------------<wbr>--------------</div><div>Cumulative Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div><div> No. of Reads:                 1702                    86                    16 </div><div>No. of Writes:                    0                   767                    71 </div><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div><div> No. of Reads:                   19                 51841                  2049 </div><div>No. of Writes:                   76                 60668                 35727 </div><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div><div> No. of Reads:                 1744                   639                  1088 </div><div>No. of Writes:                 8524                  2410                  1285 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:               771999 </div><div>No. of Writes:                29584 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           2902     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1517  RELEASEDIR</div><div>      0.00     197.00 us     197.00 us     197.00 us              1   FTRUNCATE</div><div>      0.00      70.24 us      16.00 us     758.00 us             51       FLUSH</div><div>      0.00     143.93 us      82.00 us     305.00 us             57 REMOVEXATTR</div><div>      0.00     178.63 us     105.00 us     712.00 us             60     SETATTR</div><div>      0.00      67.30 us      19.00 us     572.00 us            555          LK</div><div>      0.00     322.80 us      23.00 us    4673.00 us            138     READDIR</div><div>      0.00     336.56 us     106.00 us   11994.00 us            237     XATTROP</div><div>      0.00      84.70 us      28.00 us    1071.00 us           3469      STATFS</div><div>      0.01     387.75 us       2.00 us  146017.00 us           1467     OPENDIR</div><div>      0.01     148.59 us      21.00 us   64374.00 us           4454        STAT</div><div>      0.02     783.02 us      16.00 us   93502.00 us           1902    GETXATTR</div><div>      0.03    1516.10 us      17.00 us  210690.00 us           1364     ENTRYLK</div><div>      0.03    2555.47 us     300.00 us  674454.00 us           1064    READDIRP</div><div>      0.07      85.74 us      19.00 us   68340.00 us          62849       FSTAT</div><div>      0.07    1978.12 us      59.00 us  202596.00 us           2729        OPEN</div><div>      0.22     708.57 us      15.00 us  394799.00 us          25447      LOOKUP</div><div>      5.94    2331.74 us      15.00 us 1099530.00 us         207534    FINODELK</div><div>      7.31    8311.75 us      58.00 us 1800216.00 us          71668    FXATTROP</div><div>     12.49    7735.19 us      51.00 us 3595513.00 us         131642       WRITE</div><div>     17.70     957.08 us      16.00 us 13700466.00 us        1508160     INODELK</div><div>     24.55    2546.43 us      26.00 us 5077347.00 us         786060        READ</div><div>     31.56   49699.15 us      47.00 us 3746331.00 us          51777       FSYNC</div><div> </div><div>    Duration: 10101 seconds</div><div>   Data Read: 101562897361 bytes</div><div>Data Written: 4834450432 bytes</div><div> </div><div>Interval 0 Stats:</div><div>   Block Size:                256b+                 512b+                1024b+ </div><div> No. of Reads:                 1702                    86                    16 </div><div>No. of Writes:                    0                   767                    71 </div><div> </div><div>   Block Size:               2048b+                4096b+                8192b+ </div><div> No. of Reads:                   19                 51841                  2049 </div><div>No. of Writes:                   76                 60668                 35727 </div><div> </div><div>   Block Size:              16384b+               32768b+               65536b+ </div><div> No. of Reads:                 1744                   639                  1088 </div><div>No. of Writes:                 8524                  2410                  1285 </div><div> </div><div>   Block Size:             131072b+ </div><div> No. of Reads:               771999 </div><div>No. of Writes:                29584 </div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           2902     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us           1517  RELEASEDIR</div><div>      0.00     197.00 us     197.00 us     197.00 us              1   FTRUNCATE</div><div>      0.00      70.24 us      16.00 us     758.00 us             51       FLUSH</div><div>      0.00     143.93 us      82.00 us     305.00 us             57 REMOVEXATTR</div><div>      0.00     178.63 us     105.00 us     712.00 us             60     SETATTR</div><div>      0.00      67.30 us      19.00 us     572.00 us            555          LK</div><div>      0.00     322.80 us      23.00 us    4673.00 us            138     READDIR</div><div>      0.00     336.56 us     106.00 us   11994.00 us            237     XATTROP</div><div>      0.00      84.70 us      28.00 us    1071.00 us           3469      STATFS</div><div>      0.01     387.75 us       2.00 us  146017.00 us           1467     OPENDIR</div><div>      0.01     148.59 us      21.00 us   64374.00 us           4454        STAT</div><div>      0.02     783.02 us      16.00 us   93502.00 us           1902    GETXATTR</div><div>      0.03    1516.10 us      17.00 us  210690.00 us           1364     ENTRYLK</div><div>      0.03    2555.47 us     300.00 us  674454.00 us           1064    READDIRP</div><div>      0.07      85.73 us      19.00 us   68340.00 us          62849       FSTAT</div><div>      0.07    1978.12 us      59.00 us  202596.00 us           2729        OPEN</div><div>      0.22     708.57 us      15.00 us  394799.00 us          25447      LOOKUP</div><div>      5.94    2334.57 us      15.00 us 1099530.00 us         207534    FINODELK</div><div>      7.31    8311.49 us      58.00 us 1800216.00 us          71668    FXATTROP</div><div>     12.49    7735.32 us      51.00 us 3595513.00 us         131642       WRITE</div><div>     17.71     957.08 us      16.00 us 13700466.00 us        1508160     INODELK</div><div>     24.56    2546.42 us      26.00 us 5077347.00 us         786060        READ</div><div>     31.54   49651.63 us      47.00 us 3746331.00 us          51777       FSYNC</div><div> </div><div>    Duration: 10101 seconds</div><div>   Data Read: 101562897361 bytes</div><div>Data Written: 4834450432 bytes</div></div><div><br></div></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 2:55 PM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thank you for your response.<div><br></div><div>I have 4 gluster volumes.  3 are replica 2 + arbitrator.  replica bricks are on ovirt1 and ovirt2, arbitrator on ovirt3.  The 4th volume is replica 3, with a brick on all three ovirt machines.</div><div><br></div><div>The first 3 volumes are on an SSD disk; the 4th is on a Seagate SSHD (same in all three machines).  On ovirt3, the SSHD has reported hard IO failures, and that brick is offline.  However, the other two replicas are fully operational (although they still show contents in the heal info command that won&#39;t go away, but that may be the case until I replace the failed disk).</div><div><br></div><div>What is bothering me is that ALL 4 gluster volumes are showing horrible performance issues.  At this point, as the bad disk has been completely offlined, I would expect gluster to perform at normal speed, but that is definitely not the case.</div><div><br></div><div>I&#39;ve also noticed that the performance hits seem to come in waves: things seem to work acceptably (but slow) for a while, then suddenly, its as if all disk IO on all volumes (including non-gluster local OS disk volumes for the hosts) pause for about 30 seconds, then IO resumes again.  During those times, I start getting VM not responding and host not responding notices as well as the applications having major issues.</div><div><br></div><div>I&#39;ve shut down most of my VMs and am down to just my essential core VMs (shedded about 75% of my VMs).  I still am experiencing the same issues.</div><div><br></div><div>Am I correct in believing that once the failed disk was brought offline that performance should return to normal?</div></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 1:27 PM, Alex K <span dir="ltr">&lt;<a href="mailto:rightkicktech@gmail.com" target="_blank">rightkicktech@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto">I would check disks status and accessibility of mount points where your gluster volumes reside.</div><br><div class="gmail_quote"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844h5"><div dir="ltr">On Tue, May 29, 2018, 22:28 Jim Kusznir &lt;<a href="mailto:jim@palousetech.com" target="_blank">jim@palousetech.com</a>&gt; wrote:<br></div></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844h5"><div dir="ltr">On one ovirt server, I&#39;m now seeing these messages:<div><div>[56474.239725] blk_update_request: 63 callbacks suppressed</div><div>[56474.239732] blk_update_request: I/O error, dev dm-2, sector 0</div><div>[56474.240602] blk_update_request: I/O error, dev dm-2, sector 3905945472</div><div>[56474.241346] blk_update_request: I/O error, dev dm-2, sector 3905945584</div><div>[56474.242236] blk_update_request: I/O error, dev dm-2, sector 2048</div><div>[56474.243072] blk_update_request: I/O error, dev dm-2, sector 3905943424</div><div>[56474.243997] blk_update_request: I/O error, dev dm-2, sector 3905943536</div><div>[56474.247347] blk_update_request: I/O error, dev dm-2, sector 0</div><div>[56474.248315] blk_update_request: I/O error, dev dm-2, sector 3905945472</div><div>[56474.249231] blk_update_request: I/O error, dev dm-2, sector 3905945584</div><div>[56474.250221] blk_update_request: I/O error, dev dm-2, sector 2048</div></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 11:59 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" rel="noreferrer" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I see in messages on ovirt3 (my 3rd machine, the one upgraded to 4.2):<div><br></div><div><div>May 29 11:54:41 ovirt3 ovs-vsctl: ovs|00001|db_ctl_base|ERR|unix<wbr>:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)</div><div>May 29 11:54:51 ovirt3 ovs-vsctl: ovs|00001|db_ctl_base|ERR|unix<wbr>:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)</div><div>May 29 11:55:01 ovirt3 ovs-vsctl: ovs|00001|db_ctl_base|ERR|unix<wbr>:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)</div></div><div>(appears a lot).</div><div><br></div><div>I also found on the ssh session of that, some sysv warnings about the backing disk for one of the gluster volumes (straight replica 3).  The glusterfs process for that disk on that machine went offline.  Its my understanding that it should continue to work with the other two machines while I attempt to replace that disk, right?  Attempted writes (touching an empty file) can take 15 seconds, repeating it later will be much faster.</div><div><br></div><div>Gluster generates a bunch of different log files, I don&#39;t know what ones you want, or from which machine(s).</div><div><br></div><div>How do I do &quot;volume profiling&quot;?</div><div><br></div><div>Thanks!</div></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 29, 2018 at 11:53 AM, Sahina Bose <span dir="ltr">&lt;<a href="mailto:sabose@redhat.com" rel="noreferrer" target="_blank">sabose@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Do you see errors reported in the mount logs for the volume? If so, could you attach the logs?<br></div>Any issues with your underlying disks. Can you also attach output of volume profiling?<br></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 30, 2018 at 12:13 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" rel="noreferrer" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Ok, things have gotten MUCH worse this morning.  I&#39;m getting random errors from VMs, right now, about a third of my VMs have been paused due to storage issues, and most of the remaining VMs are not performing well.<div><br></div><div>At this point, I am in full EMERGENCY mode, as my production services are now impacted, and I&#39;m getting calls coming in with problems...</div><div><br></div><div>I&#39;d greatly appreciate help...VMs are running VERY slowly (when they run), and they are steadily getting worse.  I don&#39;t know why.  I was seeing CPU peaks (to 100%) on several VMs, in perfect sync, for a few minutes at a time (while the VM became unresponsive and any VMs I was logged into that were linux were giving me the CPU stuck messages in my origional post).  Is all this storage related?</div><div><br></div><div>I also have two different gluster volumes for VM storage, and only one had the issues, but now VMs in both are being affected at the same time and same way.</div><span class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339HOEnZb"><font color="#888888"><div><br></div><div>--Jim</div></font></span></div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339HOEnZb"><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 28, 2018 at 10:50 PM, Sahina Bose <span dir="ltr">&lt;<a href="mailto:sabose@redhat.com" rel="noreferrer" target="_blank">sabose@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">[Adding gluster-users to look at the heal issue]<br></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339m_2506865858631215125h5">On Tue, May 29, 2018 at 9:17 AM, Jim Kusznir <span dir="ltr">&lt;<a href="mailto:jim@palousetech.com" rel="noreferrer" target="_blank">jim@palousetech.com</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339m_2506865858631215125h5"><div dir="ltr">Hello:<div><br></div><div>I&#39;ve been having some cluster and gluster performance issues lately.  I also found that my cluster was out of date, and was trying to apply updates (hoping to fix some of these), and discovered the ovirt 4.1 repos were taken completely offline.  So, I was forced to begin an upgrade to 4.2.  According to docs I found/read, I needed only add the new repo, do a yum update, reboot, and be good on my hosts (did the yum update, the engine-setup on my hosted engine).  Things seemed to work relatively well, except for a gluster sync issue that showed up.</div><div><br></div><div>My cluster is a 3 node hyperconverged cluster.  I upgraded the hosted engine first, then engine 3.  When engine 3 came back up, for some reason one of my gluster volumes would not sync.  Here&#39;s sample output:</div><div><br></div><div><div>[root@ovirt3 ~]# gluster volume heal data-hdd info</div><div>Brick 172.172.1.11:/gluster/brick3/d<wbr>ata-hdd</div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/48d7ecb8-7ac5-4<wbr>725-bca5-b3519681cf2f/0d6080b0<wbr>-7018-4fa3-bb82-1dd9ef07d9b9 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/647be733-f153-4<wbr>cdc-85bd-ba72544c2631/b453a300<wbr>-0602-4be1-8310-8bd5abe00971 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/6da854d1-b6be-4<wbr>46b-9bf0-90a0dbbea830/3c93bd1f<wbr>-b7fa-4aa2-b445-6904e31839ba </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/7f647567-d18c-4<wbr>4f1-a58e-9b8865833acb/f9364470<wbr>-9770-4bb1-a6b9-a54861849625 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/f3c8e7aa-6ef2-4<wbr>2a7-93d4-e0a4df6dd2fa/2eb0b1ad<wbr>-2606-44ef-9cd3-ae59610a504b </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/b1ea3f62-0f05-4<wbr>ded-8c82-9c91c90e0b61/d5d6bf5a<wbr>-499f-431d-9013-5453db93ed32 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/8c8b5147-e9d6-4<wbr>810-b45b-185e3ed65727/16f08231<wbr>-93b0-489d-a2fd-687b6bf88eaa </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/12924435-b9c2-4<wbr>aab-ba19-1c1bc31310ef/07b3db69<wbr>-440e-491e-854c-bbfa18a7cff2 </div><div>Status: Connected</div><div>Number of entries: 8</div><div><br></div><div>Brick 172.172.1.12:/gluster/brick3/d<wbr>ata-hdd</div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/48d7ecb8-7ac5-4<wbr>725-bca5-b3519681cf2f/0d6080b0<wbr>-7018-4fa3-bb82-1dd9ef07d9b9 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/647be733-f153-4<wbr>cdc-85bd-ba72544c2631/b453a300<wbr>-0602-4be1-8310-8bd5abe00971 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/b1ea3f62-0f05-4<wbr>ded-8c82-9c91c90e0b61/d5d6bf5a<wbr>-499f-431d-9013-5453db93ed32 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/6da854d1-b6be-4<wbr>46b-9bf0-90a0dbbea830/3c93bd1f<wbr>-b7fa-4aa2-b445-6904e31839ba </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/7f647567-d18c-4<wbr>4f1-a58e-9b8865833acb/f9364470<wbr>-9770-4bb1-a6b9-a54861849625 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/8c8b5147-e9d6-4<wbr>810-b45b-185e3ed65727/16f08231<wbr>-93b0-489d-a2fd-687b6bf88eaa </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/12924435-b9c2-4<wbr>aab-ba19-1c1bc31310ef/07b3db69<wbr>-440e-491e-854c-bbfa18a7cff2 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/f3c8e7aa-6ef2-4<wbr>2a7-93d4-e0a4df6dd2fa/2eb0b1ad<wbr>-2606-44ef-9cd3-ae59610a504b </div><div>Status: Connected</div><div>Number of entries: 8</div><div><br></div><div>Brick 172.172.1.13:/gluster/brick3/d<wbr>ata-hdd</div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/b1ea3f62-0f05-4<wbr>ded-8c82-9c91c90e0b61/d5d6bf5a<wbr>-499f-431d-9013-5453db93ed32 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/8c8b5147-e9d6-4<wbr>810-b45b-185e3ed65727/16f08231<wbr>-93b0-489d-a2fd-687b6bf88eaa </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/12924435-b9c2-4<wbr>aab-ba19-1c1bc31310ef/07b3db69<wbr>-440e-491e-854c-bbfa18a7cff2 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/f3c8e7aa-6ef2-4<wbr>2a7-93d4-e0a4df6dd2fa/2eb0b1ad<wbr>-2606-44ef-9cd3-ae59610a504b </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/647be733-f153-4<wbr>cdc-85bd-ba72544c2631/b453a300<wbr>-0602-4be1-8310-8bd5abe00971 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/48d7ecb8-7ac5-4<wbr>725-bca5-b3519681cf2f/0d6080b0<wbr>-7018-4fa3-bb82-1dd9ef07d9b9 </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/6da854d1-b6be-4<wbr>46b-9bf0-90a0dbbea830/3c93bd1f<wbr>-b7fa-4aa2-b445-6904e31839ba </div><div>/cc65f671-3377-494a-a7d4-1d9f7<wbr>c3ae46c/images/7f647567-d18c-4<wbr>4f1-a58e-9b8865833acb/f9364470<wbr>-9770-4bb1-a6b9-a54861849625 </div><div>Status: Connected</div><div>Number of entries: 8</div></div><div><br></div><div>---------</div><div>Its been in this state for a couple days now, and bandwidth monitoring shows no appreciable data moving.  I&#39;ve tried repeatedly commanding a full heal from all three clusters in the node.  Its always the same files that need healing.</div><div><br></div><div>When running gluster volume heal data-hdd statistics, I see sometimes different information, but always some number of &quot;heal failed&quot; entries.  It shows 0 for split brain.</div><div><br></div><div>I&#39;m not quite sure what to do.  I suspect it may be due to nodes 1 and 2 still being on the older ovirt/gluster release, but I&#39;m afraid to upgrade and reboot them until I have a good gluster sync (don&#39;t need to create a split brain issue).  How do I proceed with this?</div><div><br></div><div>Second issue: I&#39;ve been experiencing VERY POOR performance on most of my VMs.  To the tune that logging into a windows 10 vm via remote desktop can take 5 minutes, launching quickbooks inside said vm can easily take 10 minutes.  On some linux VMs, I get random messages like this:</div><div><div>Message from syslogd@unifi at May 28 20:39:23 ...</div><div> kernel:[6171996.308904] NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s! [mongod:14766]</div></div><div><br></div><div>(the process and PID are often different)</div><div><br></div><div>I&#39;m not quite sure what to do about this either.  My initial thought was upgrad everything to current and see if its still there, but I cannot move forward with that until my gluster is healed...</div><div><br></div><div>Thanks!</div><span class="m_1294537151365086379m_2477369586478693811m_8325978663967049795m_-6646859184097749740m_-4054420348781964262m_-5992202424066002276m_1037085839393797930m_-4909453786756208844m_-1594786904780884718m_492621309039667928m_-6088757787094439702m_1448879657997877339m_2506865858631215125m_-3484925472286407273HOEnZb"><font color="#888888"><div>--Jim</div></font></span></div>
<br></div></div>______________________________<wbr>_________________<br>
Users mailing list -- <a href="mailto:users@ovirt.org" rel="noreferrer" target="_blank">users@ovirt.org</a><br>
To unsubscribe send an email to <a href="mailto:users-leave@ovirt.org" rel="noreferrer" target="_blank">users-leave@ovirt.org</a><br>
Privacy Statement: <a href="https://www.ovirt.org/site/privacy-policy/" rel="noreferrer noreferrer" target="_blank">https://www.ovirt.org/site/pri<wbr>vacy-policy/</a><br>
oVirt Code of Conduct: <a href="https://www.ovirt.org/community/about/community-guidelines/" rel="noreferrer noreferrer" target="_blank">https://www.ovirt.org/communit<wbr>y/about/community-guidelines/</a><br>
List Archives: <a href="https://lists.ovirt.org/archives/list/users@ovirt.org/message/3LEV6ZQ3JV2XLAL7NYBTXOYMYUOTIRQF/" rel="noreferrer noreferrer" target="_blank">https://lists.ovirt.org/archiv<wbr>es/list/users@ovirt.org/messag<wbr>e/3LEV6ZQ3JV2XLAL7NYBTXOYMYUOT<wbr>IRQF/</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
______________________________<wbr>_________________<br>
Users mailing list -- <a href="mailto:users@ovirt.org" rel="noreferrer" target="_blank">users@ovirt.org</a><br>
To unsubscribe send an email to <a href="mailto:users-leave@ovirt.org" rel="noreferrer" target="_blank">users-leave@ovirt.org</a><br>
Privacy Statement: <a href="https://www.ovirt.org/site/privacy-policy/" rel="noreferrer noreferrer" target="_blank">https://www.ovirt.org/site/pri<wbr>vacy-policy/</a><br>
oVirt Code of Conduct: <a href="https://www.ovirt.org/community/about/community-guidelines/" rel="noreferrer noreferrer" target="_blank">https://www.ovirt.org/communit<wbr>y/about/community-guidelines/</a><br></div></div>
List Archives: <a href="https://lists.ovirt.org/archives/list/users@ovirt.org/message/ACO7RFSLBSRBAIONIC2HQ6Z24ZDES5MF/" rel="noreferrer noreferrer" target="_blank">https://lists.ovirt.org/archiv<wbr>es/list/users@ovirt.org/messag<wbr>e/ACO7RFSLBSRBAIONIC2HQ6Z24ZDE<wbr>S5MF/</a><br>
</blockquote></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
Users mailing list -- <a href="mailto:users@ovirt.org" target="_blank">users@ovirt.org</a><br>
To unsubscribe send an email to <a href="mailto:users-leave@ovirt.org" target="_blank">users-leave@ovirt.org</a><br>
Privacy Statement: <a href="https://www.ovirt.org/site/privacy-policy/" rel="noreferrer" target="_blank">https://www.ovirt.org/site/pri<wbr>vacy-policy/</a><br>
oVirt Code of Conduct: <a href="https://www.ovirt.org/community/about/community-guidelines/" rel="noreferrer" target="_blank">https://www.ovirt.org/communit<wbr>y/about/community-guidelines/</a><br></div></div>
List Archives: <a href="https://lists.ovirt.org/archives/list/users@ovirt.org/message/3DEQQLJM3WHQNZJ7KEMRZVFZ52MTIL74/" rel="noreferrer" target="_blank">https://lists.ovirt.org/archiv<wbr>es/list/users@ovirt.org/messag<wbr>e/3DEQQLJM3WHQNZJ7KEMRZVFZ52MT<wbr>IL74/</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
Users mailing list -- <a href="mailto:users@ovirt.org">users@ovirt.org</a><br>
To unsubscribe send an email to <a href="mailto:users-leave@ovirt.org">users-leave@ovirt.org</a><br>
Privacy Statement: <a href="https://www.ovirt.org/site/privacy-policy/" rel="noreferrer" target="_blank">https://www.ovirt.org/site/<wbr>privacy-policy/</a><br>
oVirt Code of Conduct: <a href="https://www.ovirt.org/community/about/community-guidelines/" rel="noreferrer" target="_blank">https://www.ovirt.org/<wbr>community/about/community-<wbr>guidelines/</a><br>
List Archives: <a href="https://lists.ovirt.org/archives/list/users@ovirt.org/message/27P5WCXLKQ6T3UPN7BGXJWHRJWA2E54S/" rel="noreferrer" target="_blank">https://lists.ovirt.org/<wbr>archives/list/users@ovirt.org/<wbr>message/<wbr>27P5WCXLKQ6T3UPN7BGXJWHRJWA2E5<wbr>4S/</a><br>
<br></blockquote></div><br></div></div>