<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle20
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D">Attached are the logs from when a failure occurred with diagnostics set to trace.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D">Thank you!<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif"> Raghavendra Gowdappa &lt;rgowdapp@redhat.com&gt;
<br>
<b>Sent:</b> Saturday, January 5, 2019 8:32 PM<br>
<b>To:</b> Matt Waymack &lt;mwaymack@nsgdv.com&gt;<br>
<b>Cc:</b> gluster-users@gluster.org List &lt;gluster-users@gluster.org&gt;<br>
<b>Subject:</b> Re: [Gluster-users] Input/output error on FUSE log<o:p></o:p></span></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<p class="MsoNormal">On Sun, Jan 6, 2019 at 7:58 AM Raghavendra Gowdappa &lt;<a href="mailto:rgowdapp@redhat.com">rgowdapp@redhat.com</a>&gt; wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<p class="MsoNormal">On Sun, Jan 6, 2019 at 4:19 AM Matt Waymack &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mwaymack@nsgdv.com</a>&gt; wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div id="gmail-m_6692858748533838528gmail-m_-506362477572935915divtagdefaultwrapper">
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Hi all,<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">I'm having a problem writing to our volume.&nbsp; When writing files larger than about 2GB, I get an intermittent issue where the write will fail and return Input/Output error.&nbsp;
 This is also shown in the FUSE log of the client (this is affecting all clients).&nbsp; A snip of a client log is below:<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:44.581371] W [fuse-bridge.c:2474:fuse_writev_cbk] 0-glusterfs-fuse: 51040978: WRITE =&gt; -1 gfid=82a0b5c4-7ef3-43c2-ad86-41e16673d7c2 fd=0x7f949839a368 (Input/output
 error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:44.598392] W [fuse-bridge.c:1441:fuse_err_cbk] 0-glusterfs-fuse: 51040979: FLUSH() ERR =&gt; -1 (Input/output error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:47.420920] W [fuse-bridge.c:2474:fuse_writev_cbk] 0-glusterfs-fuse: 51041266: WRITE =&gt; -1 gfid=0e8e1e13-97a5-478a-bc58-e81ddf3698a3 fd=0x7f949809b7f8 (Input/output
 error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:47.433377] W [fuse-bridge.c:1441:fuse_err_cbk] 0-glusterfs-fuse: 51041267: FLUSH() ERR =&gt; -1 (Input/output error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:50.441531] W [fuse-bridge.c:2474:fuse_writev_cbk] 0-glusterfs-fuse: 51041548: WRITE =&gt; -1 gfid=0e8e1e13-97a5-478a-bc58-e81ddf3698a3 fd=0x7f949839a368 (Input/output
 error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">[2019-01-05 22:39:50.451914] W [fuse-bridge.c:1441:fuse_err_cbk] 0-glusterfs-fuse: 51041549: FLUSH() ERR =&gt; -1 (Input/output error)<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">The message &quot;W [MSGID: 109011] [dht-layout.c:163:dht_layout_search] 0-gv1-dht: no subvolume for hash (value) = 1311504267&quot; repeated 1721 times between [2019-01-05 22:39:33.906241]
 and [2019-01-05 22:39:44.598371]<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">The message &quot;E [MSGID: 101046] [dht-common.c:1502:dht_lookup_dir_cbk] 0-gv1-dht: dict is null&quot; repeated 1714 times between [2019-01-05 22:39:33.925981] and [2019-01-05 22:39:50.451862]<o:p></o:p></span></p>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">The message &quot;W [MSGID: 109011] [dht-layout.c:163:dht_layout_search] 0-gv1-dht: no subvolume for hash (value) = 1137142622&quot; repeated 1707 times between [2019-01-05 22:39:39.636552]
 and [2019-01-05 22:39:50.451895]<o:p></o:p></span></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">This looks to be a DHT issue. Some questions:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">* Are all subvolumes of DHT up and client is connected to them? Particularly the subvolume which contains the file in question.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">* Can you get all extended attributes of parent directory of the file from all bricks?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">* set diagnostics.client-log-level to TRACE, capture these errors again and attach the client log file.<o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">I spoke a bit early. dht_writev doesn't search hashed subvolume as its already been looked up in lookup. So, these msgs looks to be of a different issue - not&nbsp; writev failure.<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div id="gmail-m_6692858748533838528gmail-m_-506362477572935915divtagdefaultwrapper">
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">This is intermittent for most files, but eventually if a file is large enough it will not write.&nbsp; The workflow is SFTP tot he client which then writes to
 the volume over FUSE.&nbsp; When files get to a certain point,w e can no longer write to them.&nbsp; The file sizes are different as well, so it's not like they all get to the same size and just stop either.&nbsp; I've ruled out a free space issue, our files at their largest
 are only a few hundred GB and we have tens of terrabytes free on each brick.&nbsp; We are also sharding at 1GB.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">I'm not sure where to go from here as the error seems vague and I can only see it on the client log.&nbsp; I'm not seeing these errors on the nodes themselves.&nbsp;
 This is also seen if I mount the volume via FUSE on any of the nodes as well and it is only reflected in the FUSE log.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Here is the volume info:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Volume Name: gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Type: Distributed-Replicate<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Volume ID: 1472cc78-e2a0-4c3f-9571-dab840239b3c<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Status: Started<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Snapshot Count: 0<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Number of Bricks: 8 x (2 &#43; 1) = 24<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Transport-type: tcp<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Bricks:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick1: tpc-glus4:/exp/b1/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick2: tpc-glus2:/exp/b1/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick3: tpc-arbiter1:/exp/b1/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick4: tpc-glus2:/exp/b2/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick5: tpc-glus4:/exp/b2/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick6: tpc-arbiter1:/exp/b2/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick7: tpc-glus4:/exp/b3/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick8: tpc-glus2:/exp/b3/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick9: tpc-arbiter1:/exp/b3/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick10: tpc-glus4:/exp/b4/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick11: tpc-glus2:/exp/b4/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick12: tpc-arbiter1:/exp/b4/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick13: tpc-glus1:/exp/b5/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick14: tpc-glus3:/exp/b5/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick15: tpc-arbiter2:/exp/b5/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick16: tpc-glus1:/exp/b6/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick17: tpc-glus3:/exp/b6/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick18: tpc-arbiter2:/exp/b6/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick19: tpc-glus1:/exp/b7/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick20: tpc-glus3:/exp/b7/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick21: tpc-arbiter2:/exp/b7/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick22: tpc-glus1:/exp/b8/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick23: tpc-glus3:/exp/b8/gv1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Brick24: tpc-arbiter2:/exp/b8/gv1 (arbiter)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">Options Reconfigured:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">performance.cache-samba-metadata: on<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">performance.cache-invalidation: off<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">features.shard-block-size: 1000MB<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">features.shard: on<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">transport.address-family: inet<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">nfs.disable: on<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">cluster.lookup-optimize: on<o:p></o:p></span></p>
</div>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black">I'm a bit stumped on this, any help is appreciated.&nbsp; Thank you!<o:p></o:p></span></p>
</div>
<p style="background:white"><span style="font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
</div>
<p class="MsoNormal">_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></p>
</blockquote>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</body>
</html>