<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;}
span.EmailStyle20
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle21
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US"><div>I'm not so lucky. ALL of mine show 2 links and none have the attr data that supplies the path to the original.</div><div><br></div><div>I have the inode from stat. Looking now to dig out the path/filename from  xfs_db on the specific inodes individually.</div><div><br></div><div>Is the hash of the filename or &lt;path&gt;/filename and if so relative to where? /, &lt;path from top of brick&gt;, ?</div><div><br></div><div>On Mon, 2017-10-23 at 18:54 +0000, Matt Waymack wrote:</div><blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D">In my case I was able to delete the hard links in the .glusterfs folders of the bricks and it seems to have done the trick, thanks!<o:p></o:p></span></p>
<p class="MsoNormal"><a name="_MailEndCompose"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#1F497D"><o:p>&nbsp;</o:p></span></a></p>
<span style="mso-bookmark:_MailEndCompose"></span>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif"> Karthik Subrahmanya [mailto:ksubrahm@redhat.com]
<br>
<b>Sent:</b> Monday, October 23, 2017 1:52 AM<br>
<b>To:</b> Jim Kinney &lt;jim.kinney@gmail.com&gt;; Matt Waymack &lt;mwaymack@nsgdv.com&gt;<br>
<b>Cc:</b> gluster-users &lt;Gluster-users@gluster.org&gt;<br>
<b>Subject:</b> Re: [Gluster-users] gfid entries in volume heal info that do not heal<o:p></o:p></span></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Hi Jim &amp; Matt,<o:p></o:p></p>
</div>
<p class="MsoNormal">Can you also check for the link count in the stat output of those hardlink entries in the .glusterfs folder on the bricks.<br>
If the link count is 1 on all the bricks for those entries, then they are orphaned entries and you can delete those hardlinks.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">To be on the safer side have a backup before deleting any of the entries.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Regards,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Karthik<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal">On Fri, Oct 20, 2017 at 3:18 AM, Jim Kinney &lt;<a href="mailto:jim.kinney@gmail.com" target="_blank">jim.kinney@gmail.com</a>&gt; wrote:<o:p></o:p></p>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<div>
<div>
<p class="MsoNormal">I've been following this particular thread as I have a similar issue (RAID6 array failed out with 3 dead drives at once while a 12 TB load was being copied into one mounted space - what a mess)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">I have &gt;700K GFID entries that have no path data:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Example:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">getfattr -d -e hex -m . .glusterfs/00/00/0000a5ef-5af7-401b-84b5-ff2a51c10421<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"># file: .glusterfs/00/00/0000a5ef-5af7-401b-84b5-ff2a51c10421<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">security.selinux=0x73797374656d5f753a6f626a6563745f723a756e6c6162656c65645f743a733000<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">trusted.bit-rot.version=0x020000000000000059b1b316000270e7<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">trusted.gfid=0x0000a5ef5af7401b84b5ff2a51c10421<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">[<a href="mailto:root@bmidata1" target="_blank">root@bmidata1</a> brick]# getfattr -d -n trusted.glusterfs.pathinfo -e hex -m . .glusterfs/00/00/0000a5ef-5af7-401b-84b5-ff2a51c10421<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">.glusterfs/00/00/0000a5ef-5af7-401b-84b5-ff2a51c10421: trusted.glusterfs.pathinfo: No such attribute<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">I had to totally rebuild the dead RAID array and did a copy from the live one before activating gluster on the rebuilt system. I accidentally copied over the .glusterfs folder from the working side<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">(replica 2 only for now - adding arbiter node as soon as I can get this one cleaned up).
<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">I've run the methods from "<a href="http://docs.gluster.org/en/latest/Troubleshooting/gfid-to-path/" target="_blank">http://docs.gluster.org/en/latest/Troubleshooting/gfid-to-path/</a>" with no results using random GFIDs. A full systemic
 run using the script from method 3 crashes with "too many nested links" error (or something similar).<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">When I run gluster volume heal volname info, I get 700K+ GFIDs. Oh. gluster 3.8.4 on Centos 7.3<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">Should I just remove the contents of the .glusterfs folder on both and restart gluster and run a ls/stat on every file?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">When I run a heal, it no longer has a decreasing number of files to heal so that's an improvement over the last 2-3 weeks :-)<o:p></o:p></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">On Tue, 2017-10-17 at 14:34 +0000, Matt Waymack wrote:<o:p></o:p></p>
</div>
</div>
</div>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<div>
<div>
<pre>Attached is the heal log for the volume as well as the shd log. <o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<pre><o:p>&nbsp;</o:p></pre>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<pre><o:p>&nbsp;</o:p></pre>
<pre>Run these commands on all the bricks of the replica pair to get the attrs set on the backend.<o:p></o:p></pre>
</blockquote>
<pre><o:p>&nbsp;</o:p></pre>
</blockquote>
<pre><o:p>&nbsp;</o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-cent-glus1-081017 ~]# getfattr -d -e hex -m . /exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>getfattr: Removing leading '/' from absolute path names<o:p></o:p></pre>
<pre># file: exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>security.selinux=0x73797374656d5f753a6f626a6563745f723a756e6c6162656c65645f743a733000<o:p></o:p></pre>
<pre>trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></pre>
<pre>trusted.afr.gv0-client-2=0x000000000000000100000000<o:p></o:p></pre>
<pre>trusted.gfid=0x108694dbc0394b7cbd3dad6a15d811a2<o:p></o:p></pre>
<pre>trusted.gfid2path.9a2f5ada22eb9c45=0x38633262623330322d323466332d346463622d393630322d3839356136396461363131662f435f564f4c2d623030312d693637342d63642d63772e6d6435<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-cent-glus2-081017 ~]# getfattr -d -e hex -m . /exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>getfattr: Removing leading '/' from absolute path names<o:p></o:p></pre>
<pre># file: exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>security.selinux=0x73797374656d5f753a6f626a6563745f723a756e6c6162656c65645f743a733000<o:p></o:p></pre>
<pre>trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></pre>
<pre>trusted.afr.gv0-client-2=0x000000000000000100000000<o:p></o:p></pre>
<pre>trusted.gfid=0x108694dbc0394b7cbd3dad6a15d811a2<o:p></o:p></pre>
<pre>trusted.gfid2path.9a2f5ada22eb9c45=0x38633262623330322d323466332d346463622d393630322d3839356136396461363131662f435f564f4c2d623030312d693637342d63642d63772e6d6435<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-arbiter1-100617 ~]# getfattr -d -e hex -m . /exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>getfattr: /exp/b1/gv0/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2: No such file or directory<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-cent-glus1-081017 ~]# getfattr -d -e hex -m . /exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>getfattr: Removing leading '/' from absolute path names<o:p></o:p></pre>
<pre># file: exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>security.selinux=0x73797374656d5f753a6f626a6563745f723a756e6c6162656c65645f743a733000<o:p></o:p></pre>
<pre>trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></pre>
<pre>trusted.afr.gv0-client-11=0x000000000000000100000000<o:p></o:p></pre>
<pre>trusted.gfid=0xe0c56bf78bfe46cabde1e46b92d33df3<o:p></o:p></pre>
<pre>trusted.gfid2path.be3ba24c3ef95ff2=0x63323366353834652d353566652d343033382d393131622d3866373063656334616136662f435f564f4c2d623030332d69313331342d63642d636d2d63722e6d6435<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-cent-glus2-081017 ~]# getfattr -d -e hex -m . /exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>getfattr: Removing leading '/' from absolute path names<o:p></o:p></pre>
<pre># file: exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>security.selinux=0x73797374656d5f753a6f626a6563745f723a756e6c6162656c65645f743a733000<o:p></o:p></pre>
<pre>trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></pre>
<pre>trusted.afr.gv0-client-11=0x000000000000000100000000<o:p></o:p></pre>
<pre>trusted.gfid=0xe0c56bf78bfe46cabde1e46b92d33df3<o:p></o:p></pre>
<pre>trusted.gfid2path.be3ba24c3ef95ff2=0x63323366353834652d353566652d343033382d393131622d3866373063656334616136662f435f564f4c2d623030332d69313331342d63642d636d2d63722e6d6435<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-arbiter1-100617 ~]# getfattr -d -e hex -m . /exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>getfattr: /exp/b4/gv0/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3: No such file or directory<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<pre><o:p>&nbsp;</o:p></pre>
<blockquote type="cite" style="margin:0 0 0 .8ex; border-left:2px #729fcf solid;padding-left:1ex">
<pre><o:p>&nbsp;</o:p></pre>
<pre>And the output of "gluster volume heal &lt;volname&gt; info split-brain"<o:p></o:p></pre>
</blockquote>
<pre><o:p>&nbsp;</o:p></pre>
</blockquote>
<pre><o:p>&nbsp;</o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>[root@tpc-cent-glus1-081017 ~]# gluster volume heal gv0 info split-brain<o:p></o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b1/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b4/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries in split-brain: 0<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>-Matt<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>From: Karthik Subrahmanya [<a href="mailto:ksubrahm@redhat.com" target="_blank">mailto:ksubrahm@redhat.com</a>] <o:p></o:p></pre>
<pre>Sent: Tuesday, October 17, 2017 1:26 AM<o:p></o:p></pre>
<pre>To: Matt Waymack &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mwaymack@nsgdv.com</a>&gt;<o:p></o:p></pre>
<pre>Cc: gluster-users &lt;<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>&gt;<o:p></o:p></pre>
<pre>Subject: Re: [Gluster-users] gfid entries in volume heal info that do not heal<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Hi Matt,<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Run these commands on all the bricks of the replica pair to get the attrs set on the backend.<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>On the bricks of first replica set:<o:p></o:p></pre>
<pre>getfattr -d -e hex -m . &lt;brick path&gt;/.glusterfs/10/86/108694db-c039-4b7c-bd3d-ad6a15d811a2<o:p></o:p></pre>
<pre>On the fourth replica set:<o:p></o:p></pre>
<pre>getfattr -d -e hex -m . &lt;brick path&gt;/.glusterfs/e0/c5/e0c56bf7-8bfe-46ca-bde1-e46b92d33df3<o:p></o:p></pre>
<pre>Also run the "gluster volume heal &lt;volname&gt;" once and send the shd log.<o:p></o:p></pre>
<pre>And the output of "gluster volume heal &lt;volname&gt; info split-brain"<o:p></o:p></pre>
<pre>Regards,<o:p></o:p></pre>
<pre>Karthik<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>On Mon, Oct 16, 2017 at 9:51 PM, Matt Waymack &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mailto:mwaymack@nsgdv.com</a>&gt; wrote:<o:p></o:p></pre>
<pre>OK, so here’s my output of the volume info and the heal info. I have not yet tracked down physical location of these files, any tips to finding them would be appreciated, but I’m definitely just wanting them gone.&nbsp; I forgot to mention earlier that the cluster is running 3.12 and was upgraded from 3.10; these files were likely stuck like this when it was on 3.10.<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>[root@tpc-cent-glus1-081017 ~]# gluster volume info gv0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Volume Name: gv0<o:p></o:p></pre>
<pre>Type: Distributed-Replicate<o:p></o:p></pre>
<pre>Volume ID: 8f07894d-e3ab-4a65-bda1-9d9dd46db007<o:p></o:p></pre>
<pre>Status: Started<o:p></o:p></pre>
<pre>Snapshot Count: 0<o:p></o:p></pre>
<pre>Number of Bricks: 4 x (2 + 1) = 12<o:p></o:p></pre>
<pre>Transport-type: tcp<o:p></o:p></pre>
<pre>Bricks:<o:p></o:p></pre>
<pre>Brick1: tpc-cent-glus1-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>Brick2: tpc-cent-glus2-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>Brick3: tpc-arbiter1-100617:/exp/b1/gv0 (arbiter)<o:p></o:p></pre>
<pre>Brick4: tpc-cent-glus1-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Brick5: tpc-cent-glus2-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Brick6: tpc-arbiter1-100617:/exp/b2/gv0 (arbiter)<o:p></o:p></pre>
<pre>Brick7: tpc-cent-glus1-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Brick8: tpc-cent-glus2-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Brick9: tpc-arbiter1-100617:/exp/b3/gv0 (arbiter)<o:p></o:p></pre>
<pre>Brick10: tpc-cent-glus1-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>Brick11: tpc-cent-glus2-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>Brick12: tpc-arbiter1-100617:/exp/b4/gv0 (arbiter)<o:p></o:p></pre>
<pre>Options Reconfigured:<o:p></o:p></pre>
<pre>nfs.disable: on<o:p></o:p></pre>
<pre>transport.address-family: inet<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>[root@tpc-cent-glus1-081017 ~]# gluster volume heal gv0 info<o:p></o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>&lt;gfid:108694db-c039-4b7c-bd3d-ad6a15d811a2&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6d5ade20-8996-4de2-95d5-20ef98004742&gt;<o:p></o:p></pre>
<pre>&lt;gfid:bc6cdc3d-5c46-4597-a7eb-282b21e9bdd5&gt;<o:p></o:p></pre>
<pre>&lt;gfid:3c2ff4d1-3662-4214-8f21-f8f47dbdbf06&gt;<o:p></o:p></pre>
<pre>&lt;gfid:053e2fb1-bc89-476e-a529-90dffa39963c&gt;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>&lt;removed to save scrolling&gt;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 118<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b1/gv0<o:p></o:p></pre>
<pre>&lt;gfid:108694db-c039-4b7c-bd3d-ad6a15d811a2&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6d5ade20-8996-4de2-95d5-20ef98004742&gt;<o:p></o:p></pre>
<pre>&lt;gfid:bc6cdc3d-5c46-4597-a7eb-282b21e9bdd5&gt;<o:p></o:p></pre>
<pre>&lt;gfid:3c2ff4d1-3662-4214-8f21-f8f47dbdbf06&gt;<o:p></o:p></pre>
<pre>&lt;gfid:053e2fb1-bc89-476e-a529-90dffa39963c&gt;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>&lt;removed to save scrolling&gt;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 118<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b1/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b2/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b3/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus1-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>&lt;gfid:e0c56bf7-8bfe-46ca-bde1-e46b92d33df3&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6f0a0549-8669-46de-8823-d6677fdca8e3&gt;<o:p></o:p></pre>
<pre>&lt;gfid:d0e2fb2a-21b5-4ea8-a578-0801280b2530&gt;<o:p></o:p></pre>
<pre>&lt;gfid:48bff79c-7bc2-4dc5-8b7f-4401b27fdf5a&gt;<o:p></o:p></pre>
<pre>&lt;gfid:5902593d-a059-4ec7-b18b-7a2ab5c49a50&gt;<o:p></o:p></pre>
<pre>&lt;gfid:cb821178-4621-4fcf-90f3-5b5c2ad7f756&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6aea0805-8dd1-437c-b922-52c9d11e488a&gt;<o:p></o:p></pre>
<pre>&lt;gfid:f4076a37-2e2f-4d7a-90dd-0a3560a4bdff&gt;<o:p></o:p></pre>
<pre>&lt;gfid:51ff7386-a550-4971-957c-b42c4d915e9f&gt;<o:p></o:p></pre>
<pre>&lt;gfid:4309f7b8-3a9d-4bc8-ba2b-799f8a02611b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:b76746ec-6d7d-4ea3-a001-c96672a4d47e&gt;<o:p></o:p></pre>
<pre>&lt;gfid:f8de26e7-d17d-41e0-adcd-e7d24ed74ac8&gt;<o:p></o:p></pre>
<pre>&lt;gfid:8e2c4540-e0b4-4006-bb5d-aacd57f8f21b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:183ebefb-b827-4cbc-b42b-bfd136d5cabb&gt;<o:p></o:p></pre>
<pre>&lt;gfid:88d492fe-bfbd-4463-ba55-0582d0ad671b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:e3a6c068-d48b-44b5-9480-245a69648a9b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:4aab9c6a-22d2-469a-a688-7b0a8784f4b1&gt;<o:p></o:p></pre>
<pre>&lt;gfid:c6d182f2-7e46-4502-a0d2-b92824caa4de&gt;<o:p></o:p></pre>
<pre>&lt;gfid:eb546f93-e9d6-4a59-ac35-6139b5c40919&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6043e381-7edf-4569-bc37-e27dd13549d2&gt;<o:p></o:p></pre>
<pre>&lt;gfid:52090dc7-7a3c-40f9-9c54-3395f5158eab&gt;<o:p></o:p></pre>
<pre>&lt;gfid:ecceee46-4310-421e-b56e-5fe46bd5263c&gt;<o:p></o:p></pre>
<pre>&lt;gfid:354aea57-4b40-47fc-8ede-1d7e3b7501b4&gt;<o:p></o:p></pre>
<pre>&lt;gfid:d43284d4-86aa-42ff-98b8-f6340b407d9d&gt;<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 24<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-cent-glus2-081017:/exp/b4/gv0<o:p></o:p></pre>
<pre>&lt;gfid:e0c56bf7-8bfe-46ca-bde1-e46b92d33df3&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6f0a0549-8669-46de-8823-d6677fdca8e3&gt;<o:p></o:p></pre>
<pre>&lt;gfid:d0e2fb2a-21b5-4ea8-a578-0801280b2530&gt;<o:p></o:p></pre>
<pre>&lt;gfid:48bff79c-7bc2-4dc5-8b7f-4401b27fdf5a&gt;<o:p></o:p></pre>
<pre>&lt;gfid:5902593d-a059-4ec7-b18b-7a2ab5c49a50&gt;<o:p></o:p></pre>
<pre>&lt;gfid:cb821178-4621-4fcf-90f3-5b5c2ad7f756&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6aea0805-8dd1-437c-b922-52c9d11e488a&gt;<o:p></o:p></pre>
<pre>&lt;gfid:f4076a37-2e2f-4d7a-90dd-0a3560a4bdff&gt;<o:p></o:p></pre>
<pre>&lt;gfid:51ff7386-a550-4971-957c-b42c4d915e9f&gt;<o:p></o:p></pre>
<pre>&lt;gfid:4309f7b8-3a9d-4bc8-ba2b-799f8a02611b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:b76746ec-6d7d-4ea3-a001-c96672a4d47e&gt;<o:p></o:p></pre>
<pre>&lt;gfid:f8de26e7-d17d-41e0-adcd-e7d24ed74ac8&gt;<o:p></o:p></pre>
<pre>&lt;gfid:8e2c4540-e0b4-4006-bb5d-aacd57f8f21b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:183ebefb-b827-4cbc-b42b-bfd136d5cabb&gt;<o:p></o:p></pre>
<pre>&lt;gfid:88d492fe-bfbd-4463-ba55-0582d0ad671b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:e3a6c068-d48b-44b5-9480-245a69648a9b&gt;<o:p></o:p></pre>
<pre>&lt;gfid:4aab9c6a-22d2-469a-a688-7b0a8784f4b1&gt;<o:p></o:p></pre>
<pre>&lt;gfid:c6d182f2-7e46-4502-a0d2-b92824caa4de&gt;<o:p></o:p></pre>
<pre>&lt;gfid:eb546f93-e9d6-4a59-ac35-6139b5c40919&gt;<o:p></o:p></pre>
<pre>&lt;gfid:6043e381-7edf-4569-bc37-e27dd13549d2&gt;<o:p></o:p></pre>
<pre>&lt;gfid:52090dc7-7a3c-40f9-9c54-3395f5158eab&gt;<o:p></o:p></pre>
<pre>&lt;gfid:ecceee46-4310-421e-b56e-5fe46bd5263c&gt;<o:p></o:p></pre>
<pre>&lt;gfid:354aea57-4b40-47fc-8ede-1d7e3b7501b4&gt;<o:p></o:p></pre>
<pre>&lt;gfid:d43284d4-86aa-42ff-98b8-f6340b407d9d&gt;<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 24<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Brick tpc-arbiter1-100617:/exp/b4/gv0<o:p></o:p></pre>
<pre>Status: Connected<o:p></o:p></pre>
<pre>Number of entries: 0<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Thank you for your help!<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>From: Karthik Subrahmanya [<a href="mailto:mailto:ksubrahm@redhat.com" target="_blank">mailto:mailto:ksubrahm@redhat.com</a>] <o:p></o:p></pre>
<pre>Sent: Monday, October 16, 2017 10:27 AM<o:p></o:p></pre>
<pre>To: Matt Waymack &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mailto:mwaymack@nsgdv.com</a>&gt;<o:p></o:p></pre>
<pre>Cc: gluster-users &lt;<a href="mailto:Gluster-users@gluster.org" target="_blank">mailto:Gluster-users@gluster.org</a>&gt;<o:p></o:p></pre>
<pre>Subject: Re: [Gluster-users] gfid entries in volume heal info that do not heal<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Hi Matt,&nbsp;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>The files might be in split brain. Could you please send the outputs of these?&nbsp;<o:p></o:p></pre>
<pre>gluster volume info &lt;volname&gt;<o:p></o:p></pre>
<pre>gluster volume heal &lt;volname&gt; info<o:p></o:p></pre>
<pre>And also the getfattr output of the files which are in the heal info output from all the bricks of that replica pair.<o:p></o:p></pre>
<pre>getfattr -d -e hex -m . &lt;file path on brick&gt;<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Thanks &amp;&nbsp; Regards<o:p></o:p></pre>
<pre>Karthik<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>On 16-Oct-2017 8:16 PM, "Matt Waymack" &lt;<a href="mailto:mwaymack@nsgdv.com" target="_blank">mailto:mwaymack@nsgdv.com</a>&gt; wrote:<o:p></o:p></pre>
<pre>Hi all,<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>I have a volume where the output of volume heal info shows several gfid entries to be healed, but they’ve been there for weeks and have not healed.&nbsp; Any normal file that shows up on the heal info does get healed as expected, but these gfid entries do not.&nbsp; Is there any way to remove these orphaned entries from the volume so they are no longer stuck in the heal process?<o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre>Thank you!<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Gluster-users mailing list<o:p></o:p></pre>
<pre><a href="mailto:Gluster-users@gluster.org" target="_blank">mailto:Gluster-users@gluster.org</a><o:p></o:p></pre>
<pre><a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></pre>
<pre>&nbsp;<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
</div>
</div>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Gluster-users mailing list<o:p></o:p></pre>
<pre><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><o:p></o:p></pre>
<pre><a href="http://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></pre>
</blockquote>
</div>
</blockquote>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</div>


</blockquote></body></html>