<div dir="ltr">I&#39;ll leave it to others to help debug slow heal...<div><br></div><div>As for &#39;heal info&#39; taking a long time, you can use `gluster vol heal gv1 info summmary` to just get the counts. That will probably get you the stats you are really interested in (whether heal is progressing).</div><div><br></div><div>-John</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, Oct 23, 2018 at 5:31 AM hsafe &lt;<a href="mailto:hsafe@devopt.net">hsafe@devopt.net</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello all,<br>
<br>
Can somebody please respond to this? as of now if I run &quot;gluster volume <br>
heal gv1 info&quot;<br>
<br>
there is infinite number of lines of gfid which never ends...usually and <br>
in stable scenario this ended with some numbers and status but currently <br>
it never finishes...is it a bad sign ? is it a loop? are there any <br>
actions required to do beside gluster?<br>
<br>
Appreciate any help...<br>
<br>
On 10/21/18 8:05 AM, hsafe wrote:<br>
&gt; Hello all gluster community,<br>
&gt;<br>
&gt; I am in a scenario unmatched for the past year of using glusterfs in a <br>
&gt; 2 replica set on glusterfs 3.10.12 servers where they are the storage <br>
&gt; back of my application which saves small images into them.<br>
&gt;<br>
&gt; Now the problem I face and unique for the time is that whenever we <br>
&gt; were asynced or one server went down; bringing the other one will <br>
&gt; start the self heal and eventually we could see the clustered volume <br>
&gt; in sync, but now if I run the volume heal info the list of the gfid <br>
&gt; does not even finish after couple of hours. if I look at the heal log <br>
&gt; I can see that the process is ongoing but it a very small scale and <br>
&gt; speed!<br>
&gt;<br>
&gt; My question is how can I expect it finished and how can I speed it up <br>
&gt; there?<br>
&gt;<br>
&gt; Here is a bit of info:<br>
&gt;<br>
&gt; Status of volume: gv1<br>
&gt; Gluster process                             TCP Port  RDMA Port <br>
&gt; Online  Pid<br>
&gt; ------------------------------------------------------------------------------ <br>
&gt;<br>
&gt; Brick IMG-01:/images/storage/brick1         49152     0 Y 4176<br>
&gt; Brick IMG-02:/images/storage/brick1         49152     0 Y 4095<br>
&gt; Self-heal Daemon on localhost               N/A       N/A Y 4067<br>
&gt; Self-heal Daemon on IMG-01                  N/A       N/A Y 4146<br>
&gt;<br>
&gt; Task Status of Volume gv1<br>
&gt; ------------------------------------------------------------------------------ <br>
&gt;<br>
&gt; There are no active volume tasks<br>
&gt;<br>
&gt; Status of volume: gv2<br>
&gt; Gluster process                             TCP Port  RDMA Port <br>
&gt; Online  Pid<br>
&gt; ------------------------------------------------------------------------------ <br>
&gt;<br>
&gt; Brick IMG-01:/data/brick2                   49153     0 Y 4185<br>
&gt; Brick IMG-02:/data/brick2                   49153     0 Y 4104<br>
&gt; NFS Server on localhost                     N/A       N/A N N/A<br>
&gt; Self-heal Daemon on localhost               N/A       N/A Y 4067<br>
&gt; NFS Server on IMG-01                        N/A       N/A N N/A<br>
&gt; Self-heal Daemon on IMG-01                  N/A       N/A Y 4146<br>
&gt;<br>
&gt; Task Status of Volume gv2<br>
&gt; ------------------------------------------------------------------------------ <br>
&gt;<br>
&gt; There are no active volume tasks<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; gluster&gt; peer status<br>
&gt; Number of Peers: 1<br>
&gt;<br>
&gt; Hostname: IMG-01<br>
&gt; Uuid: 5faf60fc-7f5c-4c6e-aa3f-802482391c1b<br>
&gt; State: Peer in Cluster (Connected)<br>
&gt;<br>
&gt; Hostname: IMG-01<br>
&gt; Uuid: 5faf60fc-7f5c-4c6e-aa3f-802482391c1b<br>
&gt; State: Peer in Cluster (Connected)<br>
&gt; gluster&gt; exit<br>
&gt; root@NAS02:/var/log/glusterfs# gluster volume gv1 info<br>
&gt; unrecognized word: gv1 (position 1)<br>
&gt; root@NAS02:/var/log/glusterfs# gluster volume info<br>
&gt;<br>
&gt; Volume Name: gv1<br>
&gt; Type: Replicate<br>
&gt; Volume ID: f1c955a1-7a92-4b1b-acb5-8b72b41aaace<br>
&gt; Status: Started<br>
&gt; Snapshot Count: 0<br>
&gt; Number of Bricks: 1 x 2 = 2<br>
&gt; Transport-type: tcp<br>
&gt; Bricks:<br>
&gt; Brick1: IMG-01:/images/storage/brick1<br>
&gt; Brick2: IMG-02:/images/storage/brick1<br>
&gt; Options Reconfigured:<br>
&gt; server.event-threads: 4<br>
&gt; performance.cache-invalidation: on<br>
&gt; performance.stat-prefetch: on<br>
&gt; features.cache-invalidation-timeout: 600<br>
&gt; features.cache-invalidation: on<br>
&gt; cluster.lookup-optimize: on<br>
&gt; cluster.shd-max-threads: 4<br>
&gt; cluster.readdir-optimize: on<br>
&gt; performance.md-cache-timeout: 30<br>
&gt; cluster.background-self-heal-count: 32<br>
&gt; server.statedump-path: /tmp<br>
&gt; performance.readdir-ahead: on<br>
&gt; nfs.disable: true<br>
&gt; network.inode-lru-limit: 50000<br>
&gt; features.bitrot: off<br>
&gt; features.scrub: Inactive<br>
&gt; performance.cache-max-file-size: 16MB<br>
&gt; client.event-threads: 8<br>
&gt; cluster.eager-lock: on<br>
&gt; cluster.self-heal-daemon: enable<br>
&gt;<br>
&gt;<br>
&gt; Please do help me out...Thanks<br>
&gt;<br>
&gt;<br>
&gt;<br>
-- <br>
Hamid Safe<br>
<a href="http://www.devopt.net" rel="noreferrer" target="_blank">www.devopt.net</a><br>
+989361491768<br>
<br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a></blockquote></div>