<div dir="ltr"><div>I am not a DHT developer, so some of what I say could be a little wrong. But this is what I gather.<br>I think they found 2 classes of bugs in dht <br></div>1) Graceful fop failover when rebalance is in progress is missing for some fops, that lead to VM pause.<br><br><div>I see that <a href="https://review.gluster.org/17085">https://review.gluster.org/17085</a> got merged on 24th on master for this. I see patches are posted for 3.8.x for this one.<br><br></div><div>2) I think there is some work needs to be done for dht_[f]xattrop. I believe this is the next step that is underway.<br><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 27, 2017 at 12:13 PM, Gandalf Corvotempesta <span dir="ltr">&lt;<a href="mailto:gandalf.corvotempesta@gmail.com" target="_blank">gandalf.corvotempesta@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto">Updates on this critical bug ?</div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">Il 18 apr 2017 8:24 PM, &quot;Gandalf Corvotempesta&quot; &lt;<a href="mailto:gandalf.corvotempesta@gmail.com" target="_blank">gandalf.corvotempesta@gmail.<wbr>com</a>&gt; ha scritto:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Any update ?<br>
In addition, if this is a different bug but the &quot;workflow&quot; is the same<br>
as the previous one, how is possible that fixing the previous bug<br>
triggered this new one ?<br>
<br>
Is possible to have some details ?<br>
<br>
2017-04-04 16:11 GMT+02:00 Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;:<br>
&gt; Nope. This is a different bug.<br>
&gt;<br>
&gt; -Krutika<br>
&gt;<br>
&gt; On Mon, Apr 3, 2017 at 5:03 PM, Gandalf Corvotempesta<br>
&gt; &lt;<a href="mailto:gandalf.corvotempesta@gmail.com" target="_blank">gandalf.corvotempesta@gmail.c<wbr>om</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; This is a good news<br>
&gt;&gt; Is this related to the previously fixed bug?<br>
&gt;&gt;<br>
&gt;&gt; Il 3 apr 2017 10:22 AM, &quot;Krutika Dhananjay&quot; &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt; ha<br>
&gt;&gt; scritto:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; So Raghavendra has an RCA for this issue.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Copy-pasting his comment here:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; &lt;RCA&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Following is a rough algorithm of shard_writev:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 1. Based on the offset, calculate the shards touched by current write.<br>
&gt;&gt;&gt; 2. Look for inodes corresponding to these shard files in itable.<br>
&gt;&gt;&gt; 3. If one or more inodes are missing from itable, issue mknod for<br>
&gt;&gt;&gt; corresponding shard files and ignore EEXIST in cbk.<br>
&gt;&gt;&gt; 4. resume writes on respective shards.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Now, imagine a write which falls to an existing &quot;shard_file&quot;. For the<br>
&gt;&gt;&gt; sake of discussion lets consider a distribute of three subvols - s1, s2, s3<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 1. &quot;shard_file&quot; hashes to subvolume s2 and is present on s2<br>
&gt;&gt;&gt; 2. add a subvolume s4 and initiate a fix layout. The layout of &quot;.shard&quot;<br>
&gt;&gt;&gt; is fixed to include s4 and hash ranges are changed.<br>
&gt;&gt;&gt; 3. write that touches &quot;shard_file&quot; is issued.<br>
&gt;&gt;&gt; 4. The inode for &quot;shard_file&quot; is not present in itable after a graph<br>
&gt;&gt;&gt; switch and features/shard issues an mknod.<br>
&gt;&gt;&gt; 5. With new layout of .shard, lets say &quot;shard_file&quot; hashes to s3 and<br>
&gt;&gt;&gt; mknod (shard_file) on s3 succeeds. But, the shard_file is already present on<br>
&gt;&gt;&gt; s2.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; So, we have two files on two different subvols of dht representing same<br>
&gt;&gt;&gt; shard and this will lead to corruption.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; &lt;/RCA&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Raghavendra will be sending out a patch in DHT to fix this issue.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Tue, Mar 28, 2017 at 11:49 PM, Pranith Kumar Karampuri<br>
&gt;&gt;&gt; &lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; On Mon, Mar 27, 2017 at 11:29 PM, Mahdi Adnan &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt;<br>
&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Do you guys have any update regarding this issue ?<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; I do not actively work on this issue so I do not have an accurate<br>
&gt;&gt;&gt;&gt; update, but from what I heard from Krutika and Raghavendra(works on DHT) is:<br>
&gt;&gt;&gt;&gt; Krutika debugged initially and found that the issue seems more likely to be<br>
&gt;&gt;&gt;&gt; in DHT, Satheesaran who helped us recreate this issue in lab found that just<br>
&gt;&gt;&gt;&gt; fix-layout without rebalance also caused the corruption 1 out of 3 times.<br>
&gt;&gt;&gt;&gt; Raghavendra came up with a possible RCA for why this can happen.<br>
&gt;&gt;&gt;&gt; Raghavendra(CCed) would be the right person to provide accurate update.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; ______________________________<wbr>__<br>
&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt; Sent: Tuesday, March 21, 2017 3:02:55 PM<br>
&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt; Cc: Nithya Balachandran; Gowdappa, Raghavendra; Susant Palai;<br>
&gt;&gt;&gt;&gt;&gt; <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a> List<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; So it looks like Satheesaran managed to recreate this issue. We will be<br>
&gt;&gt;&gt;&gt;&gt; seeking his help in debugging this. It will be easier that way.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; On Tue, Mar 21, 2017 at 1:35 PM, Mahdi Adnan &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hello and thank you for your email.<br>
&gt;&gt;&gt;&gt;&gt;&gt; Actually no, i didn&#39;t check the gfid of the vms.<br>
&gt;&gt;&gt;&gt;&gt;&gt; If this will help, i can setup a new test cluster and get all the data<br>
&gt;&gt;&gt;&gt;&gt;&gt; you need.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Get Outlook for Android<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Nithya Balachandran<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Monday, March 20, 20:57<br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Krutika Dhananjay<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: Mahdi Adnan, Gowdappa, Raghavendra, Susant Palai,<br>
&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a> List<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Do you know the GFIDs of the VM images which were corrupted?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Nithya<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On 20 March 2017 at 20:37, Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; I looked at the logs.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From the time the new graph (since the add-brick command you shared<br>
&gt;&gt;&gt;&gt;&gt;&gt; where bricks 41 through 44 are added) is switched to (line 3011 onwards in<br>
&gt;&gt;&gt;&gt;&gt;&gt; nfs-gfapi.log), I see the following kinds of errors:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; 1. Lookups to a bunch of files failed with ENOENT on both replicas<br>
&gt;&gt;&gt;&gt;&gt;&gt; which protocol/client converts to ESTALE. I am guessing these entries got<br>
&gt;&gt;&gt;&gt;&gt;&gt; migrated to<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; other subvolumes leading to &#39;No such file or directory&#39; errors.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; DHT and thereafter shard get the same error code and log the<br>
&gt;&gt;&gt;&gt;&gt;&gt; following:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;  0 [2017-03-17 14:04:26.353444] E [MSGID: 109040]<br>
&gt;&gt;&gt;&gt;&gt;&gt; [dht-helper.c:1198:dht_migrati<wbr>on_complete_check_task] 17-vmware2-dht:<br>
&gt;&gt;&gt;&gt;&gt;&gt; &lt;gfid:a68ce411-e381-46a3-93cd-<wbr>d2af6a7c3532&gt;: failed     to lookup the file<br>
&gt;&gt;&gt;&gt;&gt;&gt; on vmware2-dht [Stale file handle]<br>
&gt;&gt;&gt;&gt;&gt;&gt;   1 [2017-03-17 14:04:26.353528] E [MSGID: 133014]<br>
&gt;&gt;&gt;&gt;&gt;&gt; [shard.c:1253:shard_common_sta<wbr>t_cbk] 17-vmware2-shard: stat failed:<br>
&gt;&gt;&gt;&gt;&gt;&gt; a68ce411-e381-46a3-93cd-d2af6a<wbr>7c3532 [Stale file handle]<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; which is fine.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; 2. The other kind are from AFR logging of possible split-brain which I<br>
&gt;&gt;&gt;&gt;&gt;&gt; suppose are harmless too.<br>
&gt;&gt;&gt;&gt;&gt;&gt; [2017-03-17 14:23:36.968883] W [MSGID: 108008]<br>
&gt;&gt;&gt;&gt;&gt;&gt; [afr-read-txn.c:228:afr_read_t<wbr>xn] 17-vmware2-replicate-13: Unreadable<br>
&gt;&gt;&gt;&gt;&gt;&gt; subvolume -1 found with event generation 2 for gfid<br>
&gt;&gt;&gt;&gt;&gt;&gt; 74d49288-8452-40d4-893e-ff4672<wbr>557ff9. (Possible split-brain)<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Since you are saying the bug is hit only on VMs that are undergoing IO<br>
&gt;&gt;&gt;&gt;&gt;&gt; while rebalance is running (as opposed to those that remained powered off),<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; rebalance + IO could be causing some issues.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; CC&#39;ing DHT devs<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Raghavendra/Nithya/Susant,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Could you take a look?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sun, Mar 19, 2017 at 4:55 PM, Mahdi Adnan &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Thank you for your email mate.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Yes, im aware of this but, to save costs i chose replica 2, this<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster is all flash.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; In version 3.7.x i had issues with ping timeout, if one hosts went<br>
&gt;&gt;&gt;&gt;&gt;&gt; down for few seconds the whole cluster hangs and become unavailable, to<br>
&gt;&gt;&gt;&gt;&gt;&gt; avoid this i adjusted the ping timeout to 5 seconds.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; As for choosing Ganesha over gfapi, VMWare does not support Gluster<br>
&gt;&gt;&gt;&gt;&gt;&gt; (FUSE or gfapi) im stuck with NFS for this volume.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; The other volume is mounted using gfapi in oVirt cluster.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Sunday, March 19, 2017 2:01:49 PM<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; While I&#39;m still going through the logs, just wanted to point out a<br>
&gt;&gt;&gt;&gt;&gt;&gt; couple of things:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; 1. It is recommended that you use 3-way replication (replica count 3)<br>
&gt;&gt;&gt;&gt;&gt;&gt; for VM store use case<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; 2. network.ping-timeout at 5 seconds is way too low. Please change it<br>
&gt;&gt;&gt;&gt;&gt;&gt; to 30.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Is there any specific reason for using NFS-Ganesha over gfapi/FUSE?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Will get back with anything else I might find or more questions if I<br>
&gt;&gt;&gt;&gt;&gt;&gt; have any.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sun, Mar 19, 2017 at 2:36 PM, Mahdi Adnan &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Thanks mate,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Kindly, check the attachment.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Sunday, March 19, 2017 10:00:22 AM<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; In that case could you share the ganesha-gfapi logs?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sun, Mar 19, 2017 at 12:13 PM, Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; I have two volumes, one is mounted using libgfapi for ovirt mount, the<br>
&gt;&gt;&gt;&gt;&gt;&gt; other one is exported via NFS-Ganesha for VMWare which is the one im testing<br>
&gt;&gt;&gt;&gt;&gt;&gt; now.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Sunday, March 19, 2017 8:02:19 AM<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sat, Mar 18, 2017 at 10:36 PM, Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Kindly, check the attached new log file, i dont know if it&#39;s helpful<br>
&gt;&gt;&gt;&gt;&gt;&gt; or not but, i couldn&#39;t find the log with the name you just described.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; No. Are you using FUSE or libgfapi for accessing the volume? Or is it<br>
&gt;&gt;&gt;&gt;&gt;&gt; NFS?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Saturday, March 18, 2017 6:10:40 PM<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; mnt-disk11-vmware2.log seems like a brick log. Could you attach the<br>
&gt;&gt;&gt;&gt;&gt;&gt; fuse mount logs? It should be right under /var/log/glusterfs/ directory<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; named after the mount point name, only hyphenated.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sat, Mar 18, 2017 at 7:27 PM, Mahdi Adnan &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hello Krutika,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Kindly, check the attached logs.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; From: Krutika Dhananjay &lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Sent: Saturday, March 18, 2017 3:29:03 PM<br>
&gt;&gt;&gt;&gt;&gt;&gt; To: Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [Gluster-users] Gluster 3.8.10 rebalance VMs corruption<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hi Mahdi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Could you attach mount, brick and rebalance logs?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; -Krutika<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On Sat, Mar 18, 2017 at 12:14 AM, Mahdi Adnan<br>
&gt;&gt;&gt;&gt;&gt;&gt; &lt;<a href="mailto:mahdi.adnan@outlook.com" target="_blank">mahdi.adnan@outlook.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; I have upgraded to Gluster 3.8.10 today and ran the add-brick<br>
&gt;&gt;&gt;&gt;&gt;&gt; procedure in a volume contains few VMs.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; After the completion of rebalance, i have rebooted the VMs, some of<br>
&gt;&gt;&gt;&gt;&gt;&gt; ran just fine, and others just crashed.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Windows boot to recovery mode and Linux throw xfs errors and does not<br>
&gt;&gt;&gt;&gt;&gt;&gt; boot.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; I ran the test again and it happened just as the first one, but i have<br>
&gt;&gt;&gt;&gt;&gt;&gt; noticed only VMs doing disk IOs are affected by this bug.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; The VMs in power off mode started fine and even md5 of the disk file<br>
&gt;&gt;&gt;&gt;&gt;&gt; did not change after the rebalance.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; anyone else can confirm this ?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Volume info:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Volume Name: vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Type: Distributed-Replicate<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Volume ID: 02328d46-a285-4533-aa3a-fb9bfe<wbr>b688bf<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Status: Started<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Snapshot Count: 0<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Number of Bricks: 22 x 2 = 44<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Transport-type: tcp<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Bricks:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick1: gluster01:/mnt/disk1/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick2: gluster03:/mnt/disk1/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick3: gluster02:/mnt/disk1/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick4: gluster04:/mnt/disk1/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick5: gluster01:/mnt/disk2/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick6: gluster03:/mnt/disk2/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick7: gluster02:/mnt/disk2/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick8: gluster04:/mnt/disk2/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick9: gluster01:/mnt/disk3/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick10: gluster03:/mnt/disk3/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick11: gluster02:/mnt/disk3/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick12: gluster04:/mnt/disk3/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick13: gluster01:/mnt/disk4/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick14: gluster03:/mnt/disk4/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick15: gluster02:/mnt/disk4/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick16: gluster04:/mnt/disk4/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick17: gluster01:/mnt/disk5/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick18: gluster03:/mnt/disk5/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick19: gluster02:/mnt/disk5/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick20: gluster04:/mnt/disk5/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick21: gluster01:/mnt/disk6/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick22: gluster03:/mnt/disk6/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick23: gluster02:/mnt/disk6/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick24: gluster04:/mnt/disk6/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick25: gluster01:/mnt/disk7/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick26: gluster03:/mnt/disk7/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick27: gluster02:/mnt/disk7/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick28: gluster04:/mnt/disk7/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick29: gluster01:/mnt/disk8/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick30: gluster03:/mnt/disk8/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick31: gluster02:/mnt/disk8/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick32: gluster04:/mnt/disk8/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick33: gluster01:/mnt/disk9/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick34: gluster03:/mnt/disk9/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick35: gluster02:/mnt/disk9/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick36: gluster04:/mnt/disk9/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick37: gluster01:/mnt/disk10/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick38: gluster03:/mnt/disk10/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick39: gluster02:/mnt/disk10/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick40: gluster04:/mnt/disk10/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick41: gluster01:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick42: gluster03:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick43: gluster02:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Brick44: gluster04:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Options Reconfigured:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.server-quorum-type: server<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; nfs.disable: on<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; performance.readdir-ahead: on<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; transport.address-family: inet<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; performance.quick-read: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; performance.read-ahead: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; performance.io-cache: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; performance.stat-prefetch: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.eager-lock: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; network.remote-dio: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; features.shard: on<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.data-self-heal-algorit<wbr>hm: full<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; features.cache-invalidation: on<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; ganesha.enable: on<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; features.shard-block-size: 256MB<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; client.event-threads: 2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; server.event-threads: 2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.favorite-child-policy: size<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; storage.build-pgfid: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; network.ping-timeout: 5<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.enable-shared-storage: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; nfs-ganesha: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; cluster.server-quorum-ratio: 51%<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Adding bricks:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; gluster volume add-brick vmware2 replica 2<br>
&gt;&gt;&gt;&gt;&gt;&gt; gluster01:/mnt/disk11/vmware2 gluster03:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt; gluster02:/mnt/disk11/vmware2 gluster04:/mnt/disk11/vmware2<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; starting fix layout:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; gluster volume rebalance vmware2 fix-layout start<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Starting rebalance:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; gluster volume rebalance vmware2  start<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Respectfully<br>
&gt;&gt;&gt;&gt;&gt;&gt; Mahdi A. Mahdi<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailm<wbr>an/listinfo/gluster-users</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailm<wbr>an/listinfo/gluster-users</a><br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt; Pranith<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt; Gluster-users mailing list<br>
&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt; <a href="http://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://lists.gluster.org/mailm<wbr>an/listinfo/gluster-users</a><br>
&gt;<br>
&gt;<br>
</blockquote></div></div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Pranith<br></div></div>
</div>