<div dir="ltr">Hi,<div><br><div class="gmail_extra"><br><div class="gmail_quote">On 30 July 2018 at 00:45, Pat Haley <span dir="ltr">&lt;<a href="mailto:phaley@mit.edu" target="_blank">phaley@mit.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
  

    
  
  <div text="#000000" bgcolor="#FFFFFF">
    <br>
    Hi All,<br>
    <br>
    We are adding a new brick (91TB) to our existing gluster volume (328
    TB). The new brick is on a new physical server and we want to make
    sure that we are doing this correctly (the existing volume had 2
    bricks on a single physical server).  Both are running glusterfs
    3.7.11. The steps we&#39;ve followed are<br>
    <ul>
      <li>Setup glusterfs and created brick on new server mseas-data3</li>
      <li>Peer probe commands in order to make sure that meas-data2 and
        mseas-data3 are in a Trusted Storage Pool</li>
      <li>Added brick3 (lives on mseas-data3, is 91TB) to data-volume on
        mseas-data2 (328TB)</li>
      <li>Ran <b>gluster volume rebalance data-volume fix-layout start
        </b>cmd (fix-layout to NOT migrate data during process, we did
        not want to yet)  Still running as of this Email<br>
      </li>
    </ul>
    The first question we have is at what point should the additional 91
    TB be visible to the client servers? Currently when we run &quot;df -h&quot;
    on any client we still only see the original 328 TB. Does the
    additional space only appear to the clients after the rebalance
    using fix-layout finishes?<br>
    <br></div></blockquote><div>No, this should be available immediately. Do you see any error messages in the client log files when running df? Does running the command from a fresh mount succeed?</div><div> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div text="#000000" bgcolor="#FFFFFF">
    The follow-up question is how long should the rebalance using
    fix-layout take?<br></div></blockquote><div><br></div><div>This is dependent on the number of directories on the volume.</div><div><br></div><div>Regards,</div><div>Nithya</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div text="#000000" bgcolor="#FFFFFF">
    <br>
    Some additional information<br>
    <br>
    <tt># gluster volume info</tt><tt><br>
    </tt><tt> </tt><tt><br>
    </tt><tt>Volume Name: data-volume</tt><tt><br>
    </tt><tt>Type: Distribute</tt><tt><br>
    </tt><tt>Volume ID: c162161e-2a2d-4dac-b015-<wbr>f31fd89ceb18</tt><tt><br>
    </tt><tt>Status: Started</tt><tt><br>
    </tt><tt>Number of Bricks: 3</tt><tt><br>
    </tt><tt>Transport-type: tcp</tt><tt><br>
    </tt><tt>Bricks:</tt><tt><br>
    </tt><tt>Brick1: mseas-data2:/mnt/brick1</tt><tt><br>
    </tt><tt>Brick2: mseas-data2:/mnt/brick2</tt><tt><br>
    </tt><tt>Brick3: mseas-data3:/export/sda/brick3</tt><tt><br>
    </tt><tt>Options Reconfigured:</tt><tt><br>
    </tt><tt>diagnostics.client-log-level: ERROR</tt><tt><br>
    </tt><tt>network.inode-lru-limit: 50000</tt><tt><br>
    </tt><tt>performance.md-cache-timeout: 60</tt><tt><br>
    </tt><tt>performance.open-behind: off</tt><tt><br>
    </tt><tt>disperse.eager-lock: off</tt><tt><br>
    </tt><tt>auth.allow: *</tt><tt><br>
    </tt><tt>server.allow-insecure: on</tt><tt><br>
    </tt><tt>nfs.exports-auth-enable: on</tt><tt><br>
    </tt><tt>diagnostics.brick-sys-log-<wbr>level: WARNING</tt><tt><br>
    </tt><tt>performance.readdir-ahead: on</tt><tt><br>
    </tt><tt>nfs.disable: on</tt><tt><br>
    </tt><tt>nfs.export-volumes: off</tt><br>
    <br>
    Thanks<span class="HOEnZb"><font color="#888888"><br>
    <pre class="m_-6825893781653004034moz-signature" cols="72">-- 

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=<wbr>-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=<wbr>-=-=-
Pat Haley                          Email:  <a class="m_-6825893781653004034moz-txt-link-abbreviated" href="mailto:phaley@mit.edu" target="_blank">phaley@mit.edu</a>
Center for Ocean Engineering       Phone:  (617) 253-6824
Dept. of Mechanical Engineering    Fax:    (617) 253-8125
MIT, Room 5-213                    <a class="m_-6825893781653004034moz-txt-link-freetext" href="http://web.mit.edu/phaley/www/" target="_blank">http://web.mit.edu/phaley/www/</a>
77 Massachusetts Avenue
Cambridge, MA  02139-4301
</pre>
  </font></span></div>

<br>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">https://lists.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br></blockquote></div><br></div></div></div>