<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Hi All<div class=""><br class=""></div><div class="">We were able to get all 4 bricks are distributed , we can see the right amount of space. but we have been rebalancing since 4 days ago for 16Tb. and still only 8tb. is there a way to speed up. there is also data we can remove from it to speed it up, but what is the best procedures removing data , is it from the Gluster main export point or going on each brick and remove it . We would like to stop rebalancing , delete the data and rebalancing again.&nbsp;</div><div class=""><br class=""></div><div class="">is there a down side, doing this, What happens with Gluster missing data when rebalancing?</div><div class=""><br class=""></div><div class="">Thanks</div><div class=""><br class=""></div><div class="">Jose</div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><div class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">---------------------------------</div><div class="">Jose Sanchez</div><div class="">Systems/Network Analyst 1</div><div class="">Center of Advanced Research Computing</div><div class="">1601 Central Ave.</div><div class="">MSC 01 1190</div><div class="">Albuquerque, NM 87131-0001</div><div class=""><a href="http://carc.unm.edu" class="">carc.unm.edu</a></div><div class="">575.636.4232</div></div>
</div>
<br class=""><div><blockquote type="cite" class=""><div class="">On Apr 27, 2018, at 4:16 AM, Hari Gowtham &lt;<a href="mailto:hgowtham@redhat.com" class="">hgowtham@redhat.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><div class=""><div class="">Hi Jose,<br class=""><br class="">Why are all the bricks visible in volume info if the pre-validation<br class="">for add-brick failed? I suspect that the remove brick wasn't done<br class="">properly.<br class=""><br class="">You can provide the cmd_history.log to verify this. Better to get the<br class="">other log messages.<br class=""><br class="">Also I need to know what are the bricks that were actually removed,<br class="">the command used and its output.<br class=""><br class="">On Thu, Apr 26, 2018 at 3:47 AM, Jose Sanchez &lt;<a href="mailto:josesanc@carc.unm.edu" class="">josesanc@carc.unm.edu</a>&gt; wrote:<br class=""><blockquote type="cite" class="">Looking at the logs , it seems that it is trying to add using the same port<br class="">was assigned for gluster01ib:<br class=""><br class=""><br class="">Any Ideas??<br class=""><br class="">Jose<br class=""><br class=""><br class=""><br class="">[2018-04-25 22:08:55.169302] I [MSGID: 106482]<br class="">[glusterd-brick-ops.c:447:__glusterd_handle_add_brick] 0-management:<br class="">Received add brick req<br class="">[2018-04-25 22:08:55.186037] I [run.c:191:runner_log]<br class="">(--&gt;/usr/lib64/glusterfs/3.8.15/xlator/mgmt/glusterd.so(+0x33045)<br class="">[0x7f5464b9b045]<br class="">--&gt;/usr/lib64/glusterfs/3.8.15/xlator/mgmt/glusterd.so(+0xcbd85)<br class="">[0x7f5464c33d85] --&gt;/lib64/libglusterfs.so.0(runner_log+0x115)<br class="">[0x7f54704cf1e5] ) 0-management: Ran script:<br class="">/var/lib/glusterd/hooks/1/add-brick/pre/S28Quota-enable-root-xattr-heal.sh<br class="">--volname=scratch --version=1 --volume-op=add-brick<br class="">--gd-workdir=/var/lib/glusterd<br class="">[2018-04-25 22:08:55.309534] I [MSGID: 106143]<br class="">[glusterd-pmap.c:250:pmap_registry_bind] 0-pmap: adding brick<br class="">/gdata/brick1/scratch on port 49152<br class="">[2018-04-25 22:08:55.309659] I [MSGID: 106143]<br class="">[glusterd-pmap.c:250:pmap_registry_bind] 0-pmap: adding brick<br class="">/gdata/brick1/scratch.rdma on port 49153<br class="">[2018-04-25 22:08:55.310231] E [MSGID: 106005]<br class="">[glusterd-utils.c:4877:glusterd_brick_start] 0-management: Unable to start<br class="">brick gluster02ib:/gdata/brick1/scratch<br class="">[2018-04-25 22:08:55.310275] E [MSGID: 106074]<br class="">[glusterd-brick-ops.c:2493:glusterd_op_add_brick] 0-glusterd: Unable to add<br class="">bricks<br class="">[2018-04-25 22:08:55.310304] E [MSGID: 106123]<br class="">[glusterd-mgmt.c:294:gd_mgmt_v3_commit_fn] 0-management: Add-brick commit<br class="">failed.<br class="">[2018-04-25 22:08:55.310316] E [MSGID: 106123]<br class="">[glusterd-mgmt.c:1427:glusterd_mgmt_v3_commit] 0-management: Commit failed<br class="">for operation Add brick on local node<br class="">[2018-04-25 22:08:55.310330] E [MSGID: 106123]<br class="">[glusterd-mgmt.c:2018:glusterd_mgmt_v3_initiate_all_phases] 0-management:<br class="">Commit Op Failed<br class="">[2018-04-25 22:09:11.678141] E [MSGID: 106452]<br class="">[glusterd-utils.c:6064:glusterd_new_brick_validate] 0-management: Brick:<br class="">gluster02ib:/gdata/brick1/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class="">[2018-04-25 22:09:11.678184] W [MSGID: 106122]<br class="">[glusterd-mgmt.c:188:gd_mgmt_v3_pre_validate_fn] 0-management: ADD-brick<br class="">prevalidation failed.<br class="">[2018-04-25 22:09:11.678200] E [MSGID: 106122]<br class="">[glusterd-mgmt-handler.c:337:glusterd_handle_pre_validate_fn] 0-management:<br class="">Pre Validation failed on operation Add brick<br class="">[root@gluster02 glusterfs]# gluster volume status scratch<br class="">Status of volume: scratch<br class="">Gluster process &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid<br class="">------------------------------------------------------------------------------<br class="">Brick gluster01ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;49152 &nbsp;&nbsp;&nbsp;&nbsp;49153 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1819<br class="">Brick gluster01ib:/gdata/brick2/scratch &nbsp;&nbsp;&nbsp;&nbsp;49154 &nbsp;&nbsp;&nbsp;&nbsp;49155 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1827<br class="">Brick gluster02ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A<br class=""><br class=""><br class=""><br class="">Task Status of Volume scratch<br class="">------------------------------------------------------------------------------<br class="">There are no active volume tasks<br class=""><br class=""><br class=""><br class="">[root@gluster02 glusterfs]#<br class=""><br class=""><br class=""><br class="">On Apr 25, 2018, at 3:23 PM, Jose Sanchez &lt;<a href="mailto:josesanc@carc.unm.edu" class="">josesanc@carc.unm.edu</a>&gt; wrote:<br class=""><br class="">Hello Karthik<br class=""><br class=""><br class="">Im having trouble adding the two bricks back online. &nbsp;Any help is<br class="">appreciated<br class=""><br class="">thanks<br class=""><br class=""><br class="">when i try to add-brick command this is what i get<br class=""><br class="">[root@gluster01 ~]# gluster volume add-brick scratch<br class="">gluster02ib:/gdata/brick2/scratch/<br class="">volume add-brick: failed: Pre Validation failed on gluster02ib. Brick:<br class="">gluster02ib:/gdata/brick2/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class=""><br class="">I have run the following commands and remove the .glusterfs hidden<br class="">directories<br class=""><br class="">[root@gluster02 ~]# setfattr -x trusted.glusterfs.volume-id<br class="">/gdata/brick2/scratch/<br class="">setfattr: /gdata/brick2/scratch/: No such attribute<br class="">[root@gluster02 ~]# setfattr -x trusted.gfid /gdata/brick2/scratch/<br class="">setfattr: /gdata/brick2/scratch/: No such attribute<br class="">[root@gluster02 ~]#<br class=""><br class=""><br class="">this is what I get when I run status and info<br class=""><br class=""><br class="">[root@gluster01 ~]# gluster volume info scratch<br class=""><br class="">Volume Name: scratch<br class="">Type: Distribute<br class="">Volume ID: 23f1e4b1-b8e0-46c3-874a-58b4728ea106<br class="">Status: Started<br class="">Snapshot Count: 0<br class="">Number of Bricks: 4<br class="">Transport-type: tcp,rdma<br class="">Bricks:<br class="">Brick1: gluster01ib:/gdata/brick1/scratch<br class="">Brick2: gluster01ib:/gdata/brick2/scratch<br class="">Brick3: gluster02ib:/gdata/brick1/scratch<br class="">Brick4: gluster02ib:/gdata/brick2/scratch<br class="">Options Reconfigured:<br class="">nfs.disable: on<br class="">performance.readdir-ahead: on<br class="">[root@gluster01 ~]#<br class=""><br class=""><br class="">[root@gluster02 ~]# gluster volume status scratch<br class="">Status of volume: scratch<br class="">Gluster process &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid<br class="">------------------------------------------------------------------------------<br class="">Brick gluster01ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;49156 &nbsp;&nbsp;&nbsp;&nbsp;49157 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1819<br class="">Brick gluster01ib:/gdata/brick2/scratch &nbsp;&nbsp;&nbsp;&nbsp;49158 &nbsp;&nbsp;&nbsp;&nbsp;49159 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1827<br class="">Brick gluster02ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A<br class="">Brick gluster02ib:/gdata/brick2/scratch &nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A<br class=""><br class="">Task Status of Volume scratch<br class="">------------------------------------------------------------------------------<br class="">There are no active volume tasks<br class=""><br class="">[root@gluster02 ~]#<br class=""><br class=""><br class="">This are the logs files from Gluster ETC<br class=""><br class="">[2018-04-25 20:56:54.390662] I [MSGID: 106143]<br class="">[glusterd-pmap.c:250:pmap_registry_bind] 0-pmap: adding brick<br class="">/gdata/brick1/scratch on port 49152<br class="">[2018-04-25 20:56:54.390798] I [MSGID: 106143]<br class="">[glusterd-pmap.c:250:pmap_registry_bind] 0-pmap: adding brick<br class="">/gdata/brick1/scratch.rdma on port 49153<br class="">[2018-04-25 20:56:54.391401] E [MSGID: 106005]<br class="">[glusterd-utils.c:4877:glusterd_brick_start] 0-management: Unable to start<br class="">brick gluster02ib:/gdata/brick1/scratch<br class="">[2018-04-25 20:56:54.391457] E [MSGID: 106074]<br class="">[glusterd-brick-ops.c:2493:glusterd_op_add_brick] 0-glusterd: Unable to add<br class="">bricks<br class="">[2018-04-25 20:56:54.391476] E [MSGID: 106123]<br class="">[glusterd-mgmt.c:294:gd_mgmt_v3_commit_fn] 0-management: Add-brick commit<br class="">failed.<br class="">[2018-04-25 20:56:54.391490] E [MSGID: 106123]<br class="">[glusterd-mgmt-handler.c:603:glusterd_handle_commit_fn] 0-management: commit<br class="">failed on operation Add brick<br class="">[2018-04-25 20:58:55.332262] I [MSGID: 106499]<br class="">[glusterd-handler.c:4349:__glusterd_handle_status_volume] 0-management:<br class="">Received status volume req for volume scratch<br class="">[2018-04-25 21:02:07.464357] E [MSGID: 106452]<br class="">[glusterd-utils.c:6064:glusterd_new_brick_validate] 0-management: Brick:<br class="">gluster02ib:/gdata/brick1/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class="">[2018-04-25 21:02:07.464395] W [MSGID: 106122]<br class="">[glusterd-mgmt.c:188:gd_mgmt_v3_pre_validate_fn] 0-management: ADD-brick<br class="">prevalidation failed.<br class="">[2018-04-25 21:02:07.464414] E [MSGID: 106122]<br class="">[glusterd-mgmt-handler.c:337:glusterd_handle_pre_validate_fn] 0-management:<br class="">Pre Validation failed on operation Add brick<br class="">[2018-04-25 21:04:56.198662] E [MSGID: 106452]<br class="">[glusterd-utils.c:6064:glusterd_new_brick_validate] 0-management: Brick:<br class="">gluster02ib:/gdata/brick2/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class="">[2018-04-25 21:04:56.198700] W [MSGID: 106122]<br class="">[glusterd-mgmt.c:188:gd_mgmt_v3_pre_validate_fn] 0-management: ADD-brick<br class="">prevalidation failed.<br class="">[2018-04-25 21:04:56.198716] E [MSGID: 106122]<br class="">[glusterd-mgmt-handler.c:337:glusterd_handle_pre_validate_fn] 0-management:<br class="">Pre Validation failed on operation Add brick<br class="">[2018-04-25 21:07:11.084205] I [MSGID: 106482]<br class="">[glusterd-brick-ops.c:447:__glusterd_handle_add_brick] 0-management:<br class="">Received add brick req<br class="">[2018-04-25 21:07:11.087682] E [MSGID: 106452]<br class="">[glusterd-utils.c:6064:glusterd_new_brick_validate] 0-management: Brick:<br class="">gluster02ib:/gdata/brick2/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class="">[2018-04-25 21:07:11.087716] W [MSGID: 106122]<br class="">[glusterd-mgmt.c:188:gd_mgmt_v3_pre_validate_fn] 0-management: ADD-brick<br class="">prevalidation failed.<br class="">[2018-04-25 21:07:11.087729] E [MSGID: 106122]<br class="">[glusterd-mgmt.c:884:glusterd_mgmt_v3_pre_validate] 0-management: Pre<br class="">Validation failed for operation Add brick on local node<br class="">[2018-04-25 21:07:11.087741] E [MSGID: 106122]<br class="">[glusterd-mgmt.c:2009:glusterd_mgmt_v3_initiate_all_phases] 0-management:<br class="">Pre Validation Failed<br class="">[2018-04-25 21:12:22.340221] E [MSGID: 106452]<br class="">[glusterd-utils.c:6064:glusterd_new_brick_validate] 0-management: Brick:<br class="">gluster02ib:/gdata/brick2/scratch not available. Brick may be containing or<br class="">be contained by an existing brick<br class="">[2018-04-25 21:12:22.340259] W [MSGID: 106122]<br class="">[glusterd-mgmt.c:188:gd_mgmt_v3_pre_validate_fn] 0-management: ADD-brick<br class="">prevalidation failed.<br class="">[2018-04-25 21:12:22.340274] E [MSGID: 106122]<br class="">[glusterd-mgmt-handler.c:337:glusterd_handle_pre_validate_fn] 0-management:<br class="">Pre Validation failed on operation Add brick<br class="">[2018-04-25 21:18:13.427036] I [MSGID: 106499]<br class="">[glusterd-handler.c:4349:__glusterd_handle_status_volume] 0-management:<br class="">Received status volume req for volume scratch<br class="">[root@gluster02 glusterfs]#<br class=""><br class=""><br class="">---------------------------------<br class="">Jose Sanchez<br class="">Systems/Network Analyst 1<br class="">Center of Advanced Research Computing<br class="">1601 Central Ave.<br class="">MSC 01 1190<br class="">Albuquerque, NM 87131-0001<br class=""><a href="http://carc.unm.edu" class="">carc.unm.edu</a><br class="">575.636.4232<br class=""><br class="">On Apr 12, 2018, at 12:11 AM, Karthik Subrahmanya &lt;ksubrahm@redhat.com&gt;<br class="">wrote:<br class=""><br class=""><br class=""><br class="">On Wed, Apr 11, 2018 at 7:38 PM, Jose Sanchez &lt;josesanc@carc.unm.edu&gt; wrote:<br class=""><blockquote type="cite" class=""><br class="">Hi Karthik<br class=""><br class="">Looking at the information you have provided me, I would like to make sure<br class="">that I’m running the right commands.<br class=""><br class="">1. &nbsp;&nbsp;gluster volume heal scratch info<br class=""></blockquote><br class="">If the count is non zero, trigger the heal and wait for heal info count to<br class="">become zero.<br class=""><blockquote type="cite" class=""><br class="">2. gluster volume remove-brick scratch replica 1<br class="">gluster02ib:/gdata/brick1/scratch gluster02ib:/gdata/brick2/scratch force<br class=""><br class="">3. &nbsp;gluster volume add-brick “#" scratch gluster02ib:/gdata/brick1/scratch<br class="">gluster02ib:/gdata/brick2/scratch<br class=""><br class=""><br class="">Based on the configuration I have, Brick 1 from Node A and B are tide<br class="">together and Brick 2 from Node A and B are also tide together. Looking at<br class="">your remove command (step #2), it seems that you want me to remove Brick 1<br class="">and 2 from Node B (gluster02ib). is that correct? I thought the data was<br class="">distributed in bricks 1 between nodes A and B) and duplicated on Bricks 2<br class="">(node A and B).<br class=""></blockquote><br class="">Data is duplicated between bricks 1 of nodes A &amp; B and bricks 2 of nodes A &amp;<br class="">B and data is distributed between these two pairs.<br class="">You need not always remove the bricks 1 &amp; 2 from node B itself. The idea<br class="">here is to keep one copy from both the replica pairs.<br class=""><blockquote type="cite" class=""><br class=""><br class="">Also when I add the bricks back to gluster, do I need to specify if it is<br class="">distributed or replicated?? and Do i need a configuration #?? for example on<br class="">your command (Step #2) you have “replica 1” when remove bricks, do I need to<br class="">do the same when adding the nodes back ?<br class=""></blockquote><br class="">No. You just need to erase the data on those bricks and add those bricks<br class="">back to the volume. The previous remove-brick command will make the volume<br class="">plain distribute. Then simply adding the bricks without specifying any "#"<br class="">will expand the volume as a plain distribute volue.<br class=""><blockquote type="cite" class=""><br class=""><br class="">Im planning on moving with this changes in few days. At this point each<br class="">brick has 14tb and adding bricks 1 from node A and B, i have a total of<br class="">28tb, After doing all the process, (removing and adding bricks) I should be<br class="">able to see a total of 56Tb right ?<br class=""></blockquote><br class="">Yes after all these you will have 56TB in total.<br class="">After adding the bricks, do volume rebalance, so that the data which were<br class="">present previously, will be moved to the correct bricks.<br class=""><br class="">HTH,<br class="">Karthik<br class=""><blockquote type="cite" class=""><br class=""><br class="">Thanks<br class=""><br class="">Jose<br class=""><br class=""><br class=""><br class=""><br class="">---------------------------------<br class="">Jose Sanchez<br class="">Systems/Network Analyst 1<br class="">Center of Advanced Research Computing<br class="">1601 Central Ave.<br class="">MSC 01 1190<br class="">Albuquerque, NM 87131-0001<br class="">carc.unm.edu<br class="">575.636.4232<br class=""><br class="">On Apr 7, 2018, at 8:29 AM, Karthik Subrahmanya &lt;ksubrahm@redhat.com&gt;<br class="">wrote:<br class=""><br class="">Hi Jose,<br class=""><br class="">Thanks for providing the volume info. You have 2 subvolumes. Data is<br class="">replicated within the bricks of that subvolumes.<br class="">First one consisting of Node A's brick1 &amp; Node B's brick1 and the second<br class="">one consisting of Node A's brick2 and Node B's brick2.<br class="">You don't have the same data on all the 4 bricks. Data are distributed<br class="">between these two subvolumes.<br class="">To remove the replica you can use the command<br class="">gluster volume remove-brick scratch replica 1<br class="">gluster02ib:/gdata/brick1/scratch gluster02ib:/gdata/brick2/scratch force<br class="">So you will have one copy of data present from both the distributes.<br class="">Before doing this make sure "gluster volume heal scratch info" value is<br class="">zero. So copies you retain will have the correct data.<br class="">After the remove-brick erase the data from the backend.<br class="">Then you can expand the volume by following the steps at [1].<br class=""><br class="">[1]<br class="">https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#expanding-volumes<br class=""><br class="">Regards,<br class="">Karthik<br class=""><br class="">On Fri, Apr 6, 2018 at 11:39 PM, Jose Sanchez &lt;josesanc@carc.unm.edu&gt;<br class="">wrote:<br class=""><blockquote type="cite" class=""><br class="">Hi Karthik<br class=""><br class="">this is our configuration, &nbsp;is 2x2 =4 , they are all replicated , each<br class="">brick has 14tb. we have 2 nodes A and B, each one with brick 1 and 2.<br class=""><br class="">Node A &nbsp;(replicated A1 (14tb) and B1 (14tb) ) same with node B<br class="">(Replicated A2 (14tb) and B2 (14tb)).<br class=""><br class="">Do you think we need to degrade the node first before removing it. i<br class="">believe the same copy of data is on all 4 bricks, we would like to keep one<br class="">of them, and add the other bricks as extra space<br class=""><br class="">Thanks for your help on this<br class=""><br class="">Jose<br class=""><br class=""><br class=""><br class=""><br class=""><br class="">[root@gluster01 ~]# gluster volume info scratch<br class=""><br class="">Volume Name: scratch<br class="">Type: Distributed-Replicate<br class="">Volume ID: 23f1e4b1-b8e0-46c3-874a-58b4728ea106<br class="">Status: Started<br class="">Snapshot Count: 0<br class="">Number of Bricks: 2 x 2 = 4<br class="">Transport-type: tcp,rdma<br class="">Bricks:<br class="">Brick1: gluster01ib:/gdata/brick1/scratch<br class="">Brick2: gluster02ib:/gdata/brick1/scratch<br class="">Brick3: gluster01ib:/gdata/brick2/scratch<br class="">Brick4: gluster02ib:/gdata/brick2/scratch<br class="">Options Reconfigured:<br class="">performance.readdir-ahead: on<br class="">nfs.disable: on<br class=""><br class="">[root@gluster01 ~]# gluster volume status all<br class="">Status of volume: scratch<br class="">Gluster process &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;TCP Port &nbsp;RDMA Port &nbsp;Online<br class="">Pid<br class=""><br class="">------------------------------------------------------------------------------<br class="">Brick gluster01ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;49152 &nbsp;&nbsp;&nbsp;&nbsp;49153 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1743<br class="">Brick gluster02ib:/gdata/brick1/scratch &nbsp;&nbsp;&nbsp;&nbsp;49156 &nbsp;&nbsp;&nbsp;&nbsp;49157 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1732<br class="">Brick gluster01ib:/gdata/brick2/scratch &nbsp;&nbsp;&nbsp;&nbsp;49154 &nbsp;&nbsp;&nbsp;&nbsp;49155 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1738<br class="">Brick gluster02ib:/gdata/brick2/scratch &nbsp;&nbsp;&nbsp;&nbsp;49158 &nbsp;&nbsp;&nbsp;&nbsp;49159 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1733<br class="">Self-heal Daemon on localhost &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1728<br class="">Self-heal Daemon on gluster02ib &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;N/A &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Y<br class="">1726<br class=""><br class="">Task Status of Volume scratch<br class=""><br class="">------------------------------------------------------------------------------<br class="">There are no active volume tasks<br class=""><br class="">---------------------------------<br class="">Jose Sanchez<br class="">Systems/Network Analyst 1<br class="">Center of Advanced Research Computing<br class="">1601 Central Ave.<br class="">MSC 01 1190<br class="">Albuquerque, NM 87131-0001<br class="">carc.unm.edu<br class="">575.636.4232<br class=""><br class="">On Apr 6, 2018, at 3:49 AM, Karthik Subrahmanya &lt;ksubrahm@redhat.com&gt;<br class="">wrote:<br class=""><br class="">Hi Jose,<br class=""><br class="">By switching into pure distribute volume you will lose availability if<br class="">something goes bad.<br class=""><br class="">I am guessing you have a nX2 volume.<br class="">If you want to preserve one copy of the data in all the distributes, you<br class="">can do that by decreasing the replica count in the remove-brick operation.<br class="">If you have any inconsistency, heal them first using the "gluster volume<br class="">heal &lt;volname&gt;" command and wait till the<br class="">"gluster volume heal &lt;volname&gt; info" output becomes zero, before removing<br class="">the bricks, so that you will have the correct data.<br class="">If you do not want to preserve the data then you can directly remove the<br class="">bricks.<br class="">Even after removing the bricks the data will be present in the backend of<br class="">the removed bricks. You have to manually erase them (both data and<br class="">.glusterfs folder).<br class="">See [1] for more details on remove-brick.<br class=""><br class="">[1].<br class="">https://docs.gluster.org/en/latest/Administrator%20Guide/Managing%20Volumes/#shrinking-volumes<br class=""><br class="">HTH,<br class="">Karthik<br class=""><br class=""><br class="">On Thu, Apr 5, 2018 at 8:17 PM, Jose Sanchez &lt;josesanc@carc.unm.edu&gt;<br class="">wrote:<br class=""><blockquote type="cite" class=""><br class=""><br class="">We have a Gluster setup with 2 nodes (distributed replication) and we<br class="">would like to switch it to the distributed mode. I know the data is<br class="">duplicated between those nodes, what is the proper way of switching it to a<br class="">distributed, we would like to double or gain the storage space on our<br class="">gluster storage node. what happens with the data, do i need to erase one of<br class="">the nodes?<br class=""><br class="">Jose<br class=""><br class=""><br class="">---------------------------------<br class="">Jose Sanchez<br class="">Systems/Network Analyst<br class="">Center of Advanced Research Computing<br class="">1601 Central Ave.<br class="">MSC 01 1190<br class="">Albuquerque, NM 87131-0001<br class="">carc.unm.edu<br class="">575.636.4232<br class=""><br class=""><br class="">_______________________________________________<br class="">Gluster-users mailing list<br class="">Gluster-users@gluster.org<br class="">http://lists.gluster.org/mailman/listinfo/gluster-users<br class=""></blockquote><br class=""><br class=""><br class=""></blockquote><br class=""><br class=""></blockquote><br class=""><br class=""><br class=""><br class="">_______________________________________________<br class="">Gluster-users mailing list<br class="">Gluster-users@gluster.org<br class="">http://lists.gluster.org/mailman/listinfo/gluster-users<br class=""></blockquote><br class=""><br class=""><br class="">-- <br class="">Regards,<br class="">Hari Gowtham.<br class=""></div></div></blockquote></div><br class=""></div></body></html>