<div dir="ltr"><div><div><div><div><div><div><div><div><div>Hi,<br><br></div>We are using Ubuntu 14.04 server and for storage purpose we configured gluster 3.5 as distributed volume and find the below details,<br><br></div>1).4 Servers - 14.04 Ubuntu Server and each server disks free spaces are  configured as ZFS raiddz2 volume<br><br></div>2). Each server has /pool/gluster zfs volume and capacity as - 5 TB,8 TB,6 TB and 10 TB<br><br></div>3). Bricks are - rep1,rep2,rep3 and st1 and all the bricks are connected as Distributed Volume and mounted on each system as,<br> <br></div>  For E.x in rep1 -&gt; mount -t glusterfs  rep1:/glustervol  /data.<br>                  rep2  -&gt; mount  -t glusterfs  rep2:/glustervol  /data<br></div><div>                  rep3  -&gt; mount  -t glusterfs  rep3:/glustervol  /data</div><div>                  st1    -&gt;  mount  -t glusterfs  st1:/glustervol  /data</div><div><br>So we get /data is having  around 29 TB and all our applications data&#39;s are stored in /data mount point.<br><br></div><u>Details about volume:</u><br><br>volume glustervol-client-0<br>    type protocol/client<br>    option send-gids true<br>    option password b217da9d1d8b-bb55<br>    option username 9d76-4553-8c75<br>    option transport-type tcp<br>    option remote-subvolume /pool/gluster<br>    option remote-host rep1<br>    option ping-timeout 42<br>end-volume<br><br>volume glustervol-client-1<br>    type protocol/client<br>    option send-gids true<br>    option password b217da9d1d8b-bb55<br>    option username jkd76-4553-5347<br>    option transport-type tcp<br>    option remote-subvolume /pool/gluster<br>    option remote-host rep2<br>    option ping-timeout 42<br>end-volume<br><br>volume glustervol-client-2<br>    type protocol/client<br>    option send-gids true<br>    option password b217da9d1d8b-bb55<br>    option username 19d7-5a190c2<br>    option transport-type tcp<br>    option remote-subvolume /pool/gluster<br>    option remote-host rep3<br>    option ping-timeout 42<br>end-volume<br><br>volume glustervol-client-3<br>    type protocol/client<br>    option send-gids true<br>    option password b217da9d1d8b-bb55<br>    option username c75-5436b5a168347<br>    option transport-type tcp<br>    option remote-subvolume /pool/gluster<br>    option remote-host st1<br><br>    option ping-timeout 42<br>end-volume<br><br>volume glustervol-dht<br>    type cluster/distribute<br>    subvolumes glustervol-client-0 glustervol-client-1 glustervol-client-2 glustervol-client-3<br>end-volume<br><br>volume glustervol-write-behind<br>    type performance/write-behind<br>    subvolumes glustervol-dht<br>end-volume<br><br>volume glustervol-read-ahead<br>    type performance/read-ahead<br>    subvolumes glustervol-write-behind<br>end-volume<br><br>volume glustervol-io-cache<br>    type performance/io-cache<br>    subvolumes glustervol-read-ahead<br>end-volume<br><br>volume glustervol-quick-read<br>    type performance/quick-read<br>    subvolumes glustervol-io-cache<br>end-volume<br><br>volume glustervol-open-behind<br>    type performance/open-behind<br>    subvolumes glustervol-quick-read<br>end-volume<br><br>volume glustervol-md-cache<br>    type performance/md-cache<br>    subvolumes glustervol-open-behind<br>end-volume<br><br>volume glustervol<br>    type debug/io-stats<br>    option count-fop-hits off<br>    option latency-measurement off<br>    subvolumes glustervol-md-cache<br>end-volume<br><br><br>ap@rep3:~$ sudo gluster volume info<br> <br>Volume Name: glustervol<br>Type: Distribute<br>Volume ID: 165b-XXXXX<br>Status: Started<br>Number of Bricks: 4<br>Transport-type: tcp<br>Bricks:<br>Brick1: rep1:/pool/gluster<br>Brick2: rep2:/pool/gluster<br>Brick3: rep3:/pool/gluster<br>Brick4: st1:/pool/gluster<br><br></div><u>Problem:</u><br><br></div>If we shutdown any of the bricks , the volume size is reduced (this is ok) but from the other servers , i can see my mount point /data but it&#39;s only listing contents and i can&#39;t write or edit any single files/folders. <br><br></div><u>Solution Required:</u><br><div><br>If anyone brick is not available, From other servers should allow for Write and edit functions <br><br></div><div>Please let us know, what can i try further ?<br><br></div><div>Regards,<br></div><div>Varad<br></div><div><div><div><div><br></div></div></div></div></div>