<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">I have volumes set up like this: <o:p></o:p></p>
<p class="MsoNormal">gluster> volume info<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Volume Name: machines0<o:p></o:p></p>
<p class="MsoNormal">Type: Distribute<o:p></o:p></p>
<p class="MsoNormal">Volume ID: f602dd45-ddab-4474-8308-d278768f1e00<o:p></o:p></p>
<p class="MsoNormal">Status: Started<o:p></o:p></p>
<p class="MsoNormal">Number of Bricks: 1<o:p></o:p></p>
<p class="MsoNormal">Transport-type: tcp<o:p></o:p></p>
<p class="MsoNormal">Bricks:<o:p></o:p></p>
<p class="MsoNormal">Brick1: gluster4:/data/brick1/machines0<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Volume Name: group1<o:p></o:p></p>
<p class="MsoNormal">Type: Distribute<o:p></o:p></p>
<p class="MsoNormal">Volume ID: cb64c8de-1f76-46c8-8136-8917b1618939<o:p></o:p></p>
<p class="MsoNormal">Status: Started<o:p></o:p></p>
<p class="MsoNormal">Number of Bricks: 1<o:p></o:p></p>
<p class="MsoNormal">Transport-type: tcp<o:p></o:p></p>
<p class="MsoNormal">Bricks:<o:p></o:p></p>
<p class="MsoNormal">Brick1: gluster1:/data/brick1/group1<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Volume Name: backups<o:p></o:p></p>
<p class="MsoNormal">Type: Replicate<o:p></o:p></p>
<p class="MsoNormal">Volume ID: d7cb93c4-4626-46fd-b638-65fd244775ae<o:p></o:p></p>
<p class="MsoNormal">Status: Started<o:p></o:p></p>
<p class="MsoNormal">Number of Bricks: 1 x 2 = 2<o:p></o:p></p>
<p class="MsoNormal">Transport-type: tcp<o:p></o:p></p>
<p class="MsoNormal">Bricks:<o:p></o:p></p>
<p class="MsoNormal">Brick1: gluster3:/data/brick1/backups<o:p></o:p></p>
<p class="MsoNormal">Brick2: gluster4:/data/brick1/backups<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Volume Name: group0<o:p></o:p></p>
<p class="MsoNormal">Type: Distribute<o:p></o:p></p>
<p class="MsoNormal">Volume ID: 0c52b522-5b04-480c-a058-d863df9ee949<o:p></o:p></p>
<p class="MsoNormal">Status: Started<o:p></o:p></p>
<p class="MsoNormal">Number of Bricks: 1<o:p></o:p></p>
<p class="MsoNormal">Transport-type: tcp<o:p></o:p></p>
<p class="MsoNormal">Bricks:<o:p></o:p></p>
<p class="MsoNormal">Brick1: gluster0:/data/brick1/group0<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">My problem is that when I do a disk free, group1 is filled up:
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">root@node0:~# df -h<o:p></o:p></p>
<p class="MsoNormal">Filesystem Size Used Avail Use% Mounted on<o:p></o:p></p>
<p class="MsoNormal">udev 10M 0 10M 0% /dev<o:p></o:p></p>
<p class="MsoNormal">tmpfs 3.2G 492K 3.2G 1% /run<o:p></o:p></p>
<p class="MsoNormal">/dev/mapper/pve-root 24G 12G 11G 52% /<o:p></o:p></p>
<p class="MsoNormal">tmpfs 5.0M 0 5.0M 0% /run/lock<o:p></o:p></p>
<p class="MsoNormal">tmpfs 6.3G 56M 6.3G 1% /run/shm<o:p></o:p></p>
<p class="MsoNormal">/dev/mapper/pve-data 48G 913M 48G 2% /var/lib/vz<o:p></o:p></p>
<p class="MsoNormal">/dev/sda1 495M 223M 248M 48% /boot<o:p></o:p></p>
<p class="MsoNormal">/dev/sdb1 740G 382G 359G 52% /data/brick1<o:p></o:p></p>
<p class="MsoNormal">/dev/fuse 30M 64K 30M 1% /etc/pve<o:p></o:p></p>
<p class="MsoNormal">gluster0:group0 740G 382G 359G 52% /mnt/pve/group0<o:p></o:p></p>
<p class="MsoNormal">16.xx.xx.137:backups 1.9T 1.6T 233G 88% /mnt/pve/backups<o:p></o:p></p>
<p class="MsoNormal">node4:machines0 7.3T 5.1T 2.3T 70% /mnt/pve/machines0<o:p></o:p></p>
<p class="MsoNormal">gluster0:group1 740G 643G 98G 87% /mnt/pve/group1<o:p></o:p></p>
<p class="MsoNormal">gluster2:/var/lib/vz 1.7T 182G 1.5T 11% /mnt/pve/node2local<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">When I do a du –h in the respective directories, this is what I get. They don’t match up with what a df –h shows. Gluster0:group0 shows the right amount of disk free, but gluster0:group1 is too fat and does not correspond to what is in
/mnt/pve/group1<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">root@node0:/mnt/pve/group0# du -h -d 2<o:p></o:p></p>
<p class="MsoNormal">0 ./images/2134<o:p></o:p></p>
<p class="MsoNormal">0 ./images/8889<o:p></o:p></p>
<p class="MsoNormal">6.3G ./images/134<o:p></o:p></p>
<p class="MsoNormal">56G ./images/140<o:p></o:p></p>
<p class="MsoNormal">31G ./images/153<o:p></o:p></p>
<p class="MsoNormal">9.9G ./images/144<o:p></o:p></p>
<p class="MsoNormal">0 ./images/166<o:p></o:p></p>
<p class="MsoNormal">29G ./images/141<o:p></o:p></p>
<p class="MsoNormal">9.9G ./images/152<o:p></o:p></p>
<p class="MsoNormal">22G ./images/142<o:p></o:p></p>
<p class="MsoNormal">0 ./images/155<o:p></o:p></p>
<p class="MsoNormal">0 ./images/145<o:p></o:p></p>
<p class="MsoNormal">18G ./images/146<o:p></o:p></p>
<p class="MsoNormal">25G ./images/148<o:p></o:p></p>
<p class="MsoNormal">24G ./images/151<o:p></o:p></p>
<p class="MsoNormal">0 ./images/156<o:p></o:p></p>
<p class="MsoNormal">11G ./images/143<o:p></o:p></p>
<p class="MsoNormal">0 ./images/157<o:p></o:p></p>
<p class="MsoNormal">0 ./images/158<o:p></o:p></p>
<p class="MsoNormal">0 ./images/159<o:p></o:p></p>
<p class="MsoNormal">0 ./images/160<o:p></o:p></p>
<p class="MsoNormal">0 ./images/161<o:p></o:p></p>
<p class="MsoNormal">0 ./images/162<o:p></o:p></p>
<p class="MsoNormal">0 ./images/164<o:p></o:p></p>
<p class="MsoNormal">0 ./images/9149<o:p></o:p></p>
<p class="MsoNormal">0 ./images/7186<o:p></o:p></p>
<p class="MsoNormal">0 ./images/9150<o:p></o:p></p>
<p class="MsoNormal">9.7G ./images/149<o:p></o:p></p>
<p class="MsoNormal">29G ./images/150<o:p></o:p></p>
<p class="MsoNormal">0 ./images/9100<o:p></o:p></p>
<p class="MsoNormal">0 ./images/9145<o:p></o:p></p>
<p class="MsoNormal">17G ./images/147<o:p></o:p></p>
<p class="MsoNormal">51G ./images/187<o:p></o:p></p>
<p class="MsoNormal">12G ./images/9142<o:p></o:p></p>
<p class="MsoNormal">0 ./images/186<o:p></o:p></p>
<p class="MsoNormal">0 ./images/184<o:p></o:p></p>
<p class="MsoNormal">0 ./images/9167<o:p></o:p></p>
<p class="MsoNormal">0 ./images/102<o:p></o:p></p>
<p class="MsoNormal">0 ./images/99102<o:p></o:p></p>
<p class="MsoNormal">30G ./images/9153<o:p></o:p></p>
<p class="MsoNormal">382G ./images<o:p></o:p></p>
<p class="MsoNormal">0 ./template/iso<o:p></o:p></p>
<p class="MsoNormal">0 ./template<o:p></o:p></p>
<p class="MsoNormal">0 ./dump<o:p></o:p></p>
<p class="MsoNormal">382G .<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">root@node0:/mnt/pve/group1/images# du -h -d 2<o:p></o:p></p>
<p class="MsoNormal">2.7G ./9153<o:p></o:p></p>
<p class="MsoNormal">9.7G ./162<o:p></o:p></p>
<p class="MsoNormal">9.9G ./164<o:p></o:p></p>
<p class="MsoNormal">11G ./166<o:p></o:p></p>
<p class="MsoNormal">9.6G ./161<o:p></o:p></p>
<p class="MsoNormal">0 ./146<o:p></o:p></p>
<p class="MsoNormal">9.8G ./155<o:p></o:p></p>
<p class="MsoNormal">9.8G ./156<o:p></o:p></p>
<p class="MsoNormal">9.9G ./157<o:p></o:p></p>
<p class="MsoNormal">9.7G ./159<o:p></o:p></p>
<p class="MsoNormal">9.9G ./160<o:p></o:p></p>
<p class="MsoNormal">9.9G ./158<o:p></o:p></p>
<p class="MsoNormal">21G ./185<o:p></o:p></p>
<p class="MsoNormal">11G ./165<o:p></o:p></p>
<p class="MsoNormal">0 ./153<o:p></o:p></p>
<p class="MsoNormal">11G ./154<o:p></o:p></p>
<p class="MsoNormal">0 ./9167<o:p></o:p></p>
<p class="MsoNormal">11G ./168<o:p></o:p></p>
<p class="MsoNormal">11G ./169<o:p></o:p></p>
<p class="MsoNormal">11G ./167<o:p></o:p></p>
<p class="MsoNormal">0 ./9165<o:p></o:p></p>
<p class="MsoNormal">11G ./171<o:p></o:p></p>
<p class="MsoNormal">0 ./9171<o:p></o:p></p>
<p class="MsoNormal">182G .<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">root@node0:/data/brick1# du -h -d2<o:p></o:p></p>
<p class="MsoNormal">382G ./group0/.glusterfs<o:p></o:p></p>
<p class="MsoNormal">8.0K ./group0/images<o:p></o:p></p>
<p class="MsoNormal">0 ./group0/template<o:p></o:p></p>
<p class="MsoNormal">0 ./group0/dump<o:p></o:p></p>
<p class="MsoNormal">382G ./group0<o:p></o:p></p>
<p class="MsoNormal">0 ./group1/.glusterfs<o:p></o:p></p>
<p class="MsoNormal">0 ./group1/images<o:p></o:p></p>
<p class="MsoNormal">0 ./group1/template<o:p></o:p></p>
<p class="MsoNormal">0 ./group1/dump<o:p></o:p></p>
<p class="MsoNormal">0 ./group1<o:p></o:p></p>
<p class="MsoNormal">382G .<o:p></o:p></p>
<p class="MsoNormal">root@node0:/data/brick1#<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">gluster> peer status<o:p></o:p></p>
<p class="MsoNormal">Number of Peers: 3<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hostname: 10.0.0.137<o:p></o:p></p>
<p class="MsoNormal">Uuid: 92071298-6809-49ff-9d6c-3761c01039ea<o:p></o:p></p>
<p class="MsoNormal">State: Peer in Cluster (Connected)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hostname: 10.0.0.138<o:p></o:p></p>
<p class="MsoNormal">Uuid: 040a3b67-c516-4c9b-834b-f7f7470e8dfd<o:p></o:p></p>
<p class="MsoNormal">State: Peer in Cluster (Connected)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hostname: gluster1<o:p></o:p></p>
<p class="MsoNormal">Uuid: 71cbcefb-0aea-4414-b88f-11f8954a8be2<o:p></o:p></p>
<p class="MsoNormal">State: Peer in Cluster (Connected)<o:p></o:p></p>
<p class="MsoNormal">gluster><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">gluster> pool list<o:p></o:p></p>
<p class="MsoNormal">UUID Hostname State<o:p></o:p></p>
<p class="MsoNormal">92071298-6809-49ff-9d6c-3761c01039ea 10.0.0.137 Connected<o:p></o:p></p>
<p class="MsoNormal">040a3b67-c516-4c9b-834b-f7f7470e8dfd 10.0.0.138 Connected<o:p></o:p></p>
<p class="MsoNormal">71cbcefb-0aea-4414-b88f-11f8954a8be2 gluster1 Connected<o:p></o:p></p>
<p class="MsoNormal">398228da-2300-4bc9-8e66-f4ae06a7c98e localhost Connected<o:p></o:p></p>
<p class="MsoNormal">gluster><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">There are 5 nodes in a ProxMox cluster. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Node0 has a 900GB RAID1 and is primarily responsible for running VMs from gluster0:group0 /mnt/pve/group0<o:p></o:p></p>
<p class="MsoNormal">Node1 has a 900GB RAID1 and is primarily responsible for running VMS from gluster0:group1 /mnt/pve/group1<o:p></o:p></p>
<p class="MsoNormal">Node2 is a development machine: gluster2:/var/lib/vz /mnt/pve/node2local<o:p></o:p></p>
<p class="MsoNormal">Node3 has backups: /mnt/pve/backups<o:p></o:p></p>
<p class="MsoNormal">Node4 has backups and also is supposed to mirror gluster0:group0 and group1<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I think things are off on the configs. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks, I’m a bit of a newbie at gluster. Wanting to learn.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>