<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
p.yahoo-quoted-begin, li.yahoo-quoted-begin, div.yahoo-quoted-begin
{mso-style-name:yahoo-quoted-begin;
mso-margin-top-alt:auto;
margin-right:0in;
mso-margin-bottom-alt:auto;
margin-left:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle20
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;
mso-ligatures:none;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple style='word-wrap:break-word'><div class=WordSection1><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Hi Strahil and Gluster users,<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Yes I had checked but, checked again and only 1% inode usage. 99% free. Same every node. <o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Example:<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>[root@nybaknode1 ]# df -i /lvbackups/brick<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Filesystem Inodes IUsed IFree IUse% Mounted on<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>/dev/mapper/vgbackups-lvbackups 3108921344 93602 3108827742 1% /lvbackups<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>[root@nybaknode1 ]#<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>I neglected to clarify in original post this issue is actually being seen through nfs-ganesha remote client mounts to gluster. Its realized after ~12-24 hours of backups uploading over nfs last couple weekends. <o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>If I reboot all the gluster nodes the backup jobs, nfs mounts, etc are able to recover and resume the backup cycle so it seems to be a no disk space error state that clears on reboots. This is the workaround we are having to do for now.<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>We are using nfs-ganesha-3.5-3.el8.x86_64 all gluster nodes currently. <o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>For some servers we upload backups ftp to vsftpd+gluster and other servers we use nfsv4 clients mounting remotely to upload backup over nfs to nfs-ganesha+gluster.<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>I’m planning to do another backup cycle of tests, re-review results and compare our ftp vs nfs clients more. <o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Probably I will file a github issue report as someone else advised in another reply.<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Thanks,<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'>Brandon<o:p></o:p></span></b></p><p class=MsoNormal><b><span style='font-size:12.0pt;color:black'><o:p> </o:p></span></b></p><p class=MsoNormal><o:p> </o:p></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b>From:</b> Strahil Nikolov <hunter86_bg@yahoo.com> <br><b>Sent:</b> Thursday, May 4, 2023 9:54 AM<br><b>To:</b> brandon@thinkhuge.net; gluster-users@gluster.org<br><b>Subject:</b> Re: [Gluster-users] 'error=No space left on device' but, there is plenty of space all nodes<o:p></o:p></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Hi,<o:p></o:p></p><div><p class=MsoNormal>Have you checked inode usage (df -i /lvbackups/brick ) ?<o:p></o:p></p></div><div><p class=MsoNormal><br><br><o:p></o:p></p></div><div><p class=MsoNormal>Best Regards,<o:p></o:p></p></div><div><p class=MsoNormal>Strahil Nikolov<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p><p class=yahoo-quoted-begin style='margin-top:0in'><span style='font-size:11.5pt;color:#715FFA'>On Tuesday, May 2, 2023, 3:05 AM, <a href="mailto:brandon@thinkhuge.net">brandon@thinkhuge.net</a> wrote:<o:p></o:p></span></p><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><div><p class=MsoNormal>Hi Gluster users,<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We are seeing 'error=No space left on device' issue and hoping someone might<o:p></o:p></p></div><div><p class=MsoNormal>could advise?<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We are using a 12 node glusterfs v10.4 distributed vsftpd backup cluster for<o:p></o:p></p></div><div><p class=MsoNormal>years (not new) and recently 2 weeks ago upgraded to v9 > v10.4. I do not<o:p></o:p></p></div><div><p class=MsoNormal>know if the upgrade is related to this new issue.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We are seeing a new issue 'error=No space left on device' error below on<o:p></o:p></p></div><div><p class=MsoNormal>multiple gluster v10.4 nodes in the logs. At the moment seeing it in the<o:p></o:p></p></div><div><p class=MsoNormal>logs for about half (5 out of 12) of the nodes. The issue will go away if<o:p></o:p></p></div><div><p class=MsoNormal>we reboot all the glusterfs nodes but, backups take a little over 2 days to<o:p></o:p></p></div><div><p class=MsoNormal>complete each weekend and the issue returns after about 1 day of backups<o:p></o:p></p></div><div><p class=MsoNormal>running and before the backup cycle is complete. It has been happening the<o:p></o:p></p></div><div><p class=MsoNormal>last 2 weekends we have run backups to these nodes.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>#example log msg from /var/log/glusterfs/home-volbackups.log<o:p></o:p></p></div><div><p class=MsoNormal>[2023-05-01 21:43:15.450502 +0000] W [MSGID: 114031]<o:p></o:p></p></div><div><p class=MsoNormal>[client-rpc-fops_v2.c:670:client4_0_writev_cbk] 0-volbackups-client-18:<o:p></o:p></p></div><div><p class=MsoNormal>remote operation failed. [{errno=28}, {error=No space left on device}]<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Each glusterfs node has a single brick and mounts a single distributed<o:p></o:p></p></div><div><p class=MsoNormal>volume as a glusterfs client locally and receives backup files to the volume<o:p></o:p></p></div><div><p class=MsoNormal>each weekend. <o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We distribute the ftp upload load between the servers through a combination<o:p></o:p></p></div><div><p class=MsoNormal>of /etc/hosts entries and AWS weighted dns.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We have 91 TB available on the volume though and each of the 12 nodes have<o:p></o:p></p></div><div><p class=MsoNormal>4-11 TB free so we are nowhere near out of space on any node?<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>We have already tried the setting change from 'cluster.min-free-disk: 1%' to<o:p></o:p></p></div><div><p class=MsoNormal>'cluster.min-free-disk: 1GB' and rebooted all the gluster nodes to refresh<o:p></o:p></p></div><div><p class=MsoNormal>them and it happened again. That was mentioned in this doc<o:p></o:p></p></div><div><p class=MsoNormal><a href="https://access.redhat.com/solutions/276483" target="_blank">https://access.redhat.com/solutions/276483</a> as an idea.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Does anyone know what we might check next?<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>glusterfs-server-10.4-1.el8s.x86_64<o:p></o:p></p></div><div><p class=MsoNormal>glusterfs-fuse-10.4-1.el8s.x86_64<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Here is the info (hostnames changed) below.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]# gluster volume status volbackups detail<o:p></o:p></p></div><div><p class=MsoNormal>Status of volume: volbackups<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode9.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 60039<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1664<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=512,swidth=512,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 6.1TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108974976<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108881513<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode11.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 52682<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 2076<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=512,swidth=512,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 10.1TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 43.5TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 4672138432<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 4672039743<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode2.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 56722<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1761<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=512,swidth=512,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 6.6TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108827241<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode3.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 53098<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1601<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=256k,sunit=512,swidth=512,noquo<o:p></o:p></p></div><div><p class=MsoNormal>ta<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 6.4TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108827312<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode4.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 51476<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1633<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=256k,sunit=512,swidth=512,noquo<o:p></o:p></p></div><div><p class=MsoNormal>ta<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 6.9TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108826837<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode12.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 50224<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1966<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=512,swidth=512,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 9.9TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 43.5TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 4671718976<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 4671620385<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode5.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 55270<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1666<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=256k,sunit=512,swidth=512,noquo<o:p></o:p></p></div><div><p class=MsoNormal>ta<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 7.4TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108827575<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode6.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 53106<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1688<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,noquota<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 7.6TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108827668<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode7.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 56734<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1655<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=256k,sunit=512,swidth=512,noquo<o:p></o:p></p></div><div><p class=MsoNormal>ta<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 4.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 14.4TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 1546333376<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 1546245572<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode8.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 60208<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1754<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=64k,sunit=128,swidth=128,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 7.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108827378<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode10.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 53237<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1757<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=512,swidth=512,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 10.5TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108828289<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick : Brick nybaknode1.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>TCP Port : 54446<o:p></o:p></p></div><div><p class=MsoNormal>RDMA Port : 0<o:p></o:p></p></div><div><p class=MsoNormal>Online : Y<o:p></o:p></p></div><div><p class=MsoNormal>Pid : 1685<o:p></o:p></p></div><div><p class=MsoNormal>File System : xfs<o:p></o:p></p></div><div><p class=MsoNormal>Device : /dev/mapper/vgbackups-lvbackups<o:p></o:p></p></div><div><p class=MsoNormal>Mount Options :<o:p></o:p></p></div><div><p class=MsoNormal>rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,sunit=128,swidth=128,noquot<o:p></o:p></p></div><div><p class=MsoNormal>a<o:p></o:p></p></div><div><p class=MsoNormal>Inode Size : 512<o:p></o:p></p></div><div><p class=MsoNormal>Disk Space Free : 11.2TB<o:p></o:p></p></div><div><p class=MsoNormal>Total Disk Space : 29.0TB<o:p></o:p></p></div><div><p class=MsoNormal>Inode Count : 3108921344<o:p></o:p></p></div><div><p class=MsoNormal>Free Inodes : 3108828701<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]#<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]# gluster volume status volbackups<o:p></o:p></p></div><div><p class=MsoNormal>Status of volume: volbackups<o:p></o:p></p></div><div><p class=MsoNormal>Gluster process TCP Port RDMA Port Online Pid<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode9.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 60039 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1664<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode11.example.net:/lvbackups/<o:p></o:p></p></div><div><p class=MsoNormal>brick 52682 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>2076<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode2.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 56722 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1761<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode3.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 53098 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1601<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode4.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 51476 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1633<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode12.example.net:/lvbackups/<o:p></o:p></p></div><div><p class=MsoNormal>brick 50224 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1966<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode5.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 55270 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1666<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode6.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 53106 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1688<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode7.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 56734 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1655<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode8.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 60208 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1754<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode10.example.net:/lvbackups/<o:p></o:p></p></div><div><p class=MsoNormal>brick 53237 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1757<o:p></o:p></p></div><div><p class=MsoNormal>Brick nybaknode1.example.net:/lvbackups/b<o:p></o:p></p></div><div><p class=MsoNormal>rick 54446 0 Y<o:p></o:p></p></div><div><p class=MsoNormal>1685<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Task Status of Volume volbackups<o:p></o:p></p></div><div><p class=MsoNormal>----------------------------------------------------------------------------<o:p></o:p></p></div><div><p class=MsoNormal>--<o:p></o:p></p></div><div><p class=MsoNormal>Task : Rebalance<o:p></o:p></p></div><div><p class=MsoNormal>ID : df687907-fee4-4a46-9d23-2cfb38cb17cd<o:p></o:p></p></div><div><p class=MsoNormal>Status : completed<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]#<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]# gluster volume info volbackups<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Volume Name: volbackups<o:p></o:p></p></div><div><p class=MsoNormal>Type: Distribute<o:p></o:p></p></div><div><p class=MsoNormal>Volume ID: cd40794d-ab74-4706-a0bc-3e95bb8c63a2<o:p></o:p></p></div><div><p class=MsoNormal>Status: Started<o:p></o:p></p></div><div><p class=MsoNormal>Snapshot Count: 0<o:p></o:p></p></div><div><p class=MsoNormal>Number of Bricks: 12<o:p></o:p></p></div><div><p class=MsoNormal>Transport-type: tcp<o:p></o:p></p></div><div><p class=MsoNormal>Bricks:<o:p></o:p></p></div><div><p class=MsoNormal>Brick1: nybaknode9.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick2: nybaknode11.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick3: nybaknode2.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick4: nybaknode3.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick5: nybaknode4.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick6: nybaknode12.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick7: nybaknode5.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick8: nybaknode6.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick9: nybaknode7.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick10: nybaknode8.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick11: nybaknode10.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Brick12: nybaknode1.example.net:/lvbackups/brick<o:p></o:p></p></div><div><p class=MsoNormal>Options Reconfigured:<o:p></o:p></p></div><div><p class=MsoNormal>cluster.min-free-disk: 1GB<o:p></o:p></p></div><div><p class=MsoNormal>nfs.disable: on<o:p></o:p></p></div><div><p class=MsoNormal>transport.address-family: inet<o:p></o:p></p></div><div><p class=MsoNormal>performance.cache-max-file-size: 2MB<o:p></o:p></p></div><div><p class=MsoNormal>diagnostics.brick-log-level: WARNING<o:p></o:p></p></div><div><p class=MsoNormal>diagnostics.brick-sys-log-level: WARNING<o:p></o:p></p></div><div><p class=MsoNormal>client.event-threads: 16<o:p></o:p></p></div><div><p class=MsoNormal>performance.client-io-threads: on<o:p></o:p></p></div><div><p class=MsoNormal>performance.io-thread-count: 32<o:p></o:p></p></div><div><p class=MsoNormal>server.event-threads: 16<o:p></o:p></p></div><div><p class=MsoNormal>performance.cache-size: 256MB<o:p></o:p></p></div><div><p class=MsoNormal>[root@nybaknode1 ~]#<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>________<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Community Meeting Calendar:<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Schedule -<o:p></o:p></p></div><div><p class=MsoNormal>Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<o:p></o:p></p></div><div><p class=MsoNormal>Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><o:p></o:p></p></div><div><p class=MsoNormal>Gluster-users mailing list<o:p></o:p></p></div><div><p class=MsoNormal><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><o:p></o:p></p></div><div><p class=MsoNormal><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></p></div></blockquote></div></div></body></html>