<div dir="auto">Thanks for the update! </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 13 Mar, 2020, 9:40 PM Pat Haley, &lt;<a href="mailto:phaley@mit.edu">phaley@mit.edu</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Hi All,<br>
<br>
After performing Strahil&#39;s checks and poking around some more, we found <br>
that the problem was with the underlying filesystem thinking it was full <br>
when it wasn&#39;t.  Following the information in the links below, we found <br>
that mounting with 64bit inodes fixed this problem.<br>
<br>
<a href="https://serverfault.com/questions/357367/xfs-no-space-left-on-device-but-i-have-850gb-available" rel="noreferrer noreferrer" target="_blank">https://serverfault.com/questions/357367/xfs-no-space-left-on-device-but-i-have-850gb-available</a><br>
<br>
<a href="https://support.microfocus.com/kb/doc.php?id=7014318" rel="noreferrer noreferrer" target="_blank">https://support.microfocus.com/kb/doc.php?id=7014318</a><br>
<br>
Thanks<br>
<br>
Pat<br>
<br>
<br>
On 3/12/20 4:24 PM, Strahil Nikolov wrote:<br>
&gt; On March 12, 2020 8:06:14 PM GMT+02:00, Pat Haley &lt;<a href="mailto:phaley@mit.edu" target="_blank" rel="noreferrer">phaley@mit.edu</a>&gt; wrote:<br>
&gt;&gt; Hi<br>
&gt;&gt;<br>
&gt;&gt; Yesterday we seemed to clear an issue with erroneous &quot;No space left on<br>
&gt;&gt; device&quot; messages<br>
&gt;&gt; (<a href="https://lists.gluster.org/pipermail/gluster-users/2020-March/037848.html" rel="noreferrer noreferrer" target="_blank">https://lists.gluster.org/pipermail/gluster-users/2020-March/037848.html</a>)<br>
&gt;&gt;<br>
&gt;&gt; I am now seeing &quot;Stale file handle&quot; messages coming from directories<br>
&gt;&gt; I&#39;ve just created.<br>
&gt;&gt;<br>
&gt;&gt; We are running gluster 3.7.11 in a distributed volume across 2 servers<br>
&gt;&gt; (2 bricks each). For the &quot;Stale file handle&quot; for a newly created<br>
&gt;&gt; directory, I&#39;ve noticed that the directory does not appear in brick1<br>
&gt;&gt; (it<br>
&gt;&gt; is in the other 3 bricks).<br>
&gt;&gt;<br>
&gt;&gt; In the cli.log on the server with brick1 I&#39;m seeing messages like<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [2020-03-12 17:21:36.596908] I [cli.c:721:main] 0-cli: Started running<br>
&gt;&gt; gluster with version 3.7.11<br>
&gt;&gt; [2020-03-12 17:21:36.604587] I<br>
&gt;&gt; [cli-cmd-volume.c:1795:cli_check_gsync_present] 0-: geo-replication not<br>
&gt;&gt;<br>
&gt;&gt; installed<br>
&gt;&gt; [2020-03-12 17:21:36.605100] I [MSGID: 101190]<br>
&gt;&gt; [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: Started thread<br>
&gt;&gt;<br>
&gt;&gt; with index 1<br>
&gt;&gt; [2020-03-12 17:21:36.605155] I [socket.c:2356:socket_event_handler]<br>
&gt;&gt; 0-transport: disconnecting now<br>
&gt;&gt; [2020-03-12 17:21:36.617433] I [input.c:36:cli_batch] 0-: Exiting with:<br>
&gt;&gt; 0<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; I&#39;m not sure why I would be getting any geo-replication messages, we<br>
&gt;&gt; aren&#39;t using replication. The cli.log on the other server is showing<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [2020-03-12 17:27:08.172573] I [cli.c:721:main] 0-cli: Started running<br>
&gt;&gt; gluster with version 3.7.11<br>
&gt;&gt; [2020-03-12 17:27:08.302564] I [MSGID: 101190]<br>
&gt;&gt; [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: Started thread<br>
&gt;&gt;<br>
&gt;&gt; with index 1<br>
&gt;&gt; [2020-03-12 17:27:08.302716] I [socket.c:2356:socket_event_handler]<br>
&gt;&gt; 0-transport: disconnecting now<br>
&gt;&gt; [2020-03-12 17:27:08.304557] I [input.c:36:cli_batch] 0-: Exiting with:<br>
&gt;&gt; 0<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On the server with brick1, the etc-glusterfs-glusterd.vol.log is<br>
&gt;&gt; showing<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [2020-03-12 17:21:25.925394] I [MSGID: 106499]<br>
&gt;&gt; [glusterd-handler.c:4331:__glusterd_handle_status_volume] 0-management:<br>
&gt;&gt;<br>
&gt;&gt; Received status volume req for volume data-volume<br>
&gt;&gt; [2020-03-12 17:21:25.946240] W [MSGID: 106217]<br>
&gt;&gt; [glusterd-op-sm.c:4630:glusterd_op_modify_op_ctx] 0-management: Failed<br>
&gt;&gt; uuid to hostname conversion<br>
&gt;&gt; [2020-03-12 17:21:25.946282] W [MSGID: 106387]<br>
&gt;&gt; [glusterd-op-sm.c:4734:glusterd_op_modify_op_ctx] 0-management: op_ctx<br>
&gt;&gt; modification failed<br>
&gt;&gt; [2020-03-12 17:21:36.617090] I [MSGID: 106487]<br>
&gt;&gt; [glusterd-handler.c:1472:__glusterd_handle_cli_list_friends]<br>
&gt;&gt; 0-glusterd:<br>
&gt;&gt; Received cli list req<br>
&gt;&gt; [2020-03-12 17:21:15.577829] I [MSGID: 106488]<br>
&gt;&gt; [glusterd-handler.c:1533:__glusterd_handle_cli_get_volume] 0-glusterd:<br>
&gt;&gt; Received get vol req<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; On the other server I&#39;m seeing similar messages<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [2020-03-12 17:26:57.024168] I [MSGID: 106499]<br>
&gt;&gt; [glusterd-handler.c:4331:__glusterd_handle_status_volume] 0-management:<br>
&gt;&gt;<br>
&gt;&gt; Received status volume req for volume data-volume<br>
&gt;&gt; [2020-03-12 17:26:57.037269] W [MSGID: 106217]<br>
&gt;&gt; [glusterd-op-sm.c:4630:glusterd_op_modify_op_ctx] 0-management: Failed<br>
&gt;&gt; uuid to hostname conversion<br>
&gt;&gt; [2020-03-12 17:26:57.037299] W [MSGID: 106387]<br>
&gt;&gt; [glusterd-op-sm.c:4734:glusterd_op_modify_op_ctx] 0-management: op_ctx<br>
&gt;&gt; modification failed<br>
&gt;&gt; [2020-03-12 17:26:42.025200] I [MSGID: 106488]<br>
&gt;&gt; [glusterd-handler.c:1533:__glusterd_handle_cli_get_volume] 0-glusterd:<br>
&gt;&gt; Received get vol req<br>
&gt;&gt; [2020-03-12 17:27:08.304267] I [MSGID: 106487]<br>
&gt;&gt; [glusterd-handler.c:1472:__glusterd_handle_cli_list_friends]<br>
&gt;&gt; 0-glusterd:<br>
&gt;&gt; Received cli list req<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; And I&#39;ve just noticed that I&#39;m again seeing &quot;No space left on device&quot;<br>
&gt;&gt; in<br>
&gt;&gt; the logs of brick1 (although there is 3.5 TB free)<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [2020-03-12 17:19:54.576597] E [MSGID: 113027]<br>
&gt;&gt; [posix.c:1427:posix_mkdir] 0-data-volume-posix: mkdir of<br>
&gt;&gt; /mnt/brick1/projects/deep_sea_mining/Tide/2020/Mar06/ccfzR75deg_001<br>
&gt;&gt; failed [No space left on device]<br>
&gt;&gt; [2020-03-12 17:19:54.576681] E [MSGID: 115056]<br>
&gt;&gt; [server-rpc-fops.c:512:server_mkdir_cbk] 0-data-volume-server: 5001698:<br>
&gt;&gt;<br>
&gt;&gt; MKDIR /projects/deep_sea_mining/Tide/2020/Mar06/ccfzR75deg_001<br>
&gt;&gt; (96e0b7e4-6b43-42ef-9896-86097b4208fe/ccfzR75deg_001) ==&gt; (No space<br>
&gt;&gt; left<br>
&gt;&gt; on device) [No space left on device]<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; Any thoughts would be greatly appreciated.  (Some additional<br>
&gt;&gt; information<br>
&gt;&gt; below)<br>
&gt;&gt;<br>
&gt;&gt; Thanks<br>
&gt;&gt;<br>
&gt;&gt; Pat<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; server 1:<br>
&gt;&gt; [root@mseas-data2 ~]# df -h<br>
&gt;&gt; Filesystem      Size  Used Avail Use% Mounted on<br>
&gt;&gt; /dev/sdb        164T  161T  3.5T  98% /mnt/brick2<br>
&gt;&gt; /dev/sda        164T  159T  5.4T  97% /mnt/brick1<br>
&gt;&gt;<br>
&gt;&gt; [root@mseas-data2 ~]# df -i<br>
&gt;&gt; Filesystem         Inodes    IUsed      IFree IUse% Mounted on<br>
&gt;&gt; /dev/sdb       7031960320 31213790 7000746530    1% /mnt/brick2<br>
&gt;&gt; /dev/sda       7031960320 28707456 7003252864    1% /mnt/brick1<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; server 2:<br>
&gt;&gt; [root@mseas-data3 ~]# df -h<br>
&gt;&gt; Filesystem            Size  Used Avail Use% Mounted on<br>
&gt;&gt; /dev/sda               91T   88T  3.9T  96% /export/sda/brick3<br>
&gt;&gt; /dev/mapper/vg_Data4-lv_Data4<br>
&gt;&gt;                         91T   89T  2.6T  98% /export/sdc/brick4<br>
&gt;&gt;<br>
&gt;&gt; [root@mseas-data3 glusterfs]# df -i<br>
&gt;&gt; Filesystem               Inodes    IUsed      IFree IUse% Mounted on<br>
&gt;&gt; /dev/sda             1953182464 10039172 1943143292    1%<br>
&gt;&gt; /export/sda/brick3<br>
&gt;&gt; /dev/mapper/vg_Data4-lv_Data4<br>
&gt;&gt;                       3906272768 11917222 3894355546    1%<br>
&gt;&gt; /export/sdc/brick4<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [root@mseas-data2 ~]# gluster volume info<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; Volume Name: data-volume<br>
&gt;&gt; Type: Distribute<br>
&gt;&gt; Volume ID: c162161e-2a2d-4dac-b015-f31fd89ceb18<br>
&gt;&gt; Status: Started<br>
&gt;&gt; Number of Bricks: 4<br>
&gt;&gt; Transport-type: tcp<br>
&gt;&gt; Bricks:<br>
&gt;&gt; Brick1: mseas-data2:/mnt/brick1<br>
&gt;&gt; Brick2: mseas-data2:/mnt/brick2<br>
&gt;&gt; Brick3: mseas-data3:/export/sda/brick3<br>
&gt;&gt; Brick4: mseas-data3:/export/sdc/brick4<br>
&gt;&gt; Options Reconfigured:<br>
&gt;&gt; cluster.min-free-disk: 1%<br>
&gt;&gt; nfs.export-volumes: off<br>
&gt;&gt; nfs.disable: on<br>
&gt;&gt; performance.readdir-ahead: on<br>
&gt;&gt; diagnostics.brick-sys-log-level: WARNING<br>
&gt;&gt; nfs.exports-auth-enable: on<br>
&gt;&gt; server.allow-insecure: on<br>
&gt;&gt; auth.allow: *<br>
&gt;&gt; disperse.eager-lock: off<br>
&gt;&gt; performance.open-behind: off<br>
&gt;&gt; performance.md-cache-timeout: 60<br>
&gt;&gt; network.inode-lru-limit: 50000<br>
&gt;&gt; diagnostics.client-log-level: ERROR<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; [root@mseas-data2 ~]# gluster volume status data-volume detail<br>
&gt;&gt; --------------------------------------------------------<br>
&gt;&gt; Status of volume: data-volume<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; Brick                : Brick mseas-data2:/mnt/brick1<br>
&gt;&gt; TCP Port             : 49154<br>
&gt;&gt; RDMA Port            : 0<br>
&gt;&gt; Online               : Y<br>
&gt;&gt; Pid                  : 4601<br>
&gt;&gt; File System          : xfs<br>
&gt;&gt; Device               : /dev/sda<br>
&gt;&gt; Mount Options        : rw<br>
&gt;&gt; Inode Size           : 256<br>
&gt;&gt; Disk Space Free      : 5.4TB<br>
&gt;&gt; Total Disk Space     : 163.7TB<br>
&gt;&gt; Inode Count          : 7031960320<br>
&gt;&gt; Free Inodes          : 7003252864<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; Brick                : Brick mseas-data2:/mnt/brick2<br>
&gt;&gt; TCP Port             : 49155<br>
&gt;&gt; RDMA Port            : 0<br>
&gt;&gt; Online               : Y<br>
&gt;&gt; Pid                  : 7949<br>
&gt;&gt; File System          : xfs<br>
&gt;&gt; Device               : /dev/sdb<br>
&gt;&gt; Mount Options        : rw<br>
&gt;&gt; Inode Size           : 256<br>
&gt;&gt; Disk Space Free      : 3.4TB<br>
&gt;&gt; Total Disk Space     : 163.7TB<br>
&gt;&gt; Inode Count          : 7031960320<br>
&gt;&gt; Free Inodes          : 7000746530<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; Brick                : Brick mseas-data3:/export/sda/brick3<br>
&gt;&gt; TCP Port             : 49153<br>
&gt;&gt; RDMA Port            : 0<br>
&gt;&gt; Online               : Y<br>
&gt;&gt; Pid                  : 4650<br>
&gt;&gt; File System          : xfs<br>
&gt;&gt; Device               : /dev/sda<br>
&gt;&gt; Mount Options        : rw<br>
&gt;&gt; Inode Size           : 512<br>
&gt;&gt; Disk Space Free      : 3.9TB<br>
&gt;&gt; Total Disk Space     : 91.0TB<br>
&gt;&gt; Inode Count          : 1953182464<br>
&gt;&gt; Free Inodes          : 1943143292<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; Brick                : Brick mseas-data3:/export/sdc/brick4<br>
&gt;&gt; TCP Port             : 49154<br>
&gt;&gt; RDMA Port            : 0<br>
&gt;&gt; Online               : Y<br>
&gt;&gt; Pid                  : 23772<br>
&gt;&gt; File System          : xfs<br>
&gt;&gt; Device               : /dev/mapper/vg_Data4-lv_Data4<br>
&gt;&gt; Mount Options        : rw<br>
&gt;&gt; Inode Size           : 256<br>
&gt;&gt; Disk Space Free      : 2.6TB<br>
&gt;&gt; Total Disk Space     : 90.9TB<br>
&gt;&gt; Inode Count          : 3906272768<br>
&gt;&gt; Free Inodes          : 3894355546<br>
&gt;&gt;<br>
&gt;&gt; -- <br>
&gt;&gt;<br>
&gt;&gt; -=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-<br>
&gt;&gt; Pat Haley                          Email:  <a href="mailto:phaley@mit.edu" target="_blank" rel="noreferrer">phaley@mit.edu</a><br>
&gt;&gt; Center for Ocean Engineering       Phone:  (617) 253-6824<br>
&gt;&gt; Dept. of Mechanical Engineering    Fax:    (617) 253-8125<br>
&gt;&gt; MIT, Room 5-213                    <a href="http://web.mit.edu/phaley/www/" rel="noreferrer noreferrer" target="_blank">http://web.mit.edu/phaley/www/</a><br>
&gt;&gt; 77 Massachusetts Avenue<br>
&gt;&gt; Cambridge, MA  02139-4301<br>
&gt;&gt;<br>
&gt;&gt; ________<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Community Meeting Calendar:<br>
&gt;&gt;<br>
&gt;&gt; Schedule -<br>
&gt;&gt; Every Tuesday at 14:30 IST / 09:00 UTC<br>
&gt;&gt; Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
&gt;&gt;<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank" rel="noreferrer">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; Hey Pat,<br>
&gt;<br>
&gt; The logs are not  providing  much information  ,  but the following seems strange:<br>
&gt; &#39;Failed uuid to hostname conversion&#39;<br>
&gt;<br>
&gt; Have you checked  dns resolution (both short name and fqdn)?<br>
&gt; Also,  check the systems&#39; ntp/chrony is in sync  and the  &#39;gluster peer  status&#39;  on all nodes.<br>
&gt;<br>
&gt; Is it possible that the  client  is not reaching all  bricks  ?<br>
&gt;<br>
&gt;<br>
&gt; P.S.:  Consider  increasing the log level,  as  current level is not sufficient.<br>
&gt;<br>
&gt; Best Regards,<br>
&gt; Strahil Nikolov<br>
<br>
-- <br>
<br>
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-<br>
Pat Haley                          Email:  <a href="mailto:phaley@mit.edu" target="_blank" rel="noreferrer">phaley@mit.edu</a><br>
Center for Ocean Engineering       Phone:  (617) 253-6824<br>
Dept. of Mechanical Engineering    Fax:    (617) 253-8125<br>
MIT, Room 5-213                    <a href="http://web.mit.edu/phaley/www/" rel="noreferrer noreferrer" target="_blank">http://web.mit.edu/phaley/www/</a><br>
77 Massachusetts Avenue<br>
Cambridge, MA  02139-4301<br>
<br>
________<br>
<br>
<br>
<br>
Community Meeting Calendar:<br>
<br>
Schedule -<br>
Every Tuesday at 14:30 IST / 09:00 UTC<br>
Bridge: <a href="https://bluejeans.com/441850968" rel="noreferrer noreferrer" target="_blank">https://bluejeans.com/441850968</a><br>
<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank" rel="noreferrer">Gluster-users@gluster.org</a><br>
<a href="https://lists.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer noreferrer" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br>
</blockquote></div>