To be honest,. nothing ring the bells.<div id="yMail_cursorElementTracker_1632424029923">Is there any increase on the load recently ? I saw that those checks could be failing when the system is under serios load.</div><div id="yMail_cursorElementTracker_1632424078970"><br></div><div id="yMail_cursorElementTracker_1632424079022">Do you anything in the sysstat statistics pointing to overload or exhaustion of resources ?</div><div id="yMail_cursorElementTracker_1632424079022"><br></div><div id="yMail_cursorElementTracker_1632424115226"><br></div><div id="yMail_cursorElementTracker_1632424115482">Best Regards,</div><div id="yMail_cursorElementTracker_1632424119421">Strahil Nikolov<br> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Thu, Sep 23, 2021 at 17:51, John Cholewa</div><div><jcholewa@gmail.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> <div dir="ltr">An off-list reply suggested that I enable debug/trace logs for<br></div><div dir="ltr">Ganesha.  Despite happening multiple times a day before that point,<br></div><div dir="ltr">the problem decided to not manifest for a whole day, and I was a bit<br></div><div dir="ltr">worried about those debug logs filling up the partition before it<br></div><div dir="ltr">happened!  But a hang finally occurred between 18:29:00 and 18:29:09,<br></div><div dir="ltr">when it was detected by my monitor script and subsequently killed with<br></div><div dir="ltr">"kill -9" (systemctl stop and/or restart often does not work here) and<br></div><div dir="ltr">restarted with "systemctl start nfs-ganesha".<br></div><div dir="ltr"><br></div><div dir="ltr">Here's a snippet from "systemctl -u nfs-ganesha", beginning with a<br></div><div dir="ltr">manual morning restart that asserted the debug logging, and ending<br></div><div dir="ltr">with the automatic restart that followed the error which is associated<br></div><div dir="ltr">with the daemon becoming unresponsive:<br></div><div dir="ltr"><br></div><div dir="ltr">Sep 22 10:09:50 yuzz systemd[1]: Starting NFS-Ganesha file server...<br></div><div dir="ltr">Sep 22 10:09:52 yuzz systemd[1]: Started NFS-Ganesha file server.<br></div><div dir="ltr">Sep 22 18:28:58 yuzz ganesha.nfsd[47253]: [2021-09-22 22:28:58.136734]<br></div><div dir="ltr">C [rpc-clnt-ping.c:166:rpc_clnt_ping_timer_expired] 0-gv0-clie<br></div><div dir="ltr">Sep 22 18:29:09 yuzz systemd[1]: nfs-ganesha.service: Main process<br></div><div dir="ltr">exited, code=killed, status=9/KILL<br></div><div dir="ltr">Sep 22 18:29:09 yuzz systemd[1]: nfs-ganesha.service: Failed with<br></div><div dir="ltr">result 'signal'.<br></div><div dir="ltr">Sep 22 18:29:14 yuzz systemd[1]: Starting NFS-Ganesha file server...<br></div><div dir="ltr">Sep 22 18:29:16 yuzz systemd[1]: Started NFS-Ganesha file server.<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Below are the logs starting 20s before the earliest time that the<br></div><div dir="ltr">issue occurs and ending shortly after the daemon is restarted:<br></div><div dir="ltr"><br></div><div dir="ltr">22/09/2021 18:28:40 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[reaper] reaper_run :CLIENT ID :DEBUG :Now checking<br></div><div dir="ltr">NFS4 clients for expiration<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs_rpc_decode_request :DISP :DEBUG<br></div><div dir="ltr">:0x7f113c001990 fd 41 context 0x7f0f7000e600<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] get_gsh_client :HT CACHE :DEBUG :client_mgr<br></div><div dir="ltr">cache hit slot 0<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs_rpc_process_request :DISP :DEBUG<br></div><div dir="ltr">:Request from ::ffff:10.6.137.226 for Program 100003, Version 4,<br></div><div dir="ltr">Function 1 has xid=567635995<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :COMPOUND: There<br></div><div dir="ltr">are 3 operations, res = 0x7f0f700130e0, tag = NO TAG<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :Request 0:<br></div><div dir="ltr">opcode 53 is OP_SEQUENCE<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_op_sequence :SESSIONS :DEBUG :SEQUENCE<br></div><div dir="ltr">session=0x7f1094087990<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :Status of<br></div><div dir="ltr">OP_SEQUENCE in position 0 = NFS4_OK<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :Request 1:<br></div><div dir="ltr">opcode 22 is OP_PUTFH<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] get_gsh_export :HT CACHE :DEBUG :export_mgr<br></div><div dir="ltr">cache hit slot 191<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] cih_get_by_key_latch :HT CACHE :DEBUG :cih<br></div><div dir="ltr">cache hit slot 24209<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :Status of<br></div><div dir="ltr">OP_PUTFH in position 1 = NFS4_OK<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] nfs4_Compound :NFS4 :DEBUG :Request 2:<br></div><div dir="ltr">opcode 9 is OP_GETATTR<br></div><div dir="ltr">22/09/2021 18:28:48 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_64] file_To_Fattr :NFS4 ACL :DEBUG :No<br></div><div dir="ltr">permission check for ACL for obj 0x55d0aae15678<br></div><div dir="ltr">22/09/2021 18:28:49 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">status is unhealthy. enq new: 453777, old: 453776; deq new: 453767,<br></div><div dir="ltr">old: 453767<br></div><div dir="ltr">22/09/2021 18:28:50 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[reaper] reaper_run :CLIENT ID :DEBUG :Now checking<br></div><div dir="ltr">NFS4 clients for expiration<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_165] nfs_rpc_decode_request :DISP :DEBUG<br></div><div dir="ltr">:0x7f1144000d20 fd 32 context 0x7f0dd0008d50<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_165] nfs_rpc_process_request :DISP :DEBUG<br></div><div dir="ltr">:Request from ::ffff:192.168.1.102 for Program 100003, Version 3,<br></div><div dir="ltr">Function 1 has xid=1057034752<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_165] get_gsh_export :HT CACHE :DEBUG<br></div><div dir="ltr">:export_mgr cache hit slot 191<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_165] nfs3_getattr :NFS3 :DEBUG :REQUEST<br></div><div dir="ltr">PROCESSING: Calling NFS3_GETATTR handle: File Handle V3: Len=40<br></div><div dir="ltr">430006c120dcfdeed98fe94047b18a1a908f003d7f02383ba9cc0d44bba345e2c943754bd0000000<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[svc_165] cih_get_by_key_latch :HT CACHE :DEBUG :cih<br></div><div dir="ltr">cache hit slot 3736<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">status is unhealthy. enq new: 453778, old: 453777; deq new: 453767,<br></div><div dir="ltr">old: 453767<br></div><div dir="ltr">22/09/2021 18:29:00 : epoch 614b392e : yuzz :<br></div><div dir="ltr">ganesha.nfsd-47253[reaper] reaper_run :CLIENT ID :DEBUG :Now checking<br></div><div dir="ltr">NFS4 clients for expiration<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8430[main]<br></div><div dir="ltr">main :MAIN :EVENT :ganesha.nfsd Starting: Ganesha Version 2.6.0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :FileSystem info: {<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxfilesize  = FFFFFFFFFFFFFFFF<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxlink  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxnamelen  = 255<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxpathlen  = 4096<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  no_trunc  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  chown_restricted  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  case_insensitive  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  case_preserving  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  link_support  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  symlink_support  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  lock_support  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  lock_support_async_block  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  named_attr  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  unique_handles  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  acl_support  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  cansettime  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  homogenous  = 1<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  supported_attrs  = 15DFCE<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxread  = 67108864<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  maxwrite  = 67108864<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  umask  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  auth_exportpath_xdev  = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  xattr_access_rights = 0400<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  delegations = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  pnfs_mds = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  pnfs_ds = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  fsal_trace = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :  fsal_grace = 0<br></div><div dir="ltr">22/09/2021 18:29:14 : epoch 614bae3a : yuzz : ganesha.nfsd-8438[main]<br></div><div dir="ltr">display_fsinfo :FSAL :DEBUG :}<br></div><div dir="ltr"><br></div><div dir="ltr">On Tue, Sep 21, 2021 at 12:39 PM John Cholewa <<a ymailto="mailto:jcholewa@gmail.com" href="mailto:jcholewa@gmail.com">jcholewa@gmail.com</a>> wrote:<br></div><div dir="ltr">><br></div><div dir="ltr">> We have been using a two-node distributed glusterfs cluster which is<br></div><div dir="ltr">> served with nfs-ganesha for a bit over two years.  After a reboot of<br></div><div dir="ltr">> both nodes a few weeks ago, we started having trouble with nfs-ganesha<br></div><div dir="ltr">> repeatedly becoming unavailable.  Within a few hours of being started<br></div><div dir="ltr">> via systemctl, the logs report that "Health status is unhealthy",<br></div><div dir="ltr">> followed by either a hang with an "rpc_clnt_ping_timer_expired"<br></div><div dir="ltr">> message (in which case systemctl won't restart it, and the process<br></div><div dir="ltr">> would need to be forcibly killed before restart) or a crash of the<br></div><div dir="ltr">> nfs-ganesha process.  This happens as much as every few hours, less so<br></div><div dir="ltr">> during weekends when there is less usage, but we haven't been able to<br></div><div dir="ltr">> match the behavior with any particular I/O load or other specific<br></div><div dir="ltr">> activity.<br></div><div dir="ltr">><br></div><div dir="ltr">> The system is somewhat out of date, so I'll apt upgrade pretty soon,<br></div><div dir="ltr">> but I was hoping to first get some tips on how I can otherwise<br></div><div dir="ltr">> troubleshoot the issue or even just minimize the symptoms.  RAID6<br></div><div dir="ltr">> checks look great on both nodes, the gluster peers and volume seem<br></div><div dir="ltr">> healthy -- sharing via glusterfs's native method does not appear to<br></div><div dir="ltr">> have this problem.  CPU and memory usage are well within their limits.<br></div><div dir="ltr">> Network access looks fine.  This pair of machines serves no function<br></div><div dir="ltr">> other than sharing files.<br></div><div dir="ltr">><br></div><div dir="ltr">> Versions:<br></div><div dir="ltr">> glusterfs-server 3.13.2-1ubuntu1<br></div><div dir="ltr">> nfs-ganesha 2.6.0-2<br></div><div dir="ltr">><br></div><div dir="ltr">> $ lsb_release -a<br></div><div dir="ltr">> No LSB modules are available.<br></div><div dir="ltr">> Distributor ID: Ubuntu<br></div><div dir="ltr">> Description:    Ubuntu 18.04.4 LTS<br></div><div dir="ltr">> Release:        18.04<br></div><div dir="ltr">> Codename:       bionic<br></div><div dir="ltr">><br></div><div dir="ltr">> $ uname -a<br></div><div dir="ltr">> Linux yuzz 4.15.0-88-generic #88-Ubuntu SMP Tue Feb 11 20:11:34 UTC<br></div><div dir="ltr">> 2020 x86_64 x86_64 x86_64 GNU/Linux<br></div><div dir="ltr">><br></div><div dir="ltr">> /etc/ganesha/ganesha.conf, sans empty/comment lines:<br></div><div dir="ltr">> EXPORT<br></div><div dir="ltr">> {<br></div><div dir="ltr">>         Export_Id = 1729;<br></div><div dir="ltr">>         Path = "/nfs";<br></div><div dir="ltr">>         Pseudo = "/nfs";<br></div><div dir="ltr">>         Access_Type = RW;<br></div><div dir="ltr">>         Squash = No_Root_Squash;<br></div><div dir="ltr">>         SecType = "sys";<br></div><div dir="ltr">>        FSAL {<br></div><div dir="ltr">>                 Name = "GLUSTER";<br></div><div dir="ltr">>                 Hostname = localhost;<br></div><div dir="ltr">>                 Volume = "gv0";<br></div><div dir="ltr">>                 Up_poll_usec = 10; # Upcall poll interval in microseconds<br></div><div dir="ltr">>                 Transport = tcp; # tcp or rdma<br></div><div dir="ltr">>         }<br></div><div dir="ltr">><br></div><div dir="ltr">> Contents of /var/log/ganesha/ganesha.log, with the last few<br></div><div dir="ltr">> "start...hang, start...hang" cycles shown:<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34940[main]<br></div><div dir="ltr">> main :MAIN :EVENT :ganesha.nfsd Starting: Ganesha Version 2.6.0<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_set_param_from_conf :NFS STARTUP :EVENT :Configuration file<br></div><div dir="ltr">> successfully parsed<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :Initializing ID Mapper.<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :ID Mapper successfully<br></div><div dir="ltr">> initialized.<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> glusterfs_create_export :FSAL :EVENT :Volume gv0 exported at : '/'<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :CAP_SYS_RESOURCE was successfully<br></div><div dir="ltr">> removed for proper quota management in FSAL<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :currenty set capabilities are: =<br></div><div dir="ltr">> cap_chown,cap_dac_override,cap_dac_read_search,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_linux_immutable,cap_net_bind_service,cap_net_broadcast,cap_net_admin,cap_net_raw,cap_ipc_lock,cap_ipc_owner,cap_sys_module,cap_sys_rawio,cap_sys_chroot,cap_sys_ptrace,cap_sys_pacct,cap_sys_admin,cap_sys_boot,cap_sys_nice,cap_sys_time,cap_sys_tty_config,cap_mknod,cap_lease,cap_audit_write,cap_audit_control,cap_setfcap+ep<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_start_grace :STATE :EVENT :NFS Server Now IN GRACE, duration 90<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Init_svc :DISP :CRIT :Cannot acquire credentials for principal nfs<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Init_admin_thread :NFS CB :EVENT :Admin thread initialized<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :EVENT :Callback creds directory<br></div><div dir="ltr">> (/var/run/ganesha) already exists<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :WARN<br></div><div dir="ltr">> :gssd_refresh_krb5_machine_credential failed (-1765328160:0)<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :Starting delayed executor.<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :9P/TCP dispatcher thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :gsh_dbusthread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[_9p_disp] _9p_dispatcher_thread :9P DISP :EVENT :9P<br></div><div dir="ltr">> dispatcher started<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :admin thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :reaper thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :General fridge was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT :             NFS SERVER INITIALIZED<br></div><div dir="ltr">> 20/09/2021 13:58:06 : epoch 6148cbae : yuzz : ganesha.nfsd-34948[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 20/09/2021 13:59:36 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[reaper] nfs_lift_grace_locked :STATE :EVENT :NFS<br></div><div dir="ltr">> Server Now NOT IN GRACE<br></div><div dir="ltr">> 20/09/2021 14:01:13 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11338, old: 11330; deq new: 11254, old:<br></div><div dir="ltr">> 11254<br></div><div dir="ltr">> 20/09/2021 14:01:18 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11345, old: 11338; deq new: 11254, old:<br></div><div dir="ltr">> 11254<br></div><div dir="ltr">> 20/09/2021 14:01:19 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11347, old: 11345; deq new: 11254, old:<br></div><div dir="ltr">> 11254<br></div><div dir="ltr">> 20/09/2021 14:01:24 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11354, old: 11347; deq new: 11254, old:<br></div><div dir="ltr">> 11254<br></div><div dir="ltr">> 20/09/2021 14:01:29 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11369, old: 11358; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:32 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11370, old: 11369; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:34 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11378, old: 11370; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:39 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11387, old: 11378; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:40 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11388, old: 11387; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:44 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11397, old: 11388; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:49 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11407, old: 11397; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:51 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11409, old: 11407; deq new: 11257, old:<br></div><div dir="ltr">> 11257<br></div><div dir="ltr">> 20/09/2021 14:01:59 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11481, old: 11470; deq new: 11308, old:<br></div><div dir="ltr">> 11308<br></div><div dir="ltr">> 20/09/2021 14:02:01 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11483, old: 11481; deq new: 11308, old:<br></div><div dir="ltr">> 11308<br></div><div dir="ltr">> 20/09/2021 14:02:04 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11498, old: 11491; deq new: 11316, old:<br></div><div dir="ltr">> 11316<br></div><div dir="ltr">> 20/09/2021 14:02:05 : epoch 6148cbae : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-34948[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 11500, old: 11498; deq new: 11316, old:<br></div><div dir="ltr">> 11316<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35521[main]<br></div><div dir="ltr">> main :MAIN :EVENT :ganesha.nfsd Starting: Ganesha Version 2.6.0<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_set_param_from_conf :NFS STARTUP :EVENT :Configuration file<br></div><div dir="ltr">> successfully parsed<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :Initializing ID Mapper.<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :ID Mapper successfully<br></div><div dir="ltr">> initialized.<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> glusterfs_create_export :FSAL :EVENT :Volume gv0 exported at : '/'<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :CAP_SYS_RESOURCE was successfully<br></div><div dir="ltr">> removed for proper quota management in FSAL<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :currenty set capabilities are: =<br></div><div dir="ltr">> cap_chown,cap_dac_override,cap_dac_read_search,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_linux_immutable,cap_net_bind_service,cap_net_broadcast,cap_net_admin,cap_net_raw,cap_ipc_lock,cap_ipc_owner,cap_sys_module,cap_sys_rawio,cap_sys_chroot,cap_sys_ptrace,cap_sys_pacct,cap_sys_admin,cap_sys_boot,cap_sys_nice,cap_sys_time,cap_sys_tty_config,cap_mknod,cap_lease,cap_audit_write,cap_audit_control,cap_setfcap+ep<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_start_grace :STATE :EVENT :NFS Server Now IN GRACE, duration 90<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Init_svc :DISP :CRIT :Cannot acquire credentials for principal nfs<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Init_admin_thread :NFS CB :EVENT :Admin thread initialized<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :EVENT :Callback creds directory<br></div><div dir="ltr">> (/var/run/ganesha) already exists<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :WARN<br></div><div dir="ltr">> :gssd_refresh_krb5_machine_credential failed (-1765328160:0)<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :Starting delayed executor.<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :9P/TCP dispatcher thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :gsh_dbusthread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :admin thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[_9p_disp] _9p_dispatcher_thread :9P DISP :EVENT :9P<br></div><div dir="ltr">> dispatcher started<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :reaper thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :General fridge was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT :             NFS SERVER INITIALIZED<br></div><div dir="ltr">> 20/09/2021 14:02:14 : epoch 6148cca6 : yuzz : ganesha.nfsd-35529[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 20/09/2021 14:03:44 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[reaper] nfs_lift_grace_locked :STATE :EVENT :NFS<br></div><div dir="ltr">> Server Now NOT IN GRACE<br></div><div dir="ltr">> 20/09/2021 21:27:39 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 976517, old: 976516; deq new: 976516,<br></div><div dir="ltr">> old: 976516<br></div><div dir="ltr">> 21/09/2021 03:43:13 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 1289488, old: 1289487; deq new: 1289487,<br></div><div dir="ltr">> old: 1289487<br></div><div dir="ltr">> 21/09/2021 09:31:00 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 2134266, old: 2134259; deq new: 2134161,<br></div><div dir="ltr">> old: 2134161<br></div><div dir="ltr">> 21/09/2021 09:31:09 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 2134270, old: 2134269; deq new: 2134164,<br></div><div dir="ltr">> old: 2134164<br></div><div dir="ltr">> 21/09/2021 09:31:14 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 2134271, old: 2134270; deq new: 2134164,<br></div><div dir="ltr">> old: 2134164<br></div><div dir="ltr">> 21/09/2021 09:31:16 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 2134273, old: 2134271; deq new: 2134164,<br></div><div dir="ltr">> old: 2134164<br></div><div dir="ltr">> 21/09/2021 09:31:36 : epoch 6148cca6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-35529[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 2134275, old: 2134274; deq new: 2134165,<br></div><div dir="ltr">> old: 2134165<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11930[main]<br></div><div dir="ltr">> main :MAIN :EVENT :ganesha.nfsd Starting: Ganesha Version 2.6.0<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_set_param_from_conf :NFS STARTUP :EVENT :Configuration file<br></div><div dir="ltr">> successfully parsed<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :Initializing ID Mapper.<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> init_server_pkgs :NFS STARTUP :EVENT :ID Mapper successfully<br></div><div dir="ltr">> initialized.<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> glusterfs_create_export :FSAL :EVENT :Volume gv0 exported at : '/'<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :CAP_SYS_RESOURCE was successfully<br></div><div dir="ltr">> removed for proper quota management in FSAL<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> lower_my_caps :NFS STARTUP :EVENT :currenty set capabilities are: =<br></div><div dir="ltr">> cap_chown,cap_dac_override,cap_dac_read_search,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_linux_immutable,cap_net_bind_service,cap_net_broadcast,cap_net_admin,cap_net_raw,cap_ipc_lock,cap_ipc_owner,cap_sys_module,cap_sys_rawio,cap_sys_chroot,cap_sys_ptrace,cap_sys_pacct,cap_sys_admin,cap_sys_boot,cap_sys_nice,cap_sys_time,cap_sys_tty_config,cap_mknod,cap_lease,cap_audit_write,cap_audit_control,cap_setfcap+ep<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_start_grace :STATE :EVENT :NFS Server Now IN GRACE, duration 90<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Init_svc :DISP :CRIT :Cannot acquire credentials for principal nfs<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Init_admin_thread :NFS CB :EVENT :Admin thread initialized<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :EVENT :Callback creds directory<br></div><div dir="ltr">> (/var/run/ganesha) already exists<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_rpc_cb_init_ccache :NFS STARTUP :WARN<br></div><div dir="ltr">> :gssd_refresh_krb5_machine_credential failed (-1765328160:0)<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :Starting delayed executor.<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :9P/TCP dispatcher thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-11937[_9p_disp] _9p_dispatcher_thread :9P DISP :EVENT :9P<br></div><div dir="ltr">> dispatcher started<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :gsh_dbusthread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :admin thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :reaper thread was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_Start_threads :THREAD :EVENT :General fridge was started<br></div><div dir="ltr">> successfully<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT :             NFS SERVER INITIALIZED<br></div><div dir="ltr">> 21/09/2021 09:31:50 : epoch 6149dec6 : yuzz : ganesha.nfsd-11937[main]<br></div><div dir="ltr">> nfs_start :NFS STARTUP :EVENT<br></div><div dir="ltr">> :-------------------------------------------------<br></div><div dir="ltr">> 21/09/2021 09:33:20 : epoch 6149dec6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-11937[reaper] nfs_lift_grace_locked :STATE :EVENT :NFS<br></div><div dir="ltr">> Server Now NOT IN GRACE<br></div><div dir="ltr">> 21/09/2021 11:04:14 : epoch 6149dec6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-11937[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 458296, old: 458293; deq new: 458254,<br></div><div dir="ltr">> old: 458254<br></div><div dir="ltr">> 21/09/2021 11:04:17 : epoch 6149dec6 : yuzz :<br></div><div dir="ltr">> ganesha.nfsd-11937[dbus_heartbeat] nfs_health :DBUS :WARN :Health<br></div><div dir="ltr">> status is unhealthy. enq new: 458454, old: 458388; deq new: 458257,<br></div><div dir="ltr">> old: 458257<br></div><div dir="ltr">> 21/09/2021 11:04:59 : epoch 6149f49b : yuzz : ganesha.nfsd-14569[main]<br></div><div dir="ltr">> main :MAIN :EVENT :ganesha.nfsd Starting: Ganesha Version 2.6.0<br></div><div dir="ltr">________<br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Community Meeting Calendar:<br></div><div dir="ltr"><br></div><div dir="ltr">Schedule -<br></div><div dir="ltr">Every 2nd and 4th Tuesday at 14:30 IST / 09:00 UTC<br></div><div dir="ltr">Bridge: <a href="https://meet.google.com/cpu-eiue-hvk" target="_blank">https://meet.google.com/cpu-eiue-hvk</a><br></div><div dir="ltr">Gluster-users mailing list<br></div><div dir="ltr"><a ymailto="mailto:Gluster-users@gluster.org" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br></div><div dir="ltr"><a href="https://lists.gluster.org/mailman/listinfo/gluster-users" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users</a><br></div> </div> </blockquote></div>