<div dir="ltr"><div class="gmail_default" style=""><span style="font-family:verdana,sans-serif">I am just running this bash script which will start the </span><font face="trebuchet ms, sans-serif">rancher-glusterfs-client</font><font face="verdana, sans-serif"> container:</font></div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif"><span class="gmail-im" style="font-family:arial,sans-serif;font-size:12.8px"><div class="gmail_default"><font face="trebuchet ms, sans-serif">[root@node-a ~]# cat rancher-glusterfs-client.sh</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif">#!/bin/bash</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif">sudo docker run --privileged \</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif">        --name=gluster-client \</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif">        -d \</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif">        -v /sys/fs/cgroup:/sys/fs/cgroup \</font></div></span><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="trebuchet ms, sans-serif">        -v /var/log/glusterfs:/var/log/<wbr>glusterfs \</font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="trebuchet ms, sans-serif">        --env GLUSTER_PEER=10.128.0.12,10.<wbr>128.0.15,10.128.0.16 \</font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="trebuchet ms, sans-serif">        nixel/rancher-glusterfs-client</font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="trebuchet ms, sans-serif"><br></font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="trebuchet ms, sans-serif"><br></font></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 4, 2017 at 6:26 PM, Jose A. Rivera <span dir="ltr">&lt;<a href="mailto:jarrpa@redhat.com" target="_blank">jarrpa@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">What is the exact command you&#39;re running?<br>
<div class="HOEnZb"><div class="h5"><br>
On Mon, Sep 4, 2017 at 4:26 AM, Gaurav Chhabra &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt; wrote:<br>
&gt; Hi Jose,<br>
&gt;<br>
&gt;<br>
&gt; From this link, it seems mount.glusterfs might actually be present in the<br>
&gt; container that launched and quickly terminated.<br>
&gt;<br>
&gt; <a href="https://unix.stackexchange.com/questions/312178/glusterfs-replicated-volume-mounting-issue" rel="noreferrer" target="_blank">https://unix.stackexchange.<wbr>com/questions/312178/<wbr>glusterfs-replicated-volume-<wbr>mounting-issue</a><br>
&gt;<br>
&gt; If you check the question that the user posted, the same error (Mount<br>
&gt; failed) was reported that i sent you in the last email.<br>
&gt;<br>
&gt; After seeing the above, i checked /var/log/glusterfs on my host (RancherOS)<br>
&gt; but it was empty. I ran the container again but with explicit volume mount<br>
&gt; as shown below:<br>
&gt;<br>
&gt; [root@node-a ~]# cat rancher-glusterfs-client.sh<br>
&gt; #!/bin/bash<br>
&gt; sudo docker run --privileged \<br>
&gt;         --name=gluster-client \<br>
&gt;         -d \<br>
&gt;         -v /sys/fs/cgroup:/sys/fs/cgroup \<br>
&gt;         -v /var/log/glusterfs:/var/log/<wbr>glusterfs \<br>
&gt;         --env GLUSTER_PEER=10.128.0.12,10.<wbr>128.0.15,10.128.0.16 \<br>
&gt;         nixel/rancher-glusterfs-client<br>
&gt; This time, i could see a log file (/var/log/glusterfs/mnt-<wbr>ranchervol.log)<br>
&gt; present. I have attached the content of the same. Also attached are logs<br>
&gt; from Heketi client/server (both on one node) and Gluster cluster.<br>
&gt;<br>
&gt;<br>
&gt; Regards,<br>
&gt; Gaurav<br>
&gt;<br>
&gt;<br>
&gt; On Mon, Sep 4, 2017 at 2:29 PM, Gaurav Chhabra &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Hi Jose,<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; I tried setting up things using the link you provided and i was able to<br>
&gt;&gt; get all steps working for 3 node Gluster cluster, all running on CentOS7,<br>
&gt;&gt; without any issue. However, as expected, when i tried configuring Kubernetes<br>
&gt;&gt; by installing nixel/rancher-glusterfs-client container, i got error:<br>
&gt;&gt;<br>
&gt;&gt; [root@node-a ~]# cat rancher-glusterfs-client.sh<br>
&gt;&gt; #!/bin/bash<br>
&gt;&gt; sudo docker run --privileged \<br>
&gt;&gt;         --name=gluster-client \<br>
&gt;&gt;         -d \<br>
&gt;&gt;         -v /sys/fs/cgroup:/sys/fs/cgroup \<br>
&gt;&gt;         --env GLUSTER_PEER=10.128.0.12,10.<wbr>128.0.15,10.128.0.16 \<br>
&gt;&gt;         nixel/rancher-glusterfs-client<br>
&gt;&gt;<br>
&gt;&gt; [root@node-a ~]# ./rancher-glusterfs-client.sh<br>
&gt;&gt; ac069caccdce147d6f423fc5661663<wbr>45191dbc1b11f3416c66207a1fd11f<wbr>da6b<br>
&gt;&gt;<br>
&gt;&gt; [root@node-a ~]# docker logs gluster-client<br>
&gt;&gt; =&gt; Checking if I can reach GlusterFS node 10.128.0.12 ...<br>
&gt;&gt; =&gt; GlusterFS node 10.128.0.12 is alive<br>
&gt;&gt; =&gt; Mounting GlusterFS volume ranchervol from GlusterFS node 10.128.0.12<br>
&gt;&gt; ...<br>
&gt;&gt; Mount failed. Please check the log file for more details.<br>
&gt;&gt;<br>
&gt;&gt; If i try running the next step as described in your link, i get the<br>
&gt;&gt; following:<br>
&gt;&gt;<br>
&gt;&gt; [root@node-a ~]# modprobe fuse<br>
&gt;&gt; modprobe: module fuse not found in modules.dep<br>
&gt;&gt;<br>
&gt;&gt; Since the container failed to start, i could only check on the host<br>
&gt;&gt; (RancherOS) and i could only find two mount-related commands: mount &amp;<br>
&gt;&gt; mountpoint<br>
&gt;&gt;<br>
&gt;&gt; Any pointers?<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Regards,<br>
&gt;&gt; Gaurav<br>
&gt;&gt;<br>
&gt;&gt; On Sun, Sep 3, 2017 at 11:18 PM, Jose A. Rivera &lt;<a href="mailto:jarrpa@redhat.com">jarrpa@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Installing the glusterfs-client container should be fine. :) The main<br>
&gt;&gt;&gt; thing that&#39;s needed is that all your Kubernetes nodes need to have the<br>
&gt;&gt;&gt; &quot;mount.glusterfs&quot; command available so Kube can mount the GlusterFS<br>
&gt;&gt;&gt; volumes and present them to the pods.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Sun, Sep 3, 2017 at 12:14 PM, Gaurav Chhabra<br>
&gt;&gt;&gt; &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt; Thanks Jose. The link you&#39;ve suggested looks good but again it expects<br>
&gt;&gt;&gt; &gt; me to<br>
&gt;&gt;&gt; &gt; install gluster-client on Kubernetes node and i fall into the same<br>
&gt;&gt;&gt; &gt; issue of<br>
&gt;&gt;&gt; &gt; installing a container for glusterfs. Only difference is that this time<br>
&gt;&gt;&gt; &gt; it&#39;s<br>
&gt;&gt;&gt; &gt; glusterfs-client and not glusterfs-server. :)<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; I will try this out and let you know tomorrow.<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; Regards,<br>
&gt;&gt;&gt; &gt; Gaurav<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; On Sun, Sep 3, 2017 at 2:11 AM, Jose A. Rivera &lt;<a href="mailto:jarrpa@redhat.com">jarrpa@redhat.com</a>&gt;<br>
&gt;&gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Hey, no problem! I&#39;m eager to learn more about different flavors of<br>
&gt;&gt;&gt; &gt;&gt; Linux, I just apologize for my relative inexperience with them. :)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; To that end, I will also admit I&#39;m not very experienced with direct<br>
&gt;&gt;&gt; &gt;&gt; Docker myself. I understand the basic workflow and know some of the<br>
&gt;&gt;&gt; &gt;&gt; run options, but not having deep experience keeps me from having a<br>
&gt;&gt;&gt; &gt;&gt; better understanding of the patterns and consequences.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Thus, I&#39;d like to guide you in a direction I&#39;d more apt to help you in<br>
&gt;&gt;&gt; &gt;&gt; right now. I know that you can&#39;t have multiple GlusterFS servers<br>
&gt;&gt;&gt; &gt;&gt; running on the same nodes, and I know that we have been successfully<br>
&gt;&gt;&gt; &gt;&gt; running several configurations using our gluster/gluster-centos image.<br>
&gt;&gt;&gt; &gt;&gt; If you follow the Kubernetes configuration on gluster-kubernetes, the<br>
&gt;&gt;&gt; &gt;&gt; pod/container is run privileged and with host networking, and we<br>
&gt;&gt;&gt; &gt;&gt; require that the node has all listed ports open, not just 2222. The<br>
&gt;&gt;&gt; &gt;&gt; sshd running in the container is listening on 2222, not 22, but it is<br>
&gt;&gt;&gt; &gt;&gt; also not really required if you&#39;re not doing geo-replication.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Alternatively, you can indeed run GlusterFS outside of Kubernetes but<br>
&gt;&gt;&gt; &gt;&gt; still have Kubernetes apps access GlusterFS storage. The nodes can be<br>
&gt;&gt;&gt; &gt;&gt; anything you want, they just need to be running GlusterFS and you need<br>
&gt;&gt;&gt; &gt;&gt; a heketi service managing them. Here is an example of how to set this<br>
&gt;&gt;&gt; &gt;&gt; up using CentOS:<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; <a href="https://github.com/gluster/gluster-kubernetes/tree/master/docs/examples/dynamic_provisioning_external_gluster" rel="noreferrer" target="_blank">https://github.com/gluster/<wbr>gluster-kubernetes/tree/<wbr>master/docs/examples/dynamic_<wbr>provisioning_external_gluster</a><br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Hope this is at least leading you in a useful direction. :)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; --Jose<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; On Sat, Sep 2, 2017 at 3:16 PM, Gaurav Chhabra<br>
&gt;&gt;&gt; &gt;&gt; &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt; Hi Jose,<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; webcenter/rancher-glusterfs-<wbr>server is actually a container provided<br>
&gt;&gt;&gt; &gt;&gt; &gt; by<br>
&gt;&gt;&gt; &gt;&gt; &gt; Sebastien, its maintainer. It&#39;s a Docker container which has<br>
&gt;&gt;&gt; &gt;&gt; &gt; GlusterFS<br>
&gt;&gt;&gt; &gt;&gt; &gt; server running within it. On the host i.e., RancherOS, there is no<br>
&gt;&gt;&gt; &gt;&gt; &gt; separate<br>
&gt;&gt;&gt; &gt;&gt; &gt; GlusterFS server running because we cannot install anything that<br>
&gt;&gt;&gt; &gt;&gt; &gt; way.<br>
&gt;&gt;&gt; &gt;&gt; &gt; Running using container is the only way so i started<br>
&gt;&gt;&gt; &gt;&gt; &gt; ancher-glusterfs-server<br>
&gt;&gt;&gt; &gt;&gt; &gt; container with the following parameters:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; [root@node-1 rancher]# cat gluster-server.sh<br>
&gt;&gt;&gt; &gt;&gt; &gt; #!/bin/bash<br>
&gt;&gt;&gt; &gt;&gt; &gt; sudo docker run --name=gluster-server -d \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --env &#39;SERVICE_NAME=gluster&#39; \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --restart always \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --publish 2222:22 \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         webcenter/rancher-glusterfs-<wbr>server<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Here&#39;s the link to the dockerfile:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="https://hub.docker.com/r/webcenter/rancher-glusterfs-server/~/dockerfile/" rel="noreferrer" target="_blank">https://hub.docker.com/r/<wbr>webcenter/rancher-glusterfs-<wbr>server/~/dockerfile/</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; It&#39;s similar to other GlusteFS containers provided by other<br>
&gt;&gt;&gt; &gt;&gt; &gt; maintainers<br>
&gt;&gt;&gt; &gt;&gt; &gt; for<br>
&gt;&gt;&gt; &gt;&gt; &gt; different OS. For example, for CentOS, we have<br>
&gt;&gt;&gt; &gt;&gt; &gt; <a href="https://hub.docker.com/r/gluster/gluster-centos/~/dockerfile/" rel="noreferrer" target="_blank">https://hub.docker.com/r/<wbr>gluster/gluster-centos/~/<wbr>dockerfile/</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; From what i understand, Heketi does support container based<br>
&gt;&gt;&gt; &gt;&gt; &gt; GlusterFS<br>
&gt;&gt;&gt; &gt;&gt; &gt; server<br>
&gt;&gt;&gt; &gt;&gt; &gt; as mentioned in the prerequisite where it says:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; &quot;Each node must have the following ports opened for GlusterFS<br>
&gt;&gt;&gt; &gt;&gt; &gt; communications:<br>
&gt;&gt;&gt; &gt;&gt; &gt;  2222 - GlusterFS pod&#39;s sshd&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; That&#39;s the reason i&#39;ve exposed port 2222 for 22 as shown above.<br>
&gt;&gt;&gt; &gt;&gt; &gt; Please<br>
&gt;&gt;&gt; &gt;&gt; &gt; correct me if i misunderstood it.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; As soon as i run the above script (gluster-server.sh), it<br>
&gt;&gt;&gt; &gt;&gt; &gt; automatically<br>
&gt;&gt;&gt; &gt;&gt; &gt; creates the following directories on host. This should have ideally<br>
&gt;&gt;&gt; &gt;&gt; &gt; not<br>
&gt;&gt;&gt; &gt;&gt; &gt; been<br>
&gt;&gt;&gt; &gt;&gt; &gt; empty as you mentioned.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; /etc/glusterfs    /var/lib/glusterd    /var/log/glusterfs<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Just wanted to know in which circumstances do we get this specific<br>
&gt;&gt;&gt; &gt;&gt; &gt; error<br>
&gt;&gt;&gt; &gt;&gt; &gt; (Failed to get D-Bus connection: Operation not permitted) related to<br>
&gt;&gt;&gt; &gt;&gt; &gt; Readiness probe failing. Searching online took me to discussions<br>
&gt;&gt;&gt; &gt;&gt; &gt; around<br>
&gt;&gt;&gt; &gt;&gt; &gt; running container in privileged mode and some directory to be<br>
&gt;&gt;&gt; &gt;&gt; &gt; mounted.<br>
&gt;&gt;&gt; &gt;&gt; &gt; Based<br>
&gt;&gt;&gt; &gt;&gt; &gt; on that, i also modified my container startup script to the<br>
&gt;&gt;&gt; &gt;&gt; &gt; following:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; #!/bin/bash<br>
&gt;&gt;&gt; &gt;&gt; &gt; sudo docker run --privileged \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --name=gluster-server \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         -d \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         -v /sys/fs/cgroup:/sys/fs/cgroup \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         -v /etc/glusterfs:/etc/glusterfs \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         -v /var/lib/glusterd:/var/lib/<wbr>glusterd \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         -v /var/log/glusterfs:/var/log/<wbr>glusterfs \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --env &#39;SERVICE_NAME=gluster&#39; \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --restart always \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         --publish 2222:22 \<br>
&gt;&gt;&gt; &gt;&gt; &gt;         webcenter/rancher-glusterfs-<wbr>server<br>
&gt;&gt;&gt; &gt;&gt; &gt; Still, the issue persists.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; I also logged into the container and checked whether systemctl<br>
&gt;&gt;&gt; &gt;&gt; &gt; command<br>
&gt;&gt;&gt; &gt;&gt; &gt; is<br>
&gt;&gt;&gt; &gt;&gt; &gt; present. It was there but manualy running the command also doesn&#39;t<br>
&gt;&gt;&gt; &gt;&gt; &gt; work:<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; [root@node-c ~]# docker exec -it gluster-server /bin/bash<br>
&gt;&gt;&gt; &gt;&gt; &gt; root@42150f203f80:/app# systemctl status glusterd.service<br>
&gt;&gt;&gt; &gt;&gt; &gt; WARNING: terminal is not fully functional<br>
&gt;&gt;&gt; &gt;&gt; &gt; Failed to connect to bus: No such file or directory<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Under section &#39;ADVANCED OPTIONS - Security/Host&#39; in this link, it<br>
&gt;&gt;&gt; &gt;&gt; &gt; talks<br>
&gt;&gt;&gt; &gt;&gt; &gt; about SYS_ADMIN setting. Any idea how i can try this?<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Also, there was this mentioned in the Heketi setup page:<br>
&gt;&gt;&gt; &gt;&gt; &gt; &quot;If you are not able to deploy a hyper-converged GlusterFS cluster,<br>
&gt;&gt;&gt; &gt;&gt; &gt; you<br>
&gt;&gt;&gt; &gt;&gt; &gt; must<br>
&gt;&gt;&gt; &gt;&gt; &gt; have one running somewhere that the Kubernetes nodes can access&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; Does it mean running the three node Gluster cluster outside<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; Kubernetes,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; may be on some VM running on RHEL/CentOS etc? If yes, then how<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; will i<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; be<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; able to tell Gluster which volume from the Kubernetes cluster pod<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; to<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; sync?<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;&gt;&gt; Any references?<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; I really appreciate your responses despite the fact that you&#39;ve not<br>
&gt;&gt;&gt; &gt;&gt; &gt; used<br>
&gt;&gt;&gt; &gt;&gt; &gt; RancherOS but still trying to help.<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; Thanks,<br>
&gt;&gt;&gt; &gt;&gt; &gt; Gaurav<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; On Sat, Sep 2, 2017 at 7:35 PM, Jose A. Rivera &lt;<a href="mailto:jarrpa@redhat.com">jarrpa@redhat.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; I&#39;m afraid I have no experience with RancherOS, so I may be missing<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; some things about how it works. My primary experience is with<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; Fedora,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; CentOS, and Ubuntu.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; What is webcenter/rancher-glusterfs-<wbr>server? If it&#39;s running another<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; glusterd then you probably don&#39;t want to be running it and should<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; remove it from your systems.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; The glusterfs pods mount hostpath volumes from the host they&#39;re<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; running on to persist their configuration. Thus anything they write<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; to<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; those directories should land on the host. If that&#39;s not happening<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; then that&#39;s an additional problem.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; --Jose<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; On Fri, Sep 1, 2017 at 11:17 PM, Gaurav Chhabra<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; Hi Jose,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; I tried your suggestion but there is one confusion regarding<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; point<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; #3.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; Since<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; RancherOS has everything running as container, i am running<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; webcenter/rancher-glusterfs-<wbr>server container on all three nodes.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; Now<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; as<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; far<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; as removing the directories are concerned, i hope you meant<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; removing<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; them on<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; the host and _not_ from within the container. After completing<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; step 1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; and 2,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; i checked the contents of all the directories that you specified<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; in<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; point<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; #3. All were empty as you can see in the attached other_logs.txt.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; So<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; i<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; got<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; confused. I ran the deploy again but the issue persists. Two pods<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; show<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; Liveness error and the third one, Readiness error.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; I then tried removing those directories (Step #3) from within the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; container<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; but getting following error:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; root@c0f8ab4d92a2:/app# rm -rf /var/lib/heketi /etc/glusterfs<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; /var/lib/glusterd /var/log/glusterfs<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; rm: cannot remove &#39;/var/lib/glusterd&#39;: Device or resource busy<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; On Fri, Sep 1, 2017 at 8:21 PM, Jose A. Rivera<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; &lt;<a href="mailto:jarrpa@redhat.com">jarrpa@redhat.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; 1. Add a line to the ssh-exec portion of heketi.json of the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; sort:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &quot;sudo&quot;: true,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; 2. Run<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; gk-deploy -g --abort<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; 3. On the nodes that were/will be running GlusterFS pods, run:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; rm -rf /var/lib/heketi /etc/glusterfs /var/lib/glusterd<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; /var/log/glusterfs<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Then try the deploy again.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; On Fri, Sep 1, 2017 at 6:05 AM, Gaurav Chhabra<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Hi Jose,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Thanks for the reply. It seems the three gluster pods might<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; have<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; been<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; a<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; copy-paste from another set of cluster where i was trying to<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; setup<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; same<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; thing using CentOS. Sorry for that. By the way, i did check<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; for<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; kernel<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; modules and it seems it&#39;s already there. Also, i am attaching<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; fresh<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; set<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; of<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; files because i created a new cluster and thought of giving it<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; a<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; try<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; again.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Issue still persists. :(<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; In heketi.json, there is a slight change w.r.t the user which<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; connects<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; to<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; glusterfs node using SSH. I am not sure how Heketi was using<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; root<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; user<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; to<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; login because i wasn&#39;t able to use root and do manual SSH.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; With<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; rancher<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; user, i can login successfully so i think this should be fine.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /etc/heketi/heketi.json:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;executor&quot;: &quot;ssh&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;_sshexec_comment&quot;: &quot;SSH username and private key file<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; information&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;sshexec&quot;: {<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;keyfile&quot;: &quot;/var/lib/heketi/.ssh/id_rsa&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;user&quot;: &quot;rancher&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;port&quot;: &quot;22&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;fstab&quot;: &quot;/etc/fstab&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     },<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Before running gk-deploy:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@workstation deploy]# kubectl get<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; nodes,pods,daemonset,<wbr>deployments,services<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                                     STATUS    AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; VERSION<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-a.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-b.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-c.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME             CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; svc/kubernetes   10.43.0.1    &lt;none&gt;        443/TCP   3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; After running gk-deploy:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@workstation messagegc]# kubectl get<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; nodes,pods,daemonset,<wbr>deployments,services<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                                     STATUS    AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; VERSION<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-a.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-b.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-c.c.kubernetes-174104.<wbr>internal   Ready     3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                 READY     STATUS    RESTARTS   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-0j9l5   0/1       Running   0          2m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-gqz4c   0/1       Running   0          2m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-gxvcb   0/1       Running   0          2m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME           DESIRED   CURRENT   READY     UP-TO-DATE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; AVAILABLE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NODE-SELECTOR           AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ds/glusterfs   3         3         0         3            0<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; storagenode=glusterfs   2m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME             CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; svc/kubernetes   10.43.0.1    &lt;none&gt;        443/TCP   3h<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Kernel module check on all three nodes:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@node-a ~]# find /lib*/modules/$(uname -r) -name *.ko |<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; grep<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; &#39;thin-pool\|snapshot\|mirror&#39; | xargs ls -ltr<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         92310 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib64/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-thin-<wbr>pool.ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         56982 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib64/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-snapshot.<wbr>ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         27070 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib64/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-mirror.ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         92310 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-thin-<wbr>pool.ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         56982 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-snapshot.<wbr>ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; -rw-r--r--    1 root     root         27070 Jun 26 04:13<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; /lib/modules/4.9.34-rancher/<wbr>kernel/drivers/md/dm-mirror.ko<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Error snapshot attached.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; In my first mail, i checked that Readiness Probe failure check<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; has<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; this<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; code<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; in kube-templates/glusterfs-<wbr>daemonset.yaml file:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         readinessProbe:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           timeoutSeconds: 3<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           initialDelaySeconds: 40<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           exec:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             command:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - &quot;/bin/bash&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - &quot;-c&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - systemctl status glusterd.service<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           periodSeconds: 25<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           successThreshold: 1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           failureThreshold: 15<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; I tried logging into glustefs container on one of the node and<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ran<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; above<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; command:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@node-a ~]# docker exec -it c0f8ab4d92a23b6df2 /bin/bash<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; root@c0f8ab4d92a2:/app# systemctl status glusterd.service<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; WARNING: terminal is not fully functional<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Failed to connect to bus: No such file or directory<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Any check that i can do manually on nodes to debug further?<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Any<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; suggestions?<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; On Thu, Aug 31, 2017 at 6:53 PM, Jose A. Rivera<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; &lt;<a href="mailto:jarrpa@redhat.com">jarrpa@redhat.com</a>&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Hey Gaurav,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; The kernel modules must be loaded on all nodes that will run<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; heketi<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; pods. Additionally, you must have at least three nodes<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; specified<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; in<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; your topology file. I&#39;m not sure how you&#39;re getting three<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; gluster<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; pods<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; when you only have two nodes defined... :)<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; --Jose<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; On Wed, Aug 30, 2017 at 5:27 AM, Gaurav Chhabra<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:varuag.chhabra@gmail.com">varuag.chhabra@gmail.com</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Hi,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; I have the following setup in place:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; 1 node    : RancherOS having Rancher application for<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Kubernetes<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; setup<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; 2 nodes  : RancherOS having Rancher agent<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; 1 node   : CentOS 7 workstation having kubectl installed<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; and<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; folder<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; cloned/downloaded from<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; <a href="https://github.com/gluster/gluster-kubernetes" rel="noreferrer" target="_blank">https://github.com/gluster/<wbr>gluster-kubernetes</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; using<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; which i run Heketi setup (gk-deploy -g)<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; I also have rancher-glusterfs-server container running with<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; following<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; configuration:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@node-1 rancher]# cat gluster-server.sh<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; #!/bin/bash<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; sudo docker run --name=gluster-server -d \<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         --env &#39;SERVICE_NAME=gluster&#39; \<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         --restart always \<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         --env &#39;GLUSTER_DATA=/srv/docker/<wbr>gitlab&#39; \<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         --publish 2222:22 \<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         webcenter/rancher-glusterfs-<wbr>server<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; In /etc/heketi/heketi.json, following is the only modified<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; portion:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;executor&quot;: &quot;ssh&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;_sshexec_comment&quot;: &quot;SSH username and private key file<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; information&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     &quot;sshexec&quot;: {<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;keyfile&quot;: &quot;/var/lib/heketi/.ssh/id_rsa&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;user&quot;: &quot;root&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;port&quot;: &quot;22&quot;,<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;       &quot;fstab&quot;: &quot;/etc/fstab&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;     },<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Status before running gk-deploy:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@workstation deploy]# kubectl get<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; nodes,pods,services,<wbr>deployments<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                                     STATUS    AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; VERSION<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-1.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-2.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-3.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME             CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; svc/kubernetes   10.43.0.1    &lt;none&gt;        443/TCP   2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Now when i run &#39;gk-deploy -g&#39;, in the Rancher console, i<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; see<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; following<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; error:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Readiness probe failed: Failed to get D-Bus connection:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Operation<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; not<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; permitted<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; From the attached gk-deploy_log i see that it failed at:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Waiting for GlusterFS pods to start ... pods not found.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; In the kube-templates/glusterfs-<wbr>daemonset.yaml file, i see<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; this<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; for<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Readiness probe section:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;         readinessProbe:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           timeoutSeconds: 3<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           initialDelaySeconds: 40<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           exec:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             command:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - &quot;/bin/bash&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - &quot;-c&quot;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;             - systemctl status glusterd.service<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           periodSeconds: 25<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           successThreshold: 1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;           failureThreshold: 15<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ------------------------------<wbr>------------------------------<wbr>------<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Status after running gk-deploy:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; [root@workstation deploy]# kubectl get<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; nodes,pods,deployments,<wbr>services<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                                     STATUS    AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; VERSION<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-1.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-2.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; no/node-3.c.kubernetes-174104.<wbr>internal   Ready     2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; v1.7.2-rancher1<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME                 READY     STATUS    RESTARTS   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-0s440   0/1       Running   0          1m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-j7dgr   0/1       Running   0          1m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; po/glusterfs-p6jl3   0/1       Running   0          1m<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; NAME             CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; svc/kubernetes   10.43.0.1    &lt;none&gt;        443/TCP   2d<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Also, from prerequisite perspective, i was also seeing this<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; mentioned:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; The following kernel modules must be loaded:<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;  * dm_snapshot<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;  * dm_mirror<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;  * dm_thin_pool<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Where exactly is this to be checked? On all Gluster server<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; nodes?<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; How<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; can i<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; check whether it&#39;s there?<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; I have attached topology.json and gk-deploy log for<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; reference.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Does this issue has anything to do with the host OS<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; (RancherOS)<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; that<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; i<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; am<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; using for Gluster nodes? Any idea how i can fix this? Any<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; help<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; will<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; really<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; be appreciated.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Thanks.<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; heketi-devel mailing list<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; <a href="mailto:heketi-devel@gluster.org">heketi-devel@gluster.org</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; <a href="http://lists.gluster.org/mailman/listinfo/heketi-devel" rel="noreferrer" target="_blank">http://lists.gluster.org/<wbr>mailman/listinfo/heketi-devel</a><br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
</div></div></blockquote></div><br></div>