<div dir="ltr">Just for the sake of completeness. This is one of the exceptions after a couple of minutes pushing logs into a 3 node ES cluster..<div><br></div><div>org.apache.lucene.index.CorruptIndexException: compound sub-files must have a valid codec header and footer: file is too small (0 bytes) (resource=BufferedChecksumIndexInput(MMapIndexInput(path=&quot;/data/data/nodes/0/indices/PVlM9sYYT6akalR-ZN-BpQ/2/index/_6b.fdx&quot;)))<br></div></div><br><div class="gmail_quote"><div dir="ltr">Christopher Schmidt &lt;<a href="mailto:fakod666@gmail.com">fakod666@gmail.com</a>&gt; schrieb am Di., 29. Aug. 2017 um 08:22 Uhr:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">OK, tried gluster/gluster-centos:latest with turned off all performance translators:<div>----------------------------</div><div>I cannot see that much lock issues in the glusterd logs as before (so this image is somehow different and uses 3.10.2)</div><div>The ES operator successfully creates a stateful set with 3 distributed volumes, but &quot;gluster volume list&quot; shows 10 volumes.</div><div>3 started, 1 stopped, 6 created. So I assume something sill goes wrong, right?</div><div><br></div><div><br></div><div>gluster/gluster-centos:latest with turned on all performance translators:<br></div><div>-----------------------------</div><div>much faster volume creation. Created 3 distributed volumes and &quot;gluster volume list&quot; reports 3 ones started. </div><div>fine.</div><div><br></div><div><br></div><div><br></div><div>I have two questions now:</div><div>the scripts in gluster-containers seem to create different images than in gluster/gluster-centos:latest (or is this just a version issue?)</div><div>I did not want to refer to a &quot;latest&quot; tagged image, thats why i&#39;ve created my own one (without changing any Dockerfile or script)</div><div>So what is the recommendation here?</div><div><br></div><div>The performance translators seem to be a bit tricky. </div><div>Disabling all results in non working dynamic provisioned K8s volumes (as long as orphaned created gluster volumes are an issue).</div><div>Enabling all has issues f.e. with Kafka or ElasticSearch.</div><div>So, how can I find a working set of translators? Testing?</div><div><br></div><div><br></div><div>thanks for helping anyway, Christopher</div></div><div dir="ltr"><div><br><br><div class="gmail_quote"><div dir="ltr">Jose A. Rivera &lt;<a href="mailto:jarrpa@redhat.com" target="_blank">jarrpa@redhat.com</a>&gt; schrieb am Mo., 28. Aug. 2017 um 18:58 Uhr:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Yes, please try that. :)<br>
<br>
On Mon, Aug 28, 2017 at 8:33 AM, Christopher Schmidt &lt;<a href="mailto:fakod666@gmail.com" target="_blank">fakod666@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt; Jose A. Rivera &lt;<a href="mailto:jarrpa@redhat.com" target="_blank">jarrpa@redhat.com</a>&gt; schrieb am Mo., 28. Aug. 2017 um 14:01<br>
&gt; Uhr:<br>
&gt;&gt;<br>
&gt;&gt; Hey Christopher,<br>
&gt;&gt;<br>
&gt;&gt; On Mon, Aug 28, 2017 at 12:37 AM, Christopher Schmidt<br>
&gt;&gt; &lt;<a href="mailto:fakod666@gmail.com" target="_blank">fakod666@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Hi,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; sorry for the confusion.<br>
&gt;&gt; &gt; I opened this thread, to find an overall working configuration.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; My setup is as follows:<br>
&gt;&gt; &gt; - Container Linux (CoreOS)<br>
&gt;&gt; &gt; - No local installation (except Kubelet, everything (!) else runs in<br>
&gt;&gt; &gt; Containers)<br>
&gt;&gt; &gt; - I am using this deploy scripts for GlusterFS<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; <a href="https://github.com/gluster/gluster-kubernetes/tree/master/deploy/kube-templates" rel="noreferrer" target="_blank">https://github.com/gluster/gluster-kubernetes/tree/master/deploy/kube-templates</a><br>
&gt;&gt; &gt; - I&#39;ve created my own containers with<br>
&gt;&gt; &gt; <a href="https://github.com/gluster/gluster-containers/tree/master/CentOS" rel="noreferrer" target="_blank">https://github.com/gluster/gluster-containers/tree/master/CentOS</a> (so its<br>
&gt;&gt; &gt; Gluster 1.10.5)<br>
&gt;&gt; &gt; - I am using the original container from docker hub heketi/heketi:5<br>
&gt;&gt; &gt; (with a<br>
&gt;&gt; &gt; secret as DB backup, not the gk-deploy script)<br>
&gt;&gt; &gt; - Kubernetes v1.6.8_coreos.0 with 3 masters and 6 minions, gluster pods<br>
&gt;&gt; &gt; on<br>
&gt;&gt; &gt; all minions (3 x 50GB partitions for Gluster on each node, rbac enabled)<br>
&gt;&gt; &gt; - for network policies I use Canal (deployed as pods as well)<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Issues:<br>
&gt;&gt; &gt; - I&#39;ve learned that Kubernetes 1.7.x and GlusterFS is broken, since 1.7<br>
&gt;&gt; &gt; requires GlusterFS &gt; 1.10, right?<br>
&gt;&gt;<br>
&gt;&gt; I imagine you mean GlusterFS 3.10. :) And no, the issue is because the<br>
&gt;&gt; current GlusterFS container uses systemd, which conflicts with the new<br>
&gt;&gt; shared PIC namespace feature in recent versions of Kube and Docker:<br>
&gt;&gt;<br>
&gt;&gt; <a href="https://github.com/kubernetes/kubernetes/issues/48937#issuecomment-319957314" rel="noreferrer" target="_blank">https://github.com/kubernetes/kubernetes/issues/48937#issuecomment-319957314</a><br>
&gt;<br>
&gt;<br>
&gt; oh sure 3.10.. So this fixes also the unsupported mount option I&#39;ve had?<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; &gt; - I was testing K8s 1.5.x with Heketi/GlusterFS and it was fine for me<br>
&gt;&gt; &gt; (but<br>
&gt;&gt; &gt; really only small manual tests a couple of months ago)<br>
&gt;&gt; &gt; - With my configuration (see above) no version of Gluster or Heketi<br>
&gt;&gt; &gt; works<br>
&gt;&gt; &gt; with K8s 1.6.x with dynamic provisioning.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; However, this is not the usual GlusterFS setup you are testing. So I am<br>
&gt;&gt; &gt; sure<br>
&gt;&gt; &gt; I do something wrong. What is noticeable is that creating a volume takes<br>
&gt;&gt; &gt; a<br>
&gt;&gt; &gt; couple of minutes (depending on the volume type) and Heketi has some<br>
&gt;&gt; &gt; issues<br>
&gt;&gt; &gt; with that.<br>
&gt;&gt; &gt; So what can I do? Where to start testing/changing my configuration?<br>
&gt;&gt;<br>
&gt;&gt; Nothing looks immediately wrong to me. Have you tried the same<br>
&gt;&gt; container images that we use in gluster-kubernetes? The only other<br>
&gt;&gt; difference I note is that you&#39;re using Canal whereas out test setups<br>
&gt;&gt; use weave-net.<br>
&gt;<br>
&gt;<br>
&gt; &quot;No&quot;, I&#39;ve build my own image. But all I did is to &quot;docker build -t<br>
&gt; innoq/gluster-centos:gluster3u10_centos7-3.10.5 .&quot;<br>
&gt; from here: <a href="https://github.com/gluster/gluster-containers/tree/master/CentOS" rel="noreferrer" target="_blank">https://github.com/gluster/gluster-containers/tree/master/CentOS</a><br>
&gt;<br>
&gt; anyway, you mean I should try image: gluster/gluster-centos:latest?<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --Jose<br>
&gt;&gt;<br>
&gt;&gt; &gt; regards Christopher<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Humble Chirammal &lt;<a href="mailto:hchiramm@redhat.com" target="_blank">hchiramm@redhat.com</a>&gt; schrieb am Di., 22. Aug. 2017 um<br>
&gt;&gt; &gt; 09:51 Uhr:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Tue, Aug 22, 2017 at 1:14 PM, Michael Adam &lt;<a href="mailto:obnox@samba.org" target="_blank">obnox@samba.org</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; On 2017-08-22 at 07:00 +0000, Christopher Schmidt wrote:<br>
&gt;&gt; &gt;&gt;&gt; &gt; Hi guys,<br>
&gt;&gt; &gt;&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;&gt; &gt; I know it&#39;s difficult to support various installations and<br>
&gt;&gt; &gt;&gt;&gt; &gt; combinations<br>
&gt;&gt; &gt;&gt;&gt; &gt; of<br>
&gt;&gt; &gt;&gt;&gt; &gt; tools.<br>
&gt;&gt; &gt;&gt;&gt; &gt; But I&#39;ll give some Kubernetes training and talks in<br>
&gt;&gt; &gt;&gt;&gt; &gt; September/October.<br>
&gt;&gt; &gt;&gt;&gt; &gt; So what should I recommend? So far I didn&#39;t find a working GlusterFS<br>
&gt;&gt; &gt;&gt;&gt; &gt; Heketi, neither with Kubernetes 1.6.x nor 1.7.x<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Hi Christopher,<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; This statement seems surprising to me.<br>
&gt;&gt; &gt;&gt;&gt; The vagrant environment and the complex tests<br>
&gt;&gt; &gt;&gt;&gt; in the gluster-kubernetes repo<br>
&gt;&gt; &gt;&gt;&gt; (<a href="http://github.com/gluster/gluster-kubernetes" rel="noreferrer" target="_blank">github.com/gluster/gluster-kubernetes</a>)<br>
&gt;&gt; &gt;&gt;&gt; prove that heketi and gluster work in kube 1.6.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Can you give some more details on what&#39;s going wrong?<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; There is another thread opened by Christopher<br>
&gt;&gt; &gt;&gt; <a href="http://lists.gluster.org/pipermail/heketi-devel/2017-August/000166.html" rel="noreferrer" target="_blank">http://lists.gluster.org/pipermail/heketi-devel/2017-August/000166.html</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; --<br>
&gt;&gt; &gt;&gt; Cheers,<br>
&gt;&gt; &gt;&gt; Humble<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt; heketi-devel mailing list<br>
&gt;&gt; &gt; <a href="mailto:heketi-devel@gluster.org" target="_blank">heketi-devel@gluster.org</a><br>
&gt;&gt; &gt; <a href="http://lists.gluster.org/mailman/listinfo/heketi-devel" rel="noreferrer" target="_blank">http://lists.gluster.org/mailman/listinfo/heketi-devel</a><br>
&gt;&gt; &gt;<br>
</blockquote></div></div></div></blockquote></div>