<div dir="ltr">HI Alexander,<div>                              Thanks for the update. Initially, I  also thought of deploying Ceph but ceph is quite difficult to set-up and manage. Moreover, it's also  hardware demanding. I think it's most suitable for a very large set-up  with hundreds of clients. </div><div><br></div><div>What do you think of MooseFS ?  Have you or anyone else tried MooseFS. If yes, how was its performance?</div><div><br></div><div>Thanks,</div><div>Gagan</div><div><br></div><div><br></div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Thu, Apr 17, 2025 at 1:45 PM Alexander Schreiber <<a href="mailto:als@thangorodrim.ch">als@thangorodrim.ch</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, Apr 17, 2025 at 09:40:08AM +0530, gagan tiwari wrote:<br>
> Hi Guys,<br>
>                  We have been  using OpenZFS in our HPC environment for<br>
> quite some time. And OpenZFS was going fine.<br>
> <br>
> But we are now running into scalability issues since OpenZFS can't be<br>
> scaled out.<br>
<br>
Since ZFS is a local FS, you are essentially limited to how much storage<br>
you can stick into one machine, yes.<br>
<br>
> So, I am planning to use Gluster on top of OpenZFS.<br>
<br>
I don't think that is giving you the kind of long term scalability<br>
you might expect.<br>
<br>
> So, I wanted to know if anyone has tried it. if yes, how it was and any<br>
> deployment guide for it.<br>
<br>
I'm running GlusterFS in a small cluster for backup storage.<br>
<br>
> We have an HPC environment . Data security and extremely fast read<br>
> performance is very important for us.<br>
> <br>
> So, please advise.<br>
<br>
For that use case I would actually recommend Ceph over GlusterFS, since<br>
that can be pretty easily scaled out to very large setups, e.g. CERN is<br>
using multiple Ceph clusters sized at several PB and their use cases<br>
usually include very fast I/O.<br>
<br>
Another concern is that Ceph is being quite actively developed whereas<br>
GlusterFS development seems to have slowed down to ... not much, these days.<br>
<br>
Kind regards,<br>
            Alex.<br>
-- <br>
"Opportunity is missed by most people because it is dressed in overalls and<br>
 looks like work."                                      -- Thomas A. Edison<br>
</blockquote></div>