<div dir="ltr">Hello all,<br><div class="gmail_quote"><div dir="ltr"><br>I&#39;m setting up GlusterFS on 2 hw w/ same configuration, 8  hdds. This deployment will grow later on.<br><br>I&#39;m undecided between these different configurations and am seeing comments or advice from more experienced users of GlusterFS.<br><br>Here is the summary of 3 options:<br>1. 1 brick per host, Gluster &quot;distributed&quot; volumes, internal redundancy at brick level<br><div>2. 1 brick per drive, Gluster &quot;distributed replicated&quot; volumes, no internal redundancy</div><div>3. 1 brick per host, Gluster &quot;distributed replicated&quot; volumes, no internal redundancy<br></div><br><div>I don&#39;t know how the performance of these different configurations would compare. The workload is HPC and ML-training, data-heavy, metadata-light.<br></div><div><br></div><div><br></div># 1 brick per host, simplified cluster management, higher blast-radius<br><br>having 1 brick per host (/data/bricks/hdd0) where each brick is a ZFS raid10 of 8 hdd.<br>Pros:<br>* I know ZFS raid10 performs very well.<br>* simpler management of Gluster at the Host-brick level.<br>* using Gluster in &quot;distributed&quot; mode, no replication (is this a pro?)<br><div>* don&#39;t need to worry about GlusterFS performance with &quot;distributed replicated&quot;</div><div>* future hosts can have raidz2 + hot spares or whatnot<br></div>Cons:<br>* large blast radius, if a zfs volume goes bad or node goes bad, I lose data.<br>* not using &quot;distributed replicated&quot; (is this a con?)<br>* I can&#39;t use hosts without internal redundancy later on?<br><br><br># 1 brick per hard disk, fine grained device management on Gluster, smaller blast-radius.<br><br>Having 1 brick per drive (/data/bricks/hddN for 1 to X drives on box), each brick would still use ZFS.<br>Pros:<br>* 1 drive blast radius, the ideal.<br>* GlusterFS w/ distributed replicated<br>* no complicated host-fault management or runbook, I can use hosts with low availability<br>Cons: <br>* distributed replicated performance vs zfs raid10<br>* managing on gluster at the disk level can be more time consuming<br>* managing disk spares and replacements w/ gluster<br><div><br></div><div><br></div><div># 1 brick per host, coarse grained brick management on Gluster, Gluster for replication.<br></div><div><br>having 1 brick per host (/data/bricks/hdd0) where each brick is a ZFS raid0 of 8 hdd.<br><br>Pros:<br>* I know ZFS raid0 performs very well.<br>* simpler management of Gluster at the Host-brick level.<br>* using Gluster for redundancy (is this a pro?)</div><div>* system can use lower redundancy hosts<br>Cons:<br>* large blast radius, replicating a whole host takes longer.</div><div><br></div><div>Any comments or advice is welcome<br></div><div><br></div><div><br></div><div>Thanks in advance,</div><div><br></div><div>-- Miguel Filipe<br></div></div></div></div>