<div dir="ltr"><div dir="ltr">Hi,<div>Our setup: We have a distributed replicated setup of 3 replica. The total number of servers varies between clusters, in some cases we have a total of 36 (12 x 3) servers, in some of them we have 12 servers (4 x 3). We&#39;re using gluster 3.12.15</div><div><br></div><div>In all instances what I am noticing is that only one member of the replica is serving read for a particular file, even when all the members of the replica set is online. We have many large input files (for example: 150GB zip file) and when there are 50 clients reading from one single server the performance degrades by several magnitude for reading that file only. Shouldn&#39;t all members of the replica participate in serving the read requests?</div><div><br></div><div>Our options</div><div><br></div><div>cluster.shd-max-threads: 1</div><div>cluster.heal-timeout: 900</div><div>network.inode-lru-limit: 50000</div><div>performance.md-cache-timeout: 600</div><div>performance.cache-invalidation: on</div><div>performance.stat-prefetch: on</div><div>features.cache-invalidation-timeout: 600</div><div>features.cache-invalidation: on</div><div>cluster.metadata-self-heal: off</div><div>cluster.entry-self-heal: off</div><div>cluster.data-self-heal: off</div><div>features.inode-quota: off</div><div>features.quota: off</div><div>transport.listen-backlog: 100</div><div>transport.address-family: inet</div><div>performance.readdir-ahead: on</div><div>nfs.disable: on</div><div>performance.strict-o-direct: on</div><div>network.remote-dio: off</div><div>server.allow-insecure: on</div><div>performance.write-behind: off</div><div>cluster.nufa: disable</div><div>diagnostics.latency-measurement: on</div><div>diagnostics.count-fop-hits: on</div><div>cluster.ensure-durability: off</div><div>cluster.self-heal-window-size: 32</div><div>cluster.favorite-child-policy: mtime</div><div>performance.io-thread-count: 32</div><div>cluster.eager-lock: off</div><div>server.outstanding-rpc-limit: 128</div><div>cluster.rebal-throttle: aggressive</div><div>server.event-threads: 3</div><div>client.event-threads: 3</div><div>performance.cache-size: 6GB</div><div>cluster.readdir-optimize: on</div><div>storage.build-pgfid: on</div><div><br></div><div><br></div><div><br></div><div><br></div></div></div>