<html><head></head><body><div class="ydpf04ca72ayahoo-style-wrap" style="font-family:courier new, courier, monaco, monospace, sans-serif;font-size:16px;"><div></div>
        <div dir="ltr" data-setdir="false">Can you try with a fresh replica volume with 'virt' group applied ?</div><div dir="ltr" data-setdir="false"><br></div><div dir="ltr" data-setdir="false">Best Regards,</div><div dir="ltr" data-setdir="false">Strahil Nikolov</div><div><br></div>
        
        </div><div id="ydp74d63e68yahoo_quoted_2867254955" class="ydp74d63e68yahoo_quoted">
            <div style="font-family:'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:13px;color:#26282a;">
                
                <div>
                    В сряда, 3 юли 2019 г., 19:18:18 ч. Гринуич+3, Vladimir Melnik &lt;v.melnik@tucha.ua&gt; написа:
                </div>
                <div><br></div>
                <div><br></div>
                <div>Thank you, it helped a little:<br clear="none"><br clear="none">$ for i in {1..5}; do { dd if=/dev/zero of=/mnt/glusterfs1/test.tmp bs=1M count=10 oflag=sync; rm -f /mnt/glusterfs1/test.tmp; } done 2&gt;&amp;1 | grep copied<br clear="none">10485760 bytes (10 MB) copied, 0.738968 s, 14.2 MB/s<br clear="none">10485760 bytes (10 MB) copied, 0.725296 s, 14.5 MB/s<br clear="none">10485760 bytes (10 MB) copied, 0.681508 s, 15.4 MB/s<br clear="none">10485760 bytes (10 MB) copied, 0.85566 s, 12.3 MB/s<br clear="none">10485760 bytes (10 MB) copied, 0.661457 s, 15.9 MB/s<br clear="none"><br clear="none">But 14-15 MB/s is still quite far from the actual storage's performance (200-3000 MB/s). :-(<br clear="none"><br clear="none">Here's full configuration dump (just in case):<br clear="none"><br clear="none">Option&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Value<br clear="none">------&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -----<br clear="none">cluster.lookup-unhashed&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">cluster.lookup-optimize&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">cluster.min-free-disk&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  10%<br clear="none">cluster.min-free-inodes&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  5%<br clear="none">cluster.rebalance-stats&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.subvols-per-directory&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">cluster.readdir-optimize&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.rsync-hash-regex&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">cluster.extra-hash-regex&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">cluster.dht-xattr-name&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; trusted.glusterfs.dht<br clear="none">cluster.randomize-hash-range-by-gfid&nbsp; &nbsp; off<br clear="none">cluster.rebal-throttle&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; normal<br clear="none">cluster.lock-migration&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.force-migration&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.local-volume-name&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">cluster.weighted-rebalance&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">cluster.switch-pattern&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">cluster.entry-change-log&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">cluster.read-subvolume&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">cluster.read-subvolume-index&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -1<br clear="none">cluster.read-hash-mode&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">cluster.background-self-heal-count&nbsp; &nbsp; &nbsp; 8<br clear="none">cluster.metadata-self-heal&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.data-self-heal&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.entry-self-heal&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.self-heal-daemon&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">cluster.heal-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 600<br clear="none">cluster.self-heal-window-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1<br clear="none">cluster.data-change-log&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">cluster.metadata-change-log&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">cluster.data-self-heal-algorithm&nbsp; &nbsp; &nbsp; &nbsp; full<br clear="none">cluster.eager-lock&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; enable<br clear="none">disperse.eager-lock&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">disperse.other-eager-lock&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">disperse.eager-lock-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1<br clear="none">disperse.other-eager-lock-timeout&nbsp; &nbsp; &nbsp;  1<br clear="none">cluster.quorum-type&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  auto<br clear="none">cluster.quorum-count&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">cluster.choose-local&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.self-heal-readdir-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1KB<br clear="none">cluster.post-op-delay-secs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">cluster.ensure-durability&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">cluster.consistent-metadata&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  no<br clear="none">cluster.heal-wait-queue-length&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 128<br clear="none">cluster.favorite-child-policy&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  none<br clear="none">cluster.full-lock&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  yes<br clear="none">diagnostics.latency-measurement&nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">diagnostics.dump-fd-stats&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">diagnostics.count-fop-hits&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">diagnostics.brick-log-level&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  INFO<br clear="none">diagnostics.client-log-level&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; INFO<br clear="none">diagnostics.brick-sys-log-level&nbsp; &nbsp; &nbsp; &nbsp;  CRITICAL<br clear="none">diagnostics.client-sys-log-level&nbsp; &nbsp; &nbsp; &nbsp; CRITICAL<br clear="none">diagnostics.brick-logger&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">diagnostics.client-logger&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">diagnostics.brick-log-format&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">diagnostics.client-log-format&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">diagnostics.brick-log-buf-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5<br clear="none">diagnostics.client-log-buf-size&nbsp; &nbsp; &nbsp; &nbsp;  5<br clear="none">diagnostics.brick-log-flush-timeout&nbsp; &nbsp;  120<br clear="none">diagnostics.client-log-flush-timeout&nbsp; &nbsp; 120<br clear="none">diagnostics.stats-dump-interval&nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">diagnostics.fop-sample-interval&nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">diagnostics.stats-dump-format&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  json<br clear="none">diagnostics.fop-sample-buf-size&nbsp; &nbsp; &nbsp; &nbsp;  65535<br clear="none">diagnostics.stats-dnscache-ttl-sec&nbsp; &nbsp; &nbsp; 86400<br clear="none">performance.cache-max-file-size&nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">performance.cache-min-file-size&nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">performance.cache-refresh-timeout&nbsp; &nbsp; &nbsp;  1<br clear="none">performance.cache-priority<br clear="none">performance.cache-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32MB<br clear="none">performance.io-thread-count&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  16<br clear="none">performance.high-prio-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  16<br clear="none">performance.normal-prio-threads&nbsp; &nbsp; &nbsp; &nbsp;  16<br clear="none">performance.low-prio-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32<br clear="none">performance.least-prio-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">performance.enable-least-priority&nbsp; &nbsp; &nbsp;  on<br clear="none">performance.iot-watchdog-secs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">performance.iot-cleanup-disconnected-reqsoff<br clear="none">performance.iot-pass-through&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">performance.io-cache-pass-through&nbsp; &nbsp; &nbsp;  false<br clear="none">performance.cache-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 128MB<br clear="none">performance.qr-cache-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">performance.cache-invalidation&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">performance.ctime-invalidation&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">performance.flush-behind&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">performance.nfs.flush-behind&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">performance.write-behind-window-size&nbsp; &nbsp; 1MB<br clear="none">performance.resync-failed-syncs-after-fsyncoff<br clear="none">performance.nfs.write-behind-window-size1MB<br clear="none">performance.strict-o-direct&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">performance.nfs.strict-o-direct&nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">performance.strict-write-ordering&nbsp; &nbsp; &nbsp;  off<br clear="none">performance.nfs.strict-write-ordering&nbsp;  off<br clear="none">performance.write-behind-trickling-writeson<br clear="none">performance.aggregate-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 128KB<br clear="none">performance.nfs.write-behind-trickling-writeson<br clear="none">performance.lazy-open&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  yes<br clear="none">performance.read-after-open&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  yes<br clear="none">performance.open-behind-pass-through&nbsp; &nbsp; false<br clear="none">performance.read-ahead-page-count&nbsp; &nbsp; &nbsp;  4<br clear="none">performance.read-ahead-pass-through&nbsp; &nbsp;  false<br clear="none">performance.readdir-ahead-pass-through&nbsp; false<br clear="none">performance.md-cache-pass-through&nbsp; &nbsp; &nbsp;  false<br clear="none">performance.md-cache-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">performance.cache-swift-metadata&nbsp; &nbsp; &nbsp; &nbsp; true<br clear="none">performance.cache-samba-metadata&nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">performance.cache-capability-xattrs&nbsp; &nbsp;  true<br clear="none">performance.cache-ima-xattrs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; true<br clear="none">performance.md-cache-statfs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">performance.xattr-cache-list<br clear="none">performance.nl-cache-pass-through&nbsp; &nbsp; &nbsp;  false<br clear="none">features.encryption&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">network.frame-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1800<br clear="none">network.ping-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 42<br clear="none">network.tcp-window-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">client.ssl&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">network.remote-dio&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; enable<br clear="none">client.event-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4<br clear="none">client.tcp-user-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">client.keepalive-time&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  20<br clear="none">client.keepalive-interval&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  2<br clear="none">client.keepalive-count&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9<br clear="none">network.tcp-window-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">network.inode-lru-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  16384<br clear="none">auth.allow&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; *<br clear="none">auth.reject&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">transport.keepalive&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1<br clear="none">server.allow-insecure&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">server.root-squash&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">server.all-squash&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">server.anonuid&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 65534<br clear="none">server.anongid&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 65534<br clear="none">server.statedump-path&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  /var/run/gluster<br clear="none">server.outstanding-rpc-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 64<br clear="none">server.ssl&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">auth.ssl-allow&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; *<br clear="none">server.manage-gids&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">server.dynamic-auth&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">client.send-gids&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">server.gid-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 300<br clear="none">server.own-thread&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">server.event-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4<br clear="none">server.tcp-user-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  42<br clear="none">server.keepalive-time&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  20<br clear="none">server.keepalive-interval&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  2<br clear="none">server.keepalive-count&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9<br clear="none">transport.listen-backlog&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1024<br clear="none">transport.address-family&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; inet<br clear="none">performance.write-behind&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">performance.read-ahead&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.readdir-ahead&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">performance.io-cache&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.open-behind&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">performance.quick-read&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.nl-cache&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.stat-prefetch&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">performance.client-io-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">performance.nfs.write-behind&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">performance.nfs.read-ahead&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.nfs.io-cache&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.nfs.quick-read&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.nfs.stat-prefetch&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">performance.nfs.io-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.force-readdirp&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; true<br clear="none">performance.cache-invalidation&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">performance.global-cache-invalidation&nbsp;  true<br clear="none">features.uss&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.snapshot-directory&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  .snaps<br clear="none">features.show-snapshot-directory&nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.tag-namespaces&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">network.compression&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">network.compression.window-size&nbsp; &nbsp; &nbsp; &nbsp;  -15<br clear="none">network.compression.mem-level&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  8<br clear="none">network.compression.min-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br clear="none">network.compression.compression-level&nbsp;  -1<br clear="none">network.compression.debug&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  false<br clear="none">features.default-soft-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  80%<br clear="none">features.soft-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  60<br clear="none">features.hard-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  5<br clear="none">features.alert-time&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  86400<br clear="none">features.quota-deem-statfs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">geo-replication.indexing&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">geo-replication.indexing&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">geo-replication.ignore-pid-check&nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">geo-replication.ignore-pid-check&nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.quota&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.inode-quota&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.bitrot&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  disable<br clear="none">debug.trace&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">debug.log-history&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  no<br clear="none">debug.log-file&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; no<br clear="none">debug.exclude-ops&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">debug.include-ops&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">debug.error-gen&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">debug.error-failure&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">debug.error-number&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">debug.random-failure&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">debug.error-fops&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">nfs.disable&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">features.read-only&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.worm&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">features.worm-file-level&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.worm-files-deletable&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">features.default-retention-period&nbsp; &nbsp; &nbsp;  120<br clear="none">features.retention-mode&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  relax<br clear="none">features.auto-commit-period&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  180<br clear="none">storage.linux-aio&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">storage.batch-fsync-mode&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; reverse-fsync<br clear="none">storage.batch-fsync-delay-usec&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br clear="none">storage.owner-uid&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  -1<br clear="none">storage.owner-gid&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  -1<br clear="none">storage.node-uuid-pathinfo&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">storage.health-check-interval&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  30<br clear="none">storage.build-pgfid&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">storage.gfid2path&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">storage.gfid2path-separator&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  :<br clear="none">storage.reserve&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1<br clear="none">storage.health-check-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10<br clear="none">storage.fips-mode-rchecksum&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">storage.force-create-mode&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  0000<br clear="none">storage.force-directory-mode&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0000<br clear="none">storage.create-mask&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  0777<br clear="none">storage.create-directory-mask&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  0777<br clear="none">storage.max-hardlinks&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  100<br clear="none">features.ctime&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">config.gfproxyd&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.server-quorum-type&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; server<br clear="none">cluster.server-quorum-ratio&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  0<br clear="none">changelog.changelog&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">changelog.changelog-dir&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  {{ brick.path }}/.glusterfs/changelogs<br clear="none">changelog.encoding&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ascii<br clear="none">changelog.rollover-time&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  15<br clear="none">changelog.fsync-interval&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5<br clear="none">changelog.changelog-barrier-timeout&nbsp; &nbsp;  120<br clear="none">changelog.capture-del-path&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.barrier&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; disable<br clear="none">features.barrier-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 120<br clear="none">features.trash&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.trash-dir&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; .trashcan<br clear="none">features.trash-eliminate-path&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">features.trash-max-filesize&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  5MB<br clear="none">features.trash-internal-op&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">cluster.enable-shared-storage&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  disable<br clear="none">locks.trace&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">locks.mandatory-locking&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.disperse-self-heal-daemon&nbsp; &nbsp; &nbsp;  enable<br clear="none">cluster.quorum-reads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; no<br clear="none">client.bind-insecure&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (null)<br clear="none">features.shard&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">features.shard-block-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  64MB<br clear="none">features.shard-lru-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 16384<br clear="none">features.shard-deletion-rate&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 100<br clear="none">features.scrub-throttle&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  lazy<br clear="none">features.scrub-freq&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  biweekly<br clear="none">features.scrub&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false<br clear="none">features.expiry-time&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 120<br clear="none">features.cache-invalidation&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">features.cache-invalidation-timeout&nbsp; &nbsp;  60<br clear="none">features.leases&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">features.lease-lock-recall-timeout&nbsp; &nbsp; &nbsp; 60<br clear="none">disperse.background-heals&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  8<br clear="none">disperse.heal-wait-qlength&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 128<br clear="none">cluster.heal-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 600<br clear="none">dht.force-readdirp&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">disperse.read-policy&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; gfid-hash<br clear="none">cluster.shd-max-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  8<br clear="none">cluster.shd-wait-qlength&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10000<br clear="none">cluster.shd-wait-qlength&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10000<br clear="none">cluster.locking-scheme&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; granular<br clear="none">cluster.granular-entry-heal&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  no<br clear="none">features.locks-revocation-secs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br clear="none">features.locks-revocation-clear-all&nbsp; &nbsp;  false<br clear="none">features.locks-revocation-max-blocked&nbsp;  0<br clear="none">features.locks-monkey-unlocking&nbsp; &nbsp; &nbsp; &nbsp;  false<br clear="none">features.locks-notify-contention&nbsp; &nbsp; &nbsp; &nbsp; no<br clear="none">features.locks-notify-contention-delay&nbsp; 5<br clear="none">disperse.shd-max-threads&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">disperse.shd-wait-qlength&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  1024<br clear="none">disperse.cpu-extensions&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  auto<br clear="none">disperse.self-heal-window-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1<br clear="none">cluster.use-compound-fops&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">performance.parallel-readdir&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">performance.rda-request-size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 131072<br clear="none">performance.rda-low-wmark&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  4096<br clear="none">performance.rda-high-wmark&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 128KB<br clear="none">performance.rda-cache-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  10MB<br clear="none">performance.nl-cache-positive-entry&nbsp; &nbsp;  false<br clear="none">performance.nl-cache-limit&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10MB<br clear="none">performance.nl-cache-timeout&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 60<br clear="none">cluster.brick-multiplex&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">cluster.max-bricks-per-process&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 250<br clear="none">disperse.optimistic-change-log&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">disperse.stripe-cache&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  4<br clear="none">cluster.halo-enabled&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; False<br clear="none">cluster.halo-shd-max-latency&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 99999<br clear="none">cluster.halo-nfsd-max-latency&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  5<br clear="none">cluster.halo-max-latency&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 5<br clear="none">cluster.halo-max-replicas&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  99999<br clear="none">cluster.halo-min-replicas&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  2<br clear="none">features.selinux&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">cluster.daemon-log-level&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; INFO<br clear="none">debug.delay-gen&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">delay-gen.delay-percentage&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 10%<br clear="none">delay-gen.delay-duration&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 100000<br clear="none">delay-gen.enable<br clear="none">disperse.parallel-writes&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">features.sdfs&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none">features.cloudsync&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; off<br clear="none">features.ctime&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; on<br clear="none">ctime.noatime&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  on<br clear="none">feature.cloudsync-storetype&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  (null)<br clear="none">features.enforce-mandatory-lock&nbsp; &nbsp; &nbsp; &nbsp;  off<br clear="none"><br clear="none">What do you think, are there any other knobs worth to be turned?<br clear="none"><br clear="none">Thanks!<br clear="none"><div class="ydp74d63e68yqt9133413676" id="ydp74d63e68yqtfd61412"><br clear="none">On Wed, Jul 03, 2019 at 06:55:09PM +0300, Strahil wrote:<br clear="none">&gt; Check the following link (4.1)&nbsp; for the optimal gluster volume settings.<br clear="none">&gt; They are quite safe.<br clear="none">&gt; <br clear="none">&gt; Gluster&nbsp; provides a group called&nbsp; virt (/var/lib/glusterd/groups/virt)&nbsp;  and can be applied via&nbsp; 'gluster volume set VOLNAME group virt'<br clear="none">&gt; <br clear="none">&gt; Then try again.<br clear="none">&gt; <br clear="none">&gt; Best Regards,<br clear="none">&gt; Strahil NikolovOn Jul 3, 2019 11:39, Vladimir Melnik &lt;<a shape="rect" href="mailto:v.melnik@tucha.ua" rel="nofollow" target="_blank">v.melnik@tucha.ua</a>&gt; wrote:<br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Dear colleagues, <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; I have a lab with a bunch of virtual machines (the virtualization is <br clear="none">&gt; &gt; provided by KVM) running on the same physical host. 4 of these VMs are <br clear="none">&gt; &gt; working as a GlusterFS cluster and there's one more VM that works as a <br clear="none">&gt; &gt; client. I'll specify all the packages' versions in the ending of this <br clear="none">&gt; &gt; message. <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; I created 2 volumes - one is having type "Distributed-Replicate" and <br clear="none">&gt; &gt; another one is "Distribute". The problem is that both of volumes are <br clear="none">&gt; &gt; showing really poor performance. <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Here's what I see on the client: <br clear="none">&gt; &gt; $ mount | grep gluster <br clear="none">&gt; &gt; 10.13.1.16:storage1 on /mnt/glusterfs1 type fuse.glusterfs(rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072) <br clear="none">&gt; &gt; 10.13.1.16:storage2 on /mnt/glusterfs2 type fuse.glusterfs(rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072) <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; $ for i in {1..5}; do { dd if=/dev/zero of=/mnt/glusterfs1/test.tmp bs=1M count=10 oflag=sync; rm -f /mnt/glusterfs1/test.tmp; } done <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.47936 s, 7.1 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.62546 s, 6.5 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.71229 s, 6.1 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.68607 s, 6.2 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.82204 s, 5.8 MB/s <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; $ for i in {1..5}; do { dd if=/dev/zero of=/mnt/glusterfs2/test.tmp bs=1M count=10 oflag=sync; rm -f /mnt/glusterfs2/test.tmp; } done <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.15739 s, 9.1 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.978528 s, 10.7 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.910642 s, 11.5 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.998249 s, 10.5 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 1.03377 s, 10.1 MB/s <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; The distributed one shows a bit better performance than the <br clear="none">&gt; &gt; distributed-replicated one, but it's still poor. :-( <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; The disk storage itself is OK, here's what I see on each of 4 GlusterFS <br clear="none">&gt; &gt; servers: <br clear="none">&gt; &gt; for i in {1..5}; do { dd if=/dev/zero of=/mnt/storage1/test.tmp bs=1M count=10 oflag=sync; rm -f /mnt/storage1/test.tmp; } done <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.0656698 s, 160 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.0476927 s, 220 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.036526 s, 287 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.0329145 s, 319 MB/s <br clear="none">&gt; &gt; 10+0 records in <br clear="none">&gt; &gt; 10+0 records out <br clear="none">&gt; &gt; 10485760 bytes (10 MB) copied, 0.0403988 s, 260 MB/s <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; The network between all 5 VMs is OK, they all are working on the same <br clear="none">&gt; &gt; physical host. <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Can't understand, what am I doing wrong. :-( <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Here's the detailed info about the volumes: <br clear="none">&gt; &gt; Volume Name: storage1 <br clear="none">&gt; &gt; Type: Distributed-Replicate <br clear="none">&gt; &gt; Volume ID: a42e2554-99e5-4331-bcc4-0900d002ae32 <br clear="none">&gt; &gt; Status: Started <br clear="none">&gt; &gt; Snapshot Count: 0 <br clear="none">&gt; &gt; Number of Bricks: 2 x (2 + 1) = 6 <br clear="none">&gt; &gt; Transport-type: tcp <br clear="none">&gt; &gt; Bricks: <br clear="none">&gt; &gt; Brick1: gluster1.k8s.maitre-d.tucha.ua:/mnt/storage1/brick1 <br clear="none">&gt; &gt; Brick2: gluster2.k8s.maitre-d.tucha.ua:/mnt/storage1/brick2 <br clear="none">&gt; &gt; Brick3: gluster3.k8s.maitre-d.tucha.ua:/mnt/storage1/brick_arbiter (arbiter) <br clear="none">&gt; &gt; Brick4: gluster3.k8s.maitre-d.tucha.ua:/mnt/storage1/brick3 <br clear="none">&gt; &gt; Brick5: gluster4.k8s.maitre-d.tucha.ua:/mnt/storage1/brick4 <br clear="none">&gt; &gt; Brick6: gluster1.k8s.maitre-d.tucha.ua:/mnt/storage1/brick_arbiter (arbiter) <br clear="none">&gt; &gt; Options Reconfigured: <br clear="none">&gt; &gt; transport.address-family: inet <br clear="none">&gt; &gt; nfs.disable: on <br clear="none">&gt; &gt; performance.client-io-threads: off <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Volume Name: storage2 <br clear="none">&gt; &gt; Type: Distribute <br clear="none">&gt; &gt; Volume ID: df4d8096-ad03-493e-9e0e-586ce21fb067 <br clear="none">&gt; &gt; Status: Started <br clear="none">&gt; &gt; Snapshot Count: 0 <br clear="none">&gt; &gt; Number of Bricks: 4 <br clear="none">&gt; &gt; Transport-type: tcp <br clear="none">&gt; &gt; Bricks: <br clear="none">&gt; &gt; Brick1: gluster1.k8s.maitre-d.tucha.ua:/mnt/storage2 <br clear="none">&gt; &gt; Brick2: gluster2.k8s.maitre-d.tucha.ua:/mnt/storage2 <br clear="none">&gt; &gt; Brick3: gluster3.k8s.maitre-d.tucha.ua:/mnt/storage2 <br clear="none">&gt; &gt; Brick4: gluster4.k8s.maitre-d.tucha.ua:/mnt/storage2 <br clear="none">&gt; &gt; Options Reconfigured: <br clear="none">&gt; &gt; transport.address-family: inet <br clear="none">&gt; &gt; nfs.disable: on <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; The OS is CentOS Linux release 7.6.1810. The packages I'm using are: <br clear="none">&gt; &gt; glusterfs-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-api-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-cli-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-client-xlators-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-fuse-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-libs-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; glusterfs-server-6.3-1.el7.x86_64 <br clear="none">&gt; &gt; kernel-3.10.0-327.el7.x86_64 <br clear="none">&gt; &gt; kernel-3.10.0-514.2.2.el7.x86_64 <br clear="none">&gt; &gt; kernel-3.10.0-957.12.1.el7.x86_64 <br clear="none">&gt; &gt; kernel-3.10.0-957.12.2.el7.x86_64 <br clear="none">&gt; &gt; kernel-3.10.0-957.21.3.el7.x86_64 <br clear="none">&gt; &gt; kernel-tools-3.10.0-957.21.3.el7.x86_64 <br clear="none">&gt; &gt; kernel-tools-libs-3.10.0-957.21.3.el7.x86_6 <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Please, be so kind as to help me to understand, did I do it wrong or <br clear="none">&gt; &gt; that's quite normal performance of GlusterFS? <br clear="none">&gt; &gt;<br clear="none">&gt; &gt; Thanks in advance! <br clear="none">&gt; &gt; _______________________________________________ <br clear="none">&gt; &gt; Gluster-users mailing list <br clear="none">&gt; &gt; <a shape="rect" href="mailto:Gluster-users@gluster.org" rel="nofollow" target="_blank">Gluster-users@gluster.org</a> <br clear="none">&gt; &gt; <a shape="rect" href="https://lists.gluster.org/mailman/listinfo/gluster-users " rel="nofollow" target="_blank">https://lists.gluster.org/mailman/listinfo/gluster-users </a></div><br clear="none"><br clear="none">-- <br clear="none">V.Melnik<div class="ydp74d63e68yqt9133413676" id="ydp74d63e68yqtfd71719"><br clear="none"></div></div>
            </div>
        </div></body></html>