<div dir="ltr"><div><div><div><div>Hi<br><br></div>I have just moved our 400 TB HPC storage from lustre to gluster. It is part of a research institute and users have very small files to  big files ( few KB to 20GB) . Our setup consists of 5 servers, each with 96TB RAID 6 disks. All servers are connected through 10G ethernet but not all clients.  Gluster volumes are distributed without any replication. There are approximately 80 million files in file system.<br></div><div>I am mounting using glusterfs on  clients.<br></div><div><br></div>I have copied everything from lustre to gluster but old file system exist so I can compare.<br><br></div>The problem, I am facing is extremely slow du on even a small directory. Also the time taken is substantially different each time.  <br></div>I tried du from same client on  a particular directory twice and got these results. <br><div><div><br>  time du -sh /data/aa/bb/cc
<br>3.7G    /data/aa/bb/cc

<br>real    7m29.243s
<br>user    0m1.448s
<br>sys     0m7.067s
<br><br>time du -sh /data/aa/bb/cc
<br>3.7G         /data/aa/bb/cc

<br>real    16m43.735s
<br>user    0m1.097s
<br>sys     0m5.802s<br><br></div><div>16m and 7m is too long for a 3.7 G directory. I must mention that the directory contains huge number of files (208736)<br><br></div><div>but running du on same directory on old data gives this result<br><br>time du -sh /olddata/aa/bb/cc
<br>4.0G    /olddata/aa/bb/cc<br>real    3m1.255s
<br>user    0m0.755s
<br>sys     0m38.099s<br><br></div><div>much better if I run same command again<br><br> time du -sh /olddata/aa/bb/cc
<br>4.0G    /olddata/aa/bb/cc

<br>real    0m8.309s
<br>user    0m0.313s
<br>sys     0m7.755s
</div><div><br></div><div><div>Is there anything I can do to improve this performance? I would also like hear from some one who is running same kind of setup.<br><br></div><div>Thanks<br><br></div><div>Kashif <br></div><div><br><br></div></div></div></div>