[Bugs] [Bug 1200457] gluster performance issue as data is added to volume. tar extraction of files goes from 1-minute on empty volume to 20-minutes on volume with 40TB.

bugzilla at redhat.com bugzilla at redhat.com
Thu Aug 25 21:47:33 UTC 2016


https://bugzilla.redhat.com/show_bug.cgi?id=1200457



--- Comment #23 from Pranith Kumar K <pkarampu at redhat.com> ---
Ran strace on the bricks for the fast and slow case, these are the 10 maximum
syscall latencies for all of the syscalls. I am seeing high latencies for fsync
and stats in the slow case:

Normal case:

chown
0.000067
0.000070
0.000071
0.000079
0.000086
0.000099
0.000141
0.000147
0.000172
0.000249
close
0.000202
0.000202
0.000203
0.000204
0.000204
0.000204
0.000206
0.000207
0.000220
0.000505
fgetxattr
0.000143
0.000147
0.000151
0.000152
0.000155
0.000158
0.000160
0.000162
0.000162
0.000193
fstat
0.000130
0.000131
0.000132
0.000133
0.000133
0.000134
0.000134
0.000151
0.000156
0.000158
fsync
0.018422
0.018479
0.018490
0.018572
0.018582
0.033627
0.036283
0.047154
0.078602
0.695221
getdents
0.000108
0.000109
0.000109
0.000110
0.000112
0.000114
0.000114
0.000116
0.000118
0.000164
lgetxattr
0.000081
0.000081
0.000082
0.000082
0.000083
0.000084
0.000085
0.000089
0.000091
0.000094
linkat
0.000097
0.000099
0.000099
0.000100
0.000105
0.000113
0.000138
0.000152
0.000154
0.000182
lseek
0.000039
0.000074
0.000087
0.000103
0.000106
0.000113
0.000113
0.000114
0.000115
0.000134
lsetxattr
0.000095
0.000097
0.000098
0.000099
0.000100
0.000103
0.000106
0.000139
0.000167
0.000171
lstat
0.002063
0.002094
0.003154
0.003503
0.003998
0.004202
0.004760
0.005640
0.008268
0.015741
mkdir
0.000258
0.000259
0.000265
0.000268
0.000269
0.000269
0.000276
0.000279
0.000293
0.001713
openat
0.000118
0.000120
0.000123
0.000123
0.000123
0.000124
0.000124
0.000126
0.000126
0.000130
open
0.002263
0.003762
0.003774
0.005012
0.005164
0.005207
0.005640
0.005902
0.006392
0.193450
pwrite
0.000224
0.000224
0.000228
0.000248
0.000249
0.000250
0.000259
0.000266
0.000398
0.000636
read
0.000085
0.000086
0.000087
0.000088
0.000098
0.000124
0.000130
0.000145
0.000162
0.000238
readlink
0.000020
0.000021
0.000021
0.000023
0.000024
0.000028
readv
0.000956
0.006536
0.047662
0.061173
0.224371
0.332077
2.278480
48.556456
85.082750
127.490240
stat
0.000085
0.000089
0.000099
0.000116
0.000120
0.000128
0.000131
0.000132
0.000135
0.000145
symlink
0.000180
0.000183
0.000183
0.000183
0.000190
0.000195
0.000196
0.000202
0.000208
0.000222
write
0.000089
0.000127
0.000130
0.000135
0.000136
0.000136
0.000137
0.000140
0.000140
0.000258
writev
0.000148
0.000157
0.000157
0.000159
0.000160
0.000163
0.000170
0.000904
0.004772
0.088366

Slow case:
chown
0.000169
0.000169
0.000170
0.000174
0.000175
0.000177
0.000179
0.000179
0.000193
0.000265
close
0.000191
0.000192
0.000205
0.000210
0.000218
0.000224
0.000315
0.000321
0.000416
0.000454
fgetxattr
0.000209
0.000232
0.000250
0.000279
0.000286
0.000361
0.000443
0.000519
0.000824
0.000877
fstat
0.000231
0.000264
0.000264
0.000275
0.000314
0.000363
0.000440
0.000640
0.001134
0.002430
fsync
1.500296
1.503076
1.513502
1.516628
1.522290
1.523135
1.535945
1.546670
1.548597
1.590475
getdents
0.000117
0.000118
0.000118
0.000119
0.000120
0.000120
0.000125
0.000125
0.000125
0.000126
lgetxattr
0.000155
0.000157
0.000157
0.000158
0.000164
0.000164
0.000171
0.000184
0.000205
0.000351
linkat
0.000214
0.000224
0.000228
0.000228
0.000231
0.000231
0.000234
0.000252
0.010239
0.070905
lremovexattr
0.000028
0.000028
0.000028
0.000029
0.000029
0.000029
0.000030
0.000031
0.000031
0.000032
lseek
0.000148
0.000151
0.000152
0.000158
0.000158
0.000162
0.000164
0.000178
0.000178
0.000188
lsetxattr
0.000161
0.000162
0.000164
0.000165
0.000165
0.000166
0.000167
0.000177
0.000292
0.000488
lstat
1.529056
1.529124
1.530052
1.531486
1.531578
1.531743
1.533177
1.722707
1.931263
2.287300
mkdir
0.000249
0.000259
0.000260
0.000268
0.000272
0.000306
0.000358
0.000415
0.000477
0.002294
openat
0.000121
0.000124
0.000126
0.000126
0.000127
0.000129
0.000131
0.000131
0.000135
0.000190
open
0.022604
0.024123
0.025090
0.030248
0.033538
0.034225
0.036417
0.037107
0.043395
0.047846
pwrite
0.000279
0.000285
0.000285
0.000290
0.000292
0.000294
0.000302
0.000336
0.000374
0.000374
read
0.000165
0.000165
0.000168
0.000169
0.000187
0.000194
0.000207
0.000212
0.000550
0.000552
readv
0.201163
0.242594
0.247809
0.256123
0.263686
0.271234
0.273045
0.274275
0.280773
0.286999
stat
0.000169
0.000170
0.000181
0.000230
0.000233
0.000245
0.000279
0.000321
0.000323
0.000775
symlink
0.000248
0.000251
0.000252
0.000253
0.000259
0.000263
0.000267
0.000274
0.000286
0.000298
truncate
0.000028
0.000028
0.000029
0.000031
0.000032
0.000032
0.000032
0.000033
0.000033
0.000034
write
0.000184
0.000184
0.000187
0.000193
0.000194
0.000204
0.000218
0.000221
0.000227
0.000229
writev
0.000497
0.000580
0.000603
0.000726
0.000804
0.001008
0.014676
0.021616
0.027423
0.030991

-- 
You are receiving this mail because:
You are on the CC list for the bug.
You are the assignee for the bug.


More information about the Bugs mailing list