<div dir="ltr"><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">Help! I&#39;ve run out of know-how while trying to fix this myself...</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><span style="font-size:13.1999998092651px;line-height:19.7999992370605px">Environment: CentOS 7, x86_64</span><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">Bareos version: 14.2.2-46.1.el7 (via <a href="http://download.bareos.org/bareos/release/14.2/CentOS_7/" target="_blank">http://download.bareos.org/bareos/release/14.2/CentOS_7/</a> repo)</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">Gluster version: 3.7.3-1.el7 (via <a href="http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-$releasever/$basearch/" target="_blank">http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-$releasever/$basearch/</a> repo)</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">Symptom: Bareos attempts to mount a volume, and spits back a Permission Denied error, as though it didn&#39;t have permission to access the relevant file.<br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">I&#39;ve been seeing this at least since Gluster version 3.7.2, which I updated to owing to a need to expand my backend storage (and 3.7.1, which worked fine) had a bug that broke bricks while rebalancing.</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">I&#39;ve verified that the bareos storage daemon is running as the bareos user, and I&#39;ve also, by way of FUSE mount into the gluster volume, verified ownership of the volume:</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><div># ls -l Email-Incremental-0155 </div><div>-rw-r-----. 1 bareos bareos 1073728379 Jun 10 21:04 Email-Incremental-0155</div></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">And uid/gid, for reference:</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><div># ls -ln Email-Incremental-0155 </div><div>-rw-r-----. 1 997 995 1073728379 Jun 10 21:04 Email-Incremental-0155</div></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">And in the gluster volume, the storage owner-{uid,gid}:</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"># gluster volume info bareos<br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><div><br></div><div>Volume Name: bareos</div><div>Type: Distribute</div><div>Volume ID: f4cb7aac-3631-41cc-9afa-f182a514d116</div><div>Status: Started</div><div>Number of Bricks: 2</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: backup-stor-1[censored]:/var/gluster/bareos/brick-bareos</div><div>Brick2: backup-stor-2[censored]:/var/gluster/bareos/brick-bareos</div><div>Options Reconfigured:</div><div>server.allow-insecure: on</div><div>performance.readdir-ahead: off</div><div>nfs.disable: on</div><div>performance.cache-size: 128MB</div><div>performance.write-behind-window-size: 256MB</div><div>performance.cache-refresh-timeout: 10</div><div>performance.io-thread-count: 16</div><div>performance.cache-max-file-size: 4TB</div><div>performance.flush-behind: on</div><div>performance.client-io-threads: on</div><div>storage.owner-uid: 997</div><div>storage.owner-gid: 995</div><div>features.bitrot: off</div><div>features.scrub: Inactive</div><div>features.scrub-freq: daily</div><div>features.scrub-throttle: lazy</div></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">In this run, the storage daemon and the file daemon happen to be on the same node. Here&#39;s trace output at level 200, obtained running &quot;tail -f *.trace&quot; in bareos-sd&#39;s cwd:</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><div>==&gt; backup-director-sd.trace &lt;==</div><div>backup-director-sd: fd_cmds.c:219-0 &lt;filed: append open session</div><div>backup-director-sd: fd_cmds.c:303-0 Append open session: append open session</div><div>backup-director-sd: fd_cmds.c:314-0 &gt;filed: 3000 OK open ticket = 1</div><div>backup-director-sd: fd_cmds.c:219-0 &lt;filed: append data 1</div><div>backup-director-sd: fd_cmds.c:265-0 Append data: append data 1</div><div>backup-director-sd: fd_cmds.c:267-0 &lt;filed: append data 1</div><div>backup-director-sd: append.c:69-0 Start append data. res=1</div><div>backup-director-sd: acquire.c:369-0 acquire_append device is disk</div><div>backup-director-sd: acquire.c:404-0 jid=924 Do mount_next_write_vol</div><div>backup-director-sd: mount.c:71-0 Enter mount_next_volume(release=0) dev=&quot;GlusterStorage4&quot; (gluster://backup-stor-1[censored]/bareos/bareos)</div><div>backup-director-sd: mount.c:84-0 mount_next_vol retry=0</div><div>backup-director-sd: mount.c:604-0 No swap_dev set</div><div>backup-director-sd: askdir.c:246-0 &gt;dird CatReq Job=server2-email.2015-07-29_16.32.34_09 GetVolInfo VolName=Email-Incremental-0155 write=1</div><div>backup-director-sd: askdir.c:175-0 &lt;dird 1000 OK VolName=Email-Incremental-0155 VolJobs=0 VolFiles=0 VolBlocks=0 VolBytes=1 VolMounts=3 VolErrors=0 VolWrites=16646 MaxVolBytes=1073741824 VolCapacityBytes=0 VolStatus=Recycle Slot=0 MaxVolJobs=0 MaxVolFiles=0 InChanger=0 VolReadTime=0 VolWriteTime=8455280 EndFile=0 EndBlock=1073728378 LabelType=0 MediaId=156 EncryptionKey= MinBlocksize=0 MaxBlocksize=0</div><div>backup-director-sd: askdir.c:211-0 do_get_volume_info return true slot=0 Volume=Email-Incremental-0155, VolminBlocksize=0 VolMaxBlocksize=0</div><div>backup-director-sd: askdir.c:213-0 setting dcr-&gt;VolMinBlocksize(0) to vol.VolMinBlocksize(0)</div><div>backup-director-sd: askdir.c:215-0 setting dcr-&gt;VolMaxBlocksize(0) to vol.VolMaxBlocksize(0)</div><div>backup-director-sd: mount.c:122-0 After find_next_append. Vol=Email-Incremental-0155 Slot=0</div><div>backup-director-sd: autochanger.c:99-0 Device &quot;GlusterStorage4&quot; (gluster://backup-stor-1[censored]/bareos/bareos) is not an autochanger</div><div>backup-director-sd: mount.c:144-0 autoload_dev returns 0</div><div>backup-director-sd: mount.c:175-0 want vol=Email-Incremental-0155 devvol= dev=&quot;GlusterStorage4&quot; (gluster://backup-stor-1[censored]/bareos/bareos)</div><div>backup-director-sd: dev.c:536-0 open dev: type=5 dev_name=&quot;GlusterStorage4&quot; (gluster://backup-stor-1[censored]/bareos/bareos) vol=Email-Incremental-0155 mode=OPEN_READ_WRITE</div><div>backup-director-sd: dev.c:540-0 call open_device mode=OPEN_READ_WRITE</div><div>backup-director-sd: dev.c:941-0 Enter mount</div><div>backup-director-sd: dev.c:610-0 open disk: mode=OPEN_READ_WRITE open(gluster://backup-stor-1[censored]/bareos/bareos/Email-Incremental-0155, 0x2, 0640)</div><div><br></div><div>==&gt; backup-director-fd.trace &lt;==</div><div><br></div><div>==&gt; backup-director-sd.trace &lt;==</div><div>backup-director-sd: dev.c:617-0 open failed: dev.c:616 Could not open: gluster://backup-stor-1[censored]/bareos/bareos/Email-Incremental-0155, ERR=Permission denied</div><div><br></div><div><br></div><div>...</div><div><br></div><div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">In response to Pranith&#39;s suggestion to Ryan (in another thread) to look at logs, I did find this interesting in root-bareos.log when I FUSE-mounted the volume. (Interesting, because everything is running the same version of gluster, at least as far as packages are telling me.)<br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><div>==&gt; root-bareos.log &lt;==</div><div>[2015-07-29 21:26:39.465191] I [MSGID: 114057] [client-handshake.c:1437:select_server_supported_programs] 0-bareos-client-1: Using Program GlusterFS 3.3, Num (1298437), Version (330)</div><div>[2015-07-29 21:26:39.465737] I [MSGID: 114057] [client-handshake.c:1437:select_server_supported_programs] 0-bareos-client-0: Using Program GlusterFS 3.3, Num (1298437), Version (330)</div><div>[2015-07-29 21:26:39.465935] I [MSGID: 114046] [client-handshake.c:1213:client_setvolume_cbk] 0-bareos-client-1: Connected to bareos-client-1, attached to remote volume &#39;/var/gluster/bareos/brick-bareos&#39;.</div><div>[2015-07-29 21:26:39.465999] I [MSGID: 114047] [client-handshake.c:1224:client_setvolume_cbk] 0-bareos-client-1: Server and Client lk-version numbers are not same, reopening the fds</div><div>[2015-07-29 21:26:39.466319] I [MSGID: 114046] [client-handshake.c:1213:client_setvolume_cbk] 0-bareos-client-0: Connected to bareos-client-0, attached to remote volume &#39;/var/gluster/bareos/brick-bareos&#39;.</div><div>[2015-07-29 21:26:39.466344] I [MSGID: 114047] [client-handshake.c:1224:client_setvolume_cbk] 0-bareos-client-0: Server and Client lk-version numbers are not same, reopening the fds</div><div>[2015-07-29 21:26:39.471772] I [fuse-bridge.c:5053:fuse_graph_setup] 0-fuse: switched to graph 0</div><div>[2015-07-29 21:26:39.471953] I [MSGID: 114035] [client-handshake.c:193:client_set_lk_version_cbk] 0-bareos-client-1: Server lk version = 1</div><div>[2015-07-29 21:26:39.472000] I [MSGID: 114035] [client-handshake.c:193:client_set_lk_version_cbk] 0-bareos-client-0: Server lk version = 1</div><div>[2015-07-29 21:26:39.473230] I [fuse-bridge.c:3979:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.22 kernel 7.22</div></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">On both bricks, there&#39;s this or similar, but the timestamps don&#39;t correlate with the bareos errors:</div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px"><br></div><div style="font-size:13.1999998092651px;line-height:19.7999992370605px">The message &quot;W [MSGID: 101095] [xlator.c:143:xlator_volopt_dynload] 0-xlator: /usr/lib64/glusterfs/3.7.3/xlator/features/bitrot.so: cannot open shared object file: No such file or directory&quot; repeated 3 times between [2015-07-29 19:50:34.593333] and [2015-07-29 19:50:34.593486]</div></div></div></div>