Description of problem:

datamover backup over cephFS (ODF 4.12) failed.

Have no errors in backup log , but get errors for backup describe.

Backup Item Operations:
  Operation for volumesnapshotcontents.snapshot.storage.k8s.io /snapcontent-69f69a81-d097-4b81-89b9-d45d46b2d41d:
    Backup Item Action Plugin:  velero.io/vsm-volumesnapshotcontent-backupper
    Operation ID:               perf-busy-data-cephfs-50pods/vsb-vkptt
    Items to Update:
                           volumesnapshotbackups.datamover.oadp.openshift.io perf-busy-data-cephfs-50pods/vsb-vkptt
    Phase:                 Failed
    Operation Error:       Asynchronous action timed out
    Progress description:  Phase: InProgress BatchingStatus: Processing
    Created:               2023-05-13 02:08:02 +0000 UTC
    Started:               2023-05-13 02:08:07 +0000 UTC
    Updated:               2023-05-13 03:09:20 +0000 UTC

DPA Configuration:
    velero:
      defaultPlugins:
      - openshift
      - aws
      - csi
      - vsm
      podConfig:
        resourceAllocations:
          limits:
            cpu: 4
            memory: 32768Mi
          requests:
            cpu: 2
            memory: 16384Mi
  features:
    dataMover:
      credentialName: restic-secret
      enable: true
      maxConcurrentBackupVolumes: "20"
      maxConcurrentRestoreVolumes: "20"
      volumeOptions:
        sourceVolumeOptions:
          accessMode: ReadOnlyMany
          cacheAccessMode: ReadWriteMany
          cacheStorageClassName: ocs-storagecluster-cephfs
          moverSecurityContext: true
          storageClassName: ocs-storagecluster-cephfs-shallow

Version-Release number of selected component (if applicable):

OCP 4.12.9

ODF 4.12.2
OADP 1.2.0-69
Using CephFS

How reproducible:

Steps to Reproduce:
1. Create NS with 10-50 pods with PV data on CephFS
2. Run datamover backup
3. Monitor 'oc get pods -nopenshift-adp'

Actual results:

Backup failed, volsync-src-vsb failed to create 'CreateContainerConfigError"

Expected results:

Backup completed

Additional info:

1. oc logs volsync-src-vsb-55g6t-rep-src-vpqkm
   Error from server (BadRequest): container "restic" in pod "volsync-src-vsb-55g6t-rep-src-vpqkm" is waiting to start: CreateContainerConfigError

[root@f01-h07-000-r640 20230515_115219]# oc describe pod volsync-src-vsb-c9vdn-rep-src-627l5

Events:
  Type     Reason                  Age                    From                     Message
  ----     ------                  ----                   ----                     -------
  Warning  FailedScheduling        42m                    default-scheduler        0/9 nodes are available: 9 pod has unbound immediate PersistentVolumeClaims. preemption: 0/9 nodes are available: 9 Preemption is not helpful for scheduling.
  Normal   Scheduled               42m                    default-scheduler        Successfully assigned openshift-adp/volsync-src-vsb-c9vdn-rep-src-627l5 to worker002-r640
  Warning  FileSystemResizeFailed  42m                    kubelet                  MountVolume.NodeExpandVolume failed for volume "pvc-16adef34-6d0a-4962-9528-771f9b52201a" requested read-only file system
  Normal   SuccessfulAttachVolume  42m                    attachdetach-controller  AttachVolume.Attach succeeded for volume "pvc-92deb073-ef74-488c-9c6a-2d90dd713f78"
  Normal   AddedInterface          42m                    multus                   Add eth0 [10.128.2.117/23] from openshift-sdn
  Warning  Failed                  40m (x12 over 42m)     kubelet                  Error: container's runAsUser breaks non-root policy (pod: "volsync-src-vsb-c9vdn-rep-src-627l5_openshift-adp(d84a304d-8066-4d4a-98bb-346d277847e3)", container: restic)
  Normal   Pulled                  2m42s (x190 over 42m)  kubelet                  Container image "registry.redhat.io/rhacm2/volsync-rhel8@sha256:7207ea4de4a8bb3a2930b974c2122215cb902ab577e4ef1de6e635fd854b6d0a" already present on machine

[root@f01-h07-000-r640 20230515_115219]# oc get pods
NAME                                               READY   STATUS                       RESTARTS   AGE
openshift-adp-controller-manager-bbb5b6c68-8r24t   1/1     Running                      0          3d17h
velero-7948845f7-28b9m                             1/1     Running                      0          131m
volsync-src-vsb-48xpd-rep-src-vcfkn                0/1     CreateContainerConfigError   0          40m
volsync-src-vsb-4t7q7-rep-src-5cgjz                0/1     CreateContainerConfigError   0          41m
volsync-src-vsb-55g6t-rep-src-vpqkm                0/1     CreateContainerConfigError   0          41m
volsync-src-vsb-6j7hh-rep-src-z6wx7                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-84r7b-rep-src-qdnrl                0/1     CreateContainerConfigError   0          40m
volsync-src-vsb-bq5z4-rep-src-wp6n5                0/1     CreateContainerConfigError   0          43m
volsync-src-vsb-c8ll6-rep-src-dc7jv                0/1     CreateContainerConfigError   0          43m
volsync-src-vsb-c9vdn-rep-src-627l5                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-ccpqz-rep-src-n7tvd                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-cln8z-rep-src-nrrx2                0/1     CreateContainerConfigError   0          41m
volsync-src-vsb-cxgm7-rep-src-bqm7q                0/1     CreateContainerConfigError   0          39m
volsync-src-vsb-dqzsz-rep-src-lh85v                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-jts4q-rep-src-txv88                0/1     CreateContainerConfigError   0          40m
volsync-src-vsb-kz22b-rep-src-sr2f6                0/1     CreateContainerConfigError   0          40m
volsync-src-vsb-mmlqm-rep-src-7jw2q                0/1     CreateContainerConfigError   0          39m
volsync-src-vsb-pk2n4-rep-src-dl2zj                0/1     CreateContainerConfigError   0          41m
volsync-src-vsb-q959q-rep-src-22g6b                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-sj65f-rep-src-pqbmf                0/1     CreateContainerConfigError   0          40m
volsync-src-vsb-swpx7-rep-src-tmcbw                0/1     CreateContainerConfigError   0          42m
volsync-src-vsb-zcz6p-rep-src-9bcp2                0/1     CreateContainerConfigError   0          41m
volume-snapshot-mover-f8dc6d68-l7dzs               1/1     Running                      0          75m
vsb-48xpd-pod                                      1/1     Running                      0          40m
vsb-4t7q7-pod                                      1/1     Running                      0          41m
vsb-55g6t-pod                                      1/1     Running                      0          41m
vsb-6j7hh-pod                                      1/1     Running                      0          42m
vsb-84r7b-pod                                      1/1     Running                      0          40m
vsb-bq5z4-pod                                      1/1     Running                      0          43m
vsb-c8ll6-pod                                      1/1     Running                      0          43m
vsb-c9vdn-pod                                      1/1     Running                      0          42m
vsb-ccpqz-pod                                      1/1     Running                      0          43m
vsb-cln8z-pod                                      1/1     Running                      0          41m
vsb-cxgm7-pod                                      1/1     Running                      0          39m
vsb-dqzsz-pod                                      1/1     Running                      0          42m
vsb-jts4q-pod                                      1/1     Running                      0          40m
vsb-kz22b-pod                                      1/1     Running                      0          40m
vsb-mmlqm-pod                                      1/1     Running                      0          39m
vsb-pk2n4-pod                                      1/1     Running                      0          41m
vsb-q959q-pod                                      1/1     Running                      0          42m
vsb-sj65f-pod                                      1/1     Running                      0          40m
vsb-swpx7-pod                                      1/1     Running                      0          42m
vsb-zcz6p-pod                                      1/1     Running                      0          41m