Uploaded image for project: 'OpenShift Bugs'
  1. OpenShift Bugs
  2. OCPBUGS-27782

CrashLoopBackOff Issue in machine-api-controllers Pod

    XMLWordPrintable

Details

    • -
    • Moderate
    • No
    • Rejected
    • False
    • Hide

      None

      Show
      None

    Description

      Description of problem:

      The machine-api-controllers pod is experiencing a CrashLoopBackOff state. Specifically, the machine-controller container within this pod is repeatedly crashing. Logs indicate an issue related to a flag (logtostderr) being set prematurely in the cluster-api-provider-openstack component.

      Version-Release number of selected component (if applicable):

      OCP : 4.16.0-0.nightly-2024-01-21-154905 
      Network type : OVNKubernetes
      OSP : RHOS-16.2-RHEL-8-20230510.n.1

      How reproducible:

      Always

      Steps to Reproduce:

       Deploy OCP 4.16 on top of OSP 
          

      Actual results:

      The machine-controller container in the machine-api-controllers pod is crashing and going into CrashLoopBackOff status.

      Expected results:

      The machine-controller container should run without crashing.

      Additional info:

      $ oc get pods -A -o wide | grep -v -e Completed -e Running
      NAMESPACE                                          NAME                                                         READY   STATUS             RESTARTS       AGE    IP             NODE                    NOMINATED NODE   READINESS GATES
      openshift-etcd                                     installer-8-ostest-zzz6x-master-0                            0/1     Error              0              143m   10.129.0.53    ostest-zzz6x-master-0   <none>           <none>
      openshift-image-registry                           image-registry-6c49dc5f55-brtcq                              0/1     Pending            0              145m   <none>         <none>                  <none>           <none>
      openshift-image-registry                           image-registry-6c49dc5f55-gtgb7                              0/1     Pending            0              145m   <none>         <none>                  <none>           <none>
      openshift-image-registry                           image-registry-798f4cfb56-cmqqc                              0/1     Pending            0              145m   <none>         <none>                  <none>           <none>
      openshift-ingress                                  router-default-684f9ccb87-fh9xd                              0/1     Pending            0              151m   <none>         <none>                  <none>           <none>
      openshift-ingress                                  router-default-684f9ccb87-k97j9                              0/1     Pending            0              151m   <none>         <none>                  <none>           <none>
      openshift-kube-apiserver                           installer-5-ostest-zzz6x-master-0                            0/1     Error              0              147m   10.129.0.43    ostest-zzz6x-master-0   <none>           <none>
      openshift-kube-apiserver                           installer-7-ostest-zzz6x-master-0                            0/1     Error              0              143m   10.129.0.52    ostest-zzz6x-master-0   <none>           <none>
      openshift-kube-controller-manager                  installer-37-ostest-zzz6x-master-2                           0/1     Error              0              147m   10.128.0.50    ostest-zzz6x-master-2   <none>           <none>
      openshift-kube-scheduler                           installer-8-ostest-zzz6x-master-1                            0/1     Error              0              148m   10.130.0.71    ostest-zzz6x-master-1   <none>           <none>
      openshift-kube-scheduler                           installer-8-ostest-zzz6x-master-2                            0/1     Error              0              143m   10.128.0.62    ostest-zzz6x-master-2   <none>           <none>
      openshift-machine-api                              machine-api-controllers-6fbc985dff-8jzcs                     6/7     CrashLoopBackOff   34 (80s ago)   151m   10.128.0.23    ostest-zzz6x-master-2   <none>           <none>
      openshift-monitoring                               prometheus-operator-admission-webhook-7987f7d497-pgx96       0/1     Pending            0              152m   <none>         <none>                  <none>           <none>
      openshift-monitoring                               prometheus-operator-admission-webhook-7987f7d497-rpw8x       0/1     Pending            0              152m   <none>         <none>                  <none>           <none>
      openshift-network-diagnostics                      network-check-source-58949f86b8-lr4rv                        0/1     Pending            0              155m   <none>         <none>                  <none>           <none>
      openshift-operator-lifecycle-manager               collect-profiles-28433745-h4zxl                              0/1     Pending            0              5m3s   <none>         <none>                  <none>           <none>
      
      $ oc -n openshift-machine-api get machine-api-controllers-6fbc985dff-8jzcs -o yaml
      [...]
        - containerID: cri-o://0acb5c04e42987aa668dc350161a62652df5f725b37f959a8d720635b18a546e                                                                                                                                                     
          image: quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:ec9307292e1da848e2dd2a54bcdbd124e1b282912a31ed074d722796362348ba                                                                                                             
          imageID: 2cc06bc07f65c88d8eb4d0f28d104728bdd9d501eb77815aa57745308816e784                                                                                                                                                                 
          lastState:                                                                                                                                                                                                                                
            terminated:                                                                                                                                                                                                                             
              containerID: cri-o://0acb5c04e42987aa668dc350161a62652df5f725b37f959a8d720635b18a546e                                                                                                                                                 
              exitCode: 2                                                                                                                                                                                                                           
              finishedAt: "2024-01-23T15:28:09Z"                                                                                                                                                                                                    
              reason: Error                                                                                                                                                                                                                         
              startedAt: "2024-01-23T15:28:09Z"                                                                                                                                                                                                     
          name: machine-controller
          ready: false         
          restartCount: 30      
          started: false                            
          state:                
            waiting:        
              message: back-off 5m0s restarting failed container=machine-controller pod=machine-api-controllers-6fbc985dff-8jzcs_openshift-machine-api(40da7759-9946-421a-9bbb-7409f5ea864c)                                                       
              reason: CrashLoopBackOff 
      [...]    

      Attachments

        Activity

          People

            maandre@redhat.com Martin André
            ykhodork Yaakov Khodorkovski
            Itshak Brown Itshak Brown
            Votes:
            0 Vote for this issue
            Watchers:
            4 Start watching this issue

            Dates

              Created:
              Updated:
              Resolved: