Uploaded image for project: 'OpenShift Bugs'
  1. OpenShift Bugs
  2. OCPBUGS-29815

TP cluster micro-upgrade fails, waiting on cluster-api

XMLWordPrintable

    • Icon: Bug Bug
    • Resolution: Unresolved
    • Icon: Minor Minor
    • None
    • 4.15, 4.16, 4.17
    • None
    • Important
    • No
    • CLOUD Sprint 250, CLOUD Sprint 251, CLOUD Sprint 252, CLOUD Sprint 253, CLOUD Sprint 254, CLOUD Sprint 255, CLOUD Sprint 256, CLOUD Sprint 257, CLOUD Sprint 258, CLOUD Sprint 259, CLOUD Sprint 260, CLOUD Sprint 261, CLOUD Sprint 263, CLOUD Sprint 264, CLOUD Sprint 262, CLOUD Sprint 265
    • 16
    • Rejected
    • False
    • Hide

      None

      Show
      None

      Description of problem:

      On azure(or vsphere) TP cluster upgrade failed from 4.15.0-rc.5-> 4.15.0-rc.7 or 4.15.0-rc.4-> 4.15.0-rc.5, stuck in cluster-api.
      Seems this only happened on platforms don't support capi, this couldn't be reproduced on aws and gcp, .

      Version-Release number of selected component (if applicable):

          4.15.0-rc.5-> 4.15.0-rc.7 or 4.15.0-rc.4-> 4.15.0-rc.5

      How reproducible:

          always

      Steps to Reproduce:

          1.Build a TP cluster 4.15.0-rc.5 on azure(or vsphere)
          2.Upgrade to 4.15.0-rc.7     
          3.
          

      Actual results:

      Upgrade stuck in cluster-api. 
      must-gather: https://drive.google.com/file/d/12ykhEVZvqY_0eNdLwJOWFSxTSdQQrm_y/view?usp=sharing
      
      $ oc get clusterversion       NAME      VERSION       AVAILABLE   PROGRESSING   SINCE   STATUS version   4.15.0-rc.5   True        True          82m     Working towards 4.15.0-rc.7: 257 of 929 done (27% complete), waiting on cluster-api
      
      I0222 04:53:18.733907       1 sync_worker.go:1134] Update error 198 of 929: ClusterOperatorUpdating Cluster operator cluster-api is updating versions (*errors.errorString: cluster operator cluster-api is available and not degraded but has not finished updating to target version) E0222 04:53:18.733944       1 sync_worker.go:638] unable to synchronize image (waiting 2m44.892272217s): Cluster operator cluster-api is updating versions
      
      $ oc get co     
      NAME                                       VERSION       AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
      authentication                             4.15.0-rc.5   True        False         False      99m
      baremetal                                  4.15.0-rc.5   True        False         False      123m
      cloud-controller-manager                   4.15.0-rc.7   True        False         False      128m
      cloud-credential                           4.15.0-rc.5   True        False         False      135m
      cluster-api                                4.15.0-rc.5   True        False         False      124m
      cluster-autoscaler                         4.15.0-rc.5   True        False         False      123m
      config-operator                            4.15.0-rc.7   True        False         False      124m
      console                                    4.15.0-rc.5   True        False         False      101m
      control-plane-machine-set                  4.15.0-rc.7   True        False         False      113m
      csi-snapshot-controller                    4.15.0-rc.5   True        False         False      112m
      dns                                        4.15.0-rc.5   True        False         False      115m
      etcd                                       4.15.0-rc.7   True        False         False      122m
      image-registry                             4.15.0-rc.5   True        False         False      107m
      ingress                                    4.15.0-rc.5   True        False         False      106m
      insights                                   4.15.0-rc.5   True        False         False      118m
      kube-apiserver                             4.15.0-rc.7   True        False         False      108m
      kube-controller-manager                    4.15.0-rc.7   True        False         False      121m
      kube-scheduler                             4.15.0-rc.7   True        False         False      120m
      kube-storage-version-migrator              4.15.0-rc.5   True        False         False      115m
      machine-api                                4.15.0-rc.7   True        False         False      111m
      machine-approver                           4.15.0-rc.5   True        False         False      124m
      machine-config                             4.15.0-rc.5   True        False         False      121m
      marketplace                                4.15.0-rc.5   True        False         False      123m
      monitoring                                 4.15.0-rc.5   True        False         False      106m
      network                                    4.15.0-rc.5   True        False         False      126m
      node-tuning                                4.15.0-rc.5   True        False         False      112m
      olm                                        4.15.0-rc.5   True        False         False      106m
      openshift-apiserver                        4.15.0-rc.5   True        False         False      115m
      openshift-controller-manager               4.15.0-rc.5   True        False         False      115m
      openshift-samples                          4.15.0-rc.5   True        False         False      111m
      operator-lifecycle-manager                 4.15.0-rc.5   True        False         False      123m
      operator-lifecycle-manager-catalog         4.15.0-rc.5   True        False         False      123m
      operator-lifecycle-manager-packageserver   4.15.0-rc.5   True        False         False      112m
      platform-operators-aggregated              4.15.0-rc.5   True        False         False      73m
      service-ca                                 4.15.0-rc.5   True        False         False      124m
      storage                                    4.15.0-rc.5   True        False         False      107m  

      Expected results:

      Upgrade is successful

      Additional info:

       upgrade succeed from 4.15.0-rc.3-> 4.15.0-rc.4

              ddonati@redhat.com Damiano Donati
              rhn-support-zhsun Zhaohua Sun
              Zhaohua Sun Zhaohua Sun
              Votes:
              0 Vote for this issue
              Watchers:
              8 Start watching this issue

                Created:
                Updated: