Uploaded image for project: 'Red Hat OpenStack Services on OpenShift'
  1. Red Hat OpenStack Services on OpenShift
  2. OSPRH-12922

Pods of the control plane are rebooted after updating the operators. OpenStack operators update shouldn't disrupt the control plane or dataplane (OVN pods were rebooted)

XMLWordPrintable

    • Icon: Bug Bug
    • Resolution: Duplicate
    • Icon: Undefined Undefined
    • None
    • rhos-18.0 FR 1 (Nov 2024)
    • openstack-operator
    • None
    • False
    • Hide

      None

      Show
      None
    • False
    • ?
    • None
    • Bug Fix
    • Critical

      Starting point:

      RHOSO deployment 18.0.2 - (1.0.3)

       

      oc get csvs -n openstack-operators
      NAME                                    DISPLAY                        VERSION               REPLACES                              PHASE
      barbican-operator.v1.0.3                Barbican Operator              1.0.3                 barbican-operator.v1.0.2              Succeeded
      cinder-operator.v1.0.3                  Cinder Operator                1.0.3                 cinder-operator.v1.0.2                Succeeded
      designate-operator.v1.0.3               Designate Operator             1.0.3                 designate-operator.v1.0.2             Succeeded
      glance-operator.v1.0.3                  Glance Operator                1.0.3                 glance-operator.v1.0.2                Succeeded
      heat-operator.v1.0.3                    Heat Operator                  1.0.3                 heat-operator.v1.0.2                  Succeeded
      horizon-operator.v1.0.3                 Horizon Operator               1.0.3                 horizon-operator.v1.0.2               Succeeded
      infra-operator.v1.0.3                   OpenStack Infra                1.0.3                 infra-operator.v1.0.2                 Succeeded
      ironic-operator.v1.0.3                  Ironic Operator                1.0.3                 ironic-operator.v1.0.2                Succeeded
      keystone-operator.v1.0.3                Keystone Operator              1.0.3                 keystone-operator.v1.0.2              Succeeded
      manila-operator.v1.0.3                  Manila Operator                1.0.3                 manila-operator.v1.0.2                Succeeded
      mariadb-operator.v1.0.3                 MariaDB Operator               1.0.3                 mariadb-operator.v1.0.2               Succeeded
      metallb-operator.v4.16.0-202411251535   MetalLB Operator               4.16.0-202411251535                                         Succeeded
      neutron-operator.v1.0.3                 Neutron Operator               1.0.3                 neutron-operator.v1.0.2               Succeeded
      nova-operator.v1.0.3                    Nova Operator                  1.0.3                 nova-operator.v1.0.2                  Succeeded
      octavia-operator.v1.0.3                 Octavia Operator               1.0.3                 octavia-operator.v1.0.2               Succeeded
      openstack-ansibleee-operator.v1.0.3     OpenStackAnsibleEE             1.0.3                 openstack-ansibleee-operator.v1.0.2   Succeeded
      openstack-baremetal-operator.v1.0.3     OpenStack Baremetal Operator   1.0.3                 openstack-baremetal-operator.v1.0.2   Succeeded
      openstack-operator.v1.0.3               OpenStack                      1.0.3                 openstack-operator.v1.0.2             Succeeded
      ovn-operator.v1.0.3                     OVN Operator                   1.0.3                 ovn-operator.v1.0.2                   Succeeded
      placement-operator.v1.0.3               Placement Operator             1.0.3                 placement-operator.v1.0.2             Succeeded
      rabbitmq-cluster-operator.v1.0.3        RabbitMQ Cluster Operator      1.0.3                 rabbitmq-cluster-operator.v1.0.2      Succeeded
      swift-operator.v1.0.3                   Swift operator                 1.0.3                 swift-operator.v1.0.2                 Succeeded
      telemetry-operator.v1.0.3               Telemetry Operator             1.0.3                 telemetry-operator.v1.0.2             Succeeded

      Pods: 

      NAME                                                              READY   STATUS      RESTARTS   AGE
      bootstrap-openstack-edpm-ipam-openstack-edpm-ipam-fkjd4           0/1     Completed   0          64m
      ceilometer-0                                                      4/4     Running     0          68m
      cinder-api-0                                                      2/2     Running     0          70m
      cinder-scheduler-0                                                2/2     Running     0          70m
      cinder-volume-nfs-0                                               2/2     Running     0          70m
      configure-network-openstack-edpm-ipam-openstack-edpm-ipam-hl6gv   0/1     Completed   0          60m
      configure-os-openstack-edpm-ipam-openstack-edpm-ipam-w26ct        0/1     Completed   0          58m
      dnsmasq-dns-95d4f797b-fdtdp                                       1/1     Running     0          65m
      glance-default-single-0                                           3/3     Running     0          71m
      install-certs-openstack-edpm-ipam-openstack-edpm-ipam-gggpm       0/1     Completed   0          55m
      install-os-openstack-edpm-ipam-openstack-edpm-ipam-k9tq9          0/1     Completed   0          58m
      keystone-5cddfc8c59-789rn                                         1/1     Running     0          71m
      keystone-cron-28941721-j2rtd                                      0/1     Completed   0          55m
      libvirt-openstack-edpm-ipam-openstack-edpm-ipam-wx4gt             0/1     Completed   0          51m
      memcached-0                                                       1/1     Running     0          73m
      neutron-9cfc99b4-t6qzt                                            2/2     Running     0          70m
      neutron-metadata-openstack-edpm-ipam-openstack-edpm-ipam-mpjt9    0/1     Completed   0          52m
      nova-api-0                                                        2/2     Running     0          68m
      nova-cell0-conductor-0                                            1/1     Running     0          69m
      nova-cell1-conductor-0                                            1/1     Running     0          69m
      nova-cell1-novncproxy-0                                           1/1     Running     0          68m
      nova-metadata-0                                                   2/2     Running     0          68m
      nova-openstack-edpm-ipam-openstack-edpm-ipam-pw2jb                0/1     Completed   0          48m
      nova-scheduler-0                                                  1/1     Running     0          68m
      openstack-cell1-galera-0                                          1/1     Running     0          73m
      openstack-galera-0                                                1/1     Running     0          73m
      openstackclient                                                   1/1     Running     0          71m
      ovn-controller-2j6vz                                              1/1     Running     0          73m
      ovn-controller-bbln2                                              1/1     Running     0          73m
      ovn-controller-fhmcr                                              1/1     Running     0          73m
      ovn-controller-ovs-ghj5k                                          2/2     Running     0          73m
      ovn-controller-ovs-l8sw6                                          2/2     Running     0          73m
      ovn-controller-ovs-nf989                                          2/2     Running     0          73m
      ovn-northd-69df48568c-j746v                                       1/1     Running     0          73m
      ovn-openstack-edpm-ipam-openstack-edpm-ipam-gxwx4                 0/1     Completed   0          55m
      ovsdbserver-nb-0                                                  1/1     Running     0          73m
      ovsdbserver-sb-0                                                  1/1     Running     0          73m
      placement-6c94cf8c88-rpzjk                                        2/2     Running     0          71m
      rabbitmq-cell1-server-0                                           1/1     Running     0          73m
      rabbitmq-server-0                                                 1/1     Running     0          73m
      reboot-os-openstack-edpm-ipam-openstack-edpm-ipam-dvcx6           0/1     Completed   0          56m
      run-os-openstack-edpm-ipam-openstack-edpm-ipam-6lrqq              0/1     Completed   0          57m
      ssh-known-hosts-openstack-edpm-ipam-qm4gg                         0/1     Completed   0          57m
      telemetry-openstack-edpm-ipam-openstack-edpm-ipam-rrkv9           0/1     Completed   0          45m
      validate-network-openstack-edpm-ipam-openstack-edpm-ipam-7wjvl    0/1     Completed   0          58m

      I approve the 1.0.5 install plane:

      oc get installplans -n openstack-operators
      NAME            CSV                      APPROVAL   APPROVED
      install-2ljg6   manila-operator.v1.0.5   Manual     false
      install-7dgfd   manila-operator.v1.0.3   Manual     true 

      The control plane pods are rebooted (AGE reflects it):

      NAME                                                              READY   STATUS      RESTARTS        AGE
      bootstrap-openstack-edpm-ipam-openstack-edpm-ipam-fkjd4           0/1     Completed   0               68m
      ceilometer-0                                                      4/4     Running     0               3m24s
      cinder-api-0                                                      2/2     Running     0               3m8s
      cinder-scheduler-0                                                2/2     Running     0               3m7s
      cinder-volume-nfs-0                                               2/2     Running     0               3m6s
      configure-network-openstack-edpm-ipam-openstack-edpm-ipam-hl6gv   0/1     Completed   0               63m
      configure-os-openstack-edpm-ipam-openstack-edpm-ipam-w26ct        0/1     Completed   0               61m
      dnsmasq-dns-95d4f797b-fdtdp                                       1/1     Running     0               68m
      glance-db-sync-wrxc2                                              0/1     Completed   0               3m13s
      glance-default-single-0                                           3/3     Running     0               3m10s
      install-certs-openstack-edpm-ipam-openstack-edpm-ipam-gggpm       0/1     Completed   0               59m
      install-os-openstack-edpm-ipam-openstack-edpm-ipam-k9tq9          0/1     Completed   0               62m
      keystone-86b7658cdf-pz5qn                                         1/1     Running     0               106s
      keystone-bootstrap-9pwn8                                          0/1     Completed   0               112s
      keystone-cron-28941721-j2rtd                                      0/1     Completed   0               59m
      keystone-db-sync-zkwkf                                            0/1     Completed   0               117s
      libvirt-openstack-edpm-ipam-openstack-edpm-ipam-wx4gt             0/1     Completed   0               55m
      memcached-0                                                       1/1     Running     0               2m35s
      neutron-8d9888799-5tnt4                                           2/2     Running     0               3m
      neutron-metadata-openstack-edpm-ipam-openstack-edpm-ipam-mpjt9    0/1     Completed   0               56m
      nova-api-0                                                        2/2     Running     0               2m19s
      nova-cell0-cell-mapping-8klv9                                     0/1     Completed   0               3m2s
      nova-cell0-conductor-0                                            1/1     Running     0               2m55s
      nova-cell1-cell-mapping-6fpbw                                     0/1     Completed   0               2m44s
      nova-cell1-conductor-0                                            1/1     Running     0               2m59s
      nova-cell1-novncproxy-0                                           1/1     Running     0               2m59s
      nova-metadata-0                                                   2/2     Running     0               2m19s
      nova-openstack-edpm-ipam-openstack-edpm-ipam-pw2jb                0/1     Completed   0               52m
      nova-scheduler-0                                                  1/1     Running     2 (2m15s ago)   2m22s
      openstack-cell1-galera-0                                          1/1     Running     0               77m
      openstack-galera-0                                                1/1     Running     0               77m
      openstackclient                                                   1/1     Running     0               101s
      ovn-northd-69df48568c-j746v                                       1/1     Running     0               76m
      ovn-openstack-edpm-ipam-openstack-edpm-ipam-gxwx4                 0/1     Completed   0               58m
      ovsdbserver-nb-0                                                  1/1     Running     0               3m35s
      ovsdbserver-sb-0                                                  1/1     Running     0               3m35s
      placement-6c94cf8c88-rpzjk                                        2/2     Running     0               74m
      rabbitmq-cell1-server-0                                           1/1     Running     0               77m
      rabbitmq-server-0                                                 1/1     Running     0               77m
      reboot-os-openstack-edpm-ipam-openstack-edpm-ipam-dvcx6           0/1     Completed   0               60m
      run-os-openstack-edpm-ipam-openstack-edpm-ipam-6lrqq              0/1     Completed   0               61m
      ssh-known-hosts-openstack-edpm-ipam-qm4gg                         0/1     Completed   0               61m
      telemetry-openstack-edpm-ipam-openstack-edpm-ipam-rrkv9           0/1     Completed   0               49m
      validate-network-openstack-edpm-ipam-openstack-edpm-ipam-7wjvl    0/1     Completed   0               62m 

      Some pods like galera, rabbitmq and placement haven't been rebooted.

      If OpenStack operators update disrupt the control plane we should document it. 

      OVN pods were rebooted. OpenStack operators update mustn't disrupt dataplane. OVN related pods like OVN Controller may be disrupting if acting as OVN gateways. 

      Adding event.logs (oc get events --sort-by='.metadata.creationTimestamp' -n openstack > events.log)

       

              Unassigned Unassigned
              pnavarro@redhat.com Pedro Navarro Perez
              rhos-dfg-ospk8s
              Votes:
              0 Vote for this issue
              Watchers:
              2 Start watching this issue

                Created:
                Updated:
                Resolved: