To Reproduce Steps to reproduce the behavior:

in a local storage (LVMS or LSO assigned PVs) environment with 3 schedulable  worker nodes shutdown one worker and observe the issue

Expected behavior

• additional replicas should handle the outage

Screenshots

• root@bison:~# oc get pods -owide | grep gale
  openstack-cell1-galera-0                                          1/1     Running       0             78m    10.129.0.150    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-cell1-galera-1                                          1/1     Running       0             59m    10.130.0.14     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-cell1-galera-2                                          1/1     Terminating   0             78m    10.128.0.119    rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-0                                                1/1     Running       0             78m    10.129.0.149    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-1                                                1/1     Running       0             59m    10.130.0.26     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-2                                                1/1     Terminating   0             78m    10.128.0.109    rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  
  root@bison:~# oc rsh openstackclient 
  sh-5.1$ openstack hypervisor list
  Internal Server Error (HTTP 500)
  sh-5.1$   
  
  sh-5.1$ openstack network agent list
  HttpException: 503: Server Error for url: https://neutron-public-openstack-staging.apps.rhoso-ocp.demo.lab.com/v2.0/agents, The server is currently unavailable. Please try again at a later time.<br /><br />
  The Keystone service is temporarily unavailable.
  
  root@bison:~# oc get pods -owide | grep keystone
  barbican-keystone-listener-keystone-listener-8665fc468b-h6q9d     2/2     Running            0               96m   10.129.0.108    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-dlhw5                                         1/1     Running            0               78m   10.129.0.171    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-rtn8m                                         1/1     Running            0               18m   10.130.0.61     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-tvls2                                         1/1     Running            0               95m   10.129.0.130    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>     
  
  root@bison:~# oc get node
  NAME                                  STATUS     ROLES                         AGE    VERSION
  rhoso-ocp-n0.rhoso-ocp.demo.lab.com   NotReady   control-plane,master,worker   147d   v1.31.6
  rhoso-ocp-n1.rhoso-ocp.demo.lab.com   Ready      control-plane,master,worker   147d   v1.31.6
  rhoso-ocp-n2.rhoso-ocp.demo.lab.com   Ready      control-plane,master,worker   147d   v1.31.6
  
  root@bison:~# oc get openstackversions.core.openstack.org 
  NAME                                  TARGET VERSION      AVAILABLE VERSION   DEPLOYED VERSION
  openstack-control-plane-staging-env   18.0.6-20250317.1   18.0.6-20250317.1   18.0.6-20250317.1
  
  root@bison:~# oc get pods -owide
  NAME                                                              READY   STATUS        RESTARTS         AGE    IP              NODE                                  NOMINATED NODE   READINESS GATES
  barbican-api-api-59cf6fcb5d-x4qgd                                 2/2     Running       0                144m   10.129.0.167    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-api-api-59cf6fcb5d-x9fxs                                 2/2     Running       0                162m   10.129.0.123    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-api-api-59cf6fcb5d-xtjlf                                 2/2     Running       0                85m    10.130.0.71     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-keystone-listener-keystone-listener-8665fc468b-h6q9d     2/2     Running       0                162m   10.129.0.108    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-keystone-listener-keystone-listener-8665fc468b-n7xcn     2/2     Running       0                47m    10.129.0.201    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-keystone-listener-keystone-listener-8665fc468b-wf86k     2/2     Running       0                60m    10.130.0.133    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-keystone-listener-keystone-listener-8665fc468b-zx824     2/2     Terminating   0                60m    10.128.0.32     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-worker-worker-85f989ddc8-8nmdm                           2/2     Running       0                144m   10.129.0.170    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-worker-worker-85f989ddc8-hgq45                           2/2     Running       0                162m   10.129.0.122    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  barbican-worker-worker-85f989ddc8-xfllk                           2/2     Running       0                85m    10.130.0.79     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-api-0                                                      2/2     Running       0                144m   10.129.0.184    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-api-1                                                      2/2     Running       0                161m   10.129.0.141    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-api-2                                                      2/2     Running       0                67m    10.130.0.113    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-db-purge-29118241-rs9cm                                    0/1     Completed     0                164m   10.129.0.101    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-scheduler-0                                                2/2     Running       0                67m    10.130.0.104    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  cinder-volume-volume1-0                                           2/2     Running       0                67m    10.130.0.118    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  dnsmasq-dns-ff7645459-fv958                                       1/1     Running       0                144m   10.129.0.169    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  dnsmasq-dns-ff7645459-kj2w8                                       1/1     Terminating   0                60m    10.128.0.30     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  dnsmasq-dns-ff7645459-pfz2k                                       1/1     Running       0                47m    10.129.0.203    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  dnsmasq-dns-ff7645459-rbg65                                       1/1     Running       0                60m    10.130.0.132    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-db-purge-29118241-qr9gs                                    0/1     Completed     0                164m   10.129.0.100    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-external-api-0                                     3/3     Running       0                161m   10.129.0.148    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-external-api-1                                     3/3     Running       0                143m   10.130.0.22     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-external-api-2                                     3/3     Terminating   0                67m    10.128.0.13     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-internal-api-0                                     3/3     Running       0                161m   10.129.0.145    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-internal-api-1                                     3/3     Running       0                143m   10.130.0.11     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  glance-default-internal-api-2                                     3/3     Terminating   0                67m    10.128.0.19     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  horizon-7d56cf488-8sbvq                                           0/1     Running       20 (5m28s ago)   60m    10.129.0.199    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  horizon-7d56cf488-9w42b                                           1/1     Terminating   0                60m    10.128.0.31     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  horizon-7d56cf488-bkpgk                                           0/1     Running       18 (5m50s ago)   47m    10.129.0.200    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  horizon-7d56cf488-kwdvj                                           0/1     Running       30 (13s ago)     85m    10.130.0.89     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-dlhw5                                         1/1     Running       0                144m   10.129.0.171    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-rtn8m                                         1/1     Running       0                85m    10.130.0.61     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-54f7b557fb-tvls2                                         1/1     Running       0                162m   10.129.0.130    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  keystone-cron-29119141-6xj4m                                      0/1     Completed     0                118m   10.130.0.30     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  memcached-0                                                       1/1     Running       0                67m    10.130.0.121    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  memcached-1                                                       1/1     Terminating   0                67m    10.128.0.10     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  memcached-2                                                       1/1     Running       0                162m   10.129.0.121    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  neutron-68cd6d8d9f-2xxc6                                          2/2     Running       0                85m    10.130.0.62     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  neutron-68cd6d8d9f-4pwfc                                          2/2     Running       2 (162m ago)     162m   10.129.0.112    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  neutron-68cd6d8d9f-6bvl9                                          2/2     Running       0                85m    10.130.0.64     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-api-0                                                        2/2     Running       0                144m   10.129.0.189    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-api-1                                                        2/2     Running       0                161m   10.129.0.140    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-api-2                                                        2/2     Running       0                67m    10.130.0.117    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-cell0-conductor-0                                            1/1     Running       1 (162m ago)     162m   10.129.0.127    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-cell1-conductor-0                                            1/1     Running       0                67m    10.130.0.114    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-cell1-novncproxy-0                                           1/1     Running       0                144m   10.129.0.182    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-metadata-0                                                   2/2     Running       0                67m    10.130.0.126    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-metadata-1                                                   2/2     Running       0                162m   10.129.0.133    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-metadata-2                                                   2/2     Running       0                67m    10.130.0.107    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-scheduler-0                                                  1/1     Running       0                67m    10.130.0.110    rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-scheduler-1                                                  1/1     Running       0                161m   10.129.0.146    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  nova-scheduler-2                                                  1/1     Running       2 (143m ago)     144m   10.129.0.183    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-cell1-galera-0                                          1/1     Running       0                161m   10.129.0.150    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-cell1-galera-1                                          1/1     Running       0                143m   10.130.0.14     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-cell1-galera-2                                          1/1     Terminating   0                67m    10.128.0.17     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-0                                                1/1     Running       0                161m   10.129.0.149    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-1                                                1/1     Running       0                143m   10.130.0.26     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  openstack-galera-2                                                1/1     Terminating   0                67m    10.128.0.21     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  openstackclient                                                   1/1     Running       0                144m   10.129.0.181    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  ovn-northd-5dbc556bf4-6k7qf                                       1/1     Running       0                85m    10.130.0.60     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  ovsdbserver-nb-0                                                  1/1     Running       0                162m   10.129.0.118    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  ovsdbserver-sb-0                                                  1/1     Running       0                162m   10.129.0.125    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  placement-68fb88dcbd-8t9jf                                        2/2     Running       0                144m   10.129.0.173    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  placement-68fb88dcbd-c9zjp                                        2/2     Running       0                162m   10.129.0.114    rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  placement-68fb88dcbd-xw9mp                                        2/2     Running       0                85m    10.130.0.72     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-cell1-server-0                                           1/1     Running       0                25h    10.129.0.75     rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-cell1-server-1                                           1/1     Terminating   0                67m    10.128.0.11     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-cell1-server-2                                           1/1     Running       0                143m   10.130.0.23     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-server-0                                                 1/1     Running       0                25h    10.129.0.76     rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-server-1                                                 1/1     Terminating   0                67m    10.128.0.14     rhoso-ocp-n0.rhoso-ocp.demo.lab.com   <none>           <none>
  rabbitmq-server-2                                                 1/1     Running       0                143m   10.130.0.21     rhoso-ocp-n2.rhoso-ocp.demo.lab.com   <none>           <none>
  rhoso-bmp-staging-0-2-provisionserver-openstackprovisionse55x7t   1/1     Running       0                25h    192.168.150.5   rhoso-ocp-n1.rhoso-ocp.demo.lab.com   <none>           <none>
   

horizon-7d56cf488-kwdvj-horizon.loghorizong log from the crashlooping pod running on node2 (online)

Bug impact

• Blocks POC

Known workaround

• none

Additional context

• <your text here>
• …