+ /root/bin/openshift-install agent wait-for install-complete --log-level debug --dir cnfdc8                                                                                                                                                 DEBUG asset directory: cnfdc8                                                                                         DEBUG Loading Agent Config...                                                                                                                                                                                                                 DEBUG Using Agent Config loaded from state file                                                                                                                                                                                               DEBUG Loading Agent Manifests...                                                                                                                     DEBUG   Loading Agent PullSecret...                                                                 DEBUG     Loading Install Config...                                                                                                                                                                                                           DEBUG     Using Install Config loaded from state file                                                 DEBUG   Using Agent PullSecret loaded from state file                                                   DEBUG   Loading InfraEnv Config...                                                                   DEBUG     Loading Install Config...                                                                 DEBUG     Loading Agent Config...                                                                                                                                                                                                             DEBUG   Using InfraEnv Config loaded from state file                                                                                                                                                                                         DEBUG   Loading NMState Config...                                                                           DEBUG     Loading Agent Config...                                                                                                                                                                                                             DEBUG     Loading Install Config...                                                                                                                                                                                                           DEBUG   Using NMState Config loaded from state file                                                                                                 DEBUG   Loading AgentClusterInstall Config...                                                                                                             DEBUG     Loading Install Config...                                                                                                                                                                                                           DEBUG   Using AgentClusterInstall Config loaded from state file                                                 DEBUG   Loading ClusterDeployment Config...                                                                                                                                                                                                   DEBUG     Loading Install Config...                                                                                                     DEBUG   Using ClusterDeployment Config loaded from state file                                                   DEBUG   Loading ClusterImageSet Config...                                                                                                         DEBUG     Loading Release Image Pull Spec...                                                                                                         DEBUG     Using Release Image Pull Spec loaded from state file                                                                                                                                                                               DEBUG     Loading Install Config...                                                                                                                                                                                                           DEBUG   Using ClusterImageSet Config loaded from state file                                                                                                                                                                                   DEBUG Using Agent Manifests loaded from state file DEBUG RendezvousIP from the AgentConfig 10.19.17.126                                                                                                                                                                                         DEBUG Agent Rest API Initialized                                                                                 INFO Cluster is not ready for install. Check validations                                                                                                                                                                                     DEBUG Cluster validation: The pull secret is set.                                                                                                                                                                                             WARNING Cluster validation: The cluster has hosts that are not ready to install.                                                         DEBUG Cluster validation: The cluster has the exact amount of dedicated control plane nodes.                                                                                                                                                 DEBUG Cluster validation: API virtual IPs are defined.                                                                                           WARNING Cluster validation: api vips <10.19.16.83> are not verified yet.                                                                             DEBUG Cluster validation: The Cluster Network CIDR is defined.                                                                                                                                                                               DEBUG Cluster validation: The base domain is defined.                                                                                 DEBUG Cluster validation: Ingress virtual IPs are defined.                                                         WARNING Cluster validation: ingress vips <10.19.16.84> are not verified yet.                                                                                                                                                                 DEBUG Cluster validation: The Machine Network CIDR is defined.                                                                                                                                                                               DEBUG Cluster validation: The Cluster Machine CIDR is equivalent to the calculated CIDR.                                                                                                                                                     DEBUG Cluster validation: The Cluster Network prefix is valid.                                                                                                                                                                               DEBUG Cluster validation: The cluster has a valid network type                                                 DEBUG Cluster validation: Same address families for all networks.                                                                                                                                                                             DEBUG Cluster validation: No CIDRS are overlapping.                                                                                                                                                                                           DEBUG Cluster validation: No ntp problems found                                                                                                                                                                                               DEBUG Cluster validation: The Service Network CIDR is defined.                                                                                                                                                                               DEBUG Cluster validation: cnv is disabled                                                                                                                                                                                                     DEBUG Cluster validation: lso is disabled                                                         DEBUG Cluster validation: lvm is disabled                                                                                                                                                                                                     DEBUG Cluster validation: odf is disabled                                                                                                                                                                                                     DEBUG Host cnfdc8-master-0 validation: Valid inventory exists for the host                                                                                                                                                                   DEBUG Host cnfdc8-master-0 validation: Sufficient CPU cores                                                                                                                                                                                   DEBUG Host cnfdc8-master-0 validation: Sufficient minimum RAM                                                         DEBUG Host cnfdc8-master-0 validation: Sufficient disk capacity                                                                                                                                                                               DEBUG Host cnfdc8-master-0 validation: Sufficient CPU cores for role master                                                                                                                                                                   DEBUG Host cnfdc8-master-0 validation: Sufficient RAM for role master                                                                               DEBUG Host cnfdc8-master-0 validation: Hostname cnfdc8-master-0 is unique in cluster               DEBUG Host cnfdc8-master-0 validation: Hostname cnfdc8-master-0 is allowed                                                                                                                                                                   DEBUG Host cnfdc8-master-0 validation: Speed of installation disk has not yet been measured           DEBUG Host cnfdc8-master-0 validation: Host is compatible with cluster platform baremetal               DEBUG Host cnfdc8-master-0 validation: VSphere disk.EnableUUID is enabled for this virtual machine   DEBUG Host cnfdc8-master-0 validation: Host agent compatibility checking is disabled                 DEBUG Host cnfdc8-master-0 validation: No request to skip formatting of the installation disk                                                                                                                                                 DEBUG Host cnfdc8-master-0 validation: All disks that have skipped formatting are present in the host inventory                                                                                                                               DEBUG Host cnfdc8-master-0 validation: Host is connected                                                   DEBUG Host cnfdc8-master-0 validation: Media device is connected                                                                                                                                                                             DEBUG Host cnfdc8-master-0 validation: Machine Network CIDR is defined                                                                                                                                                                         DEBUG Host cnfdc8-master-0 validation: Host belongs to all machine network CIDRs                                                                     WARNING Host cnfdc8-master-0 validation: No connectivity to the majority of hosts in the cluster                                                           DEBUG Host cnfdc8-master-0 validation: Platform KVM is allowed                                                                                                                                                                               WARNING Host cnfdc8-master-0 validation: Host couldn't synchronize with any NTP server                         DEBUG Host cnfdc8-master-0 validation: Host clock is synchronized with service                                                                                                                                                               DEBUG Host cnfdc8-master-0 validation: All required container images were either pulled successfully or no attempt was made to pull them DEBUG Host cnfdc8-master-0 validation: Host has been configured with at least one default route.               DEBUG Host cnfdc8-master-0 validation: Domain name resolution for the api.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-master-0 validation: Domain name resolution for the api-int.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-master-0 validation: Domain name resolution for the *.apps.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-master-0 validation: Host subnets are not overlapping                                                                                                                                                                       DEBUG Host cnfdc8-master-0 validation: No IP collisions were detected by host ff5e6771-edce-4519-a17d-df47f8f547d7                                                                                                                           DEBUG Host cnfdc8-master-0 validation: cnv is disabled DEBUG Host cnfdc8-master-0 validation: lso is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-master-0 validation: lvm is disabled                                                           DEBUG Host cnfdc8-master-0 validation: odf is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-worker-0 validation: Valid inventory exists for the host                                                                                                                                                                   DEBUG Host cnfdc8-worker-0 validation: Sufficient CPU cores                                                                             DEBUG Host cnfdc8-worker-0 validation: Sufficient minimum RAM                                                                                                                                                                                 DEBUG Host cnfdc8-worker-0 validation: Sufficient disk capacity                                                                                   DEBUG Host cnfdc8-worker-0 validation: Sufficient CPU cores for role worker                                                                           DEBUG Host cnfdc8-worker-0 validation: Sufficient RAM for role worker                                                                                                                                                                         DEBUG Host cnfdc8-worker-0 validation: Hostname cnfdc8-worker-0 is unique in cluster                                                 DEBUG Host cnfdc8-worker-0 validation: Hostname cnfdc8-worker-0 is allowed                                         DEBUG Host cnfdc8-worker-0 validation: Speed of installation disk has not yet been measured                                                                                                                                                   DEBUG Host cnfdc8-worker-0 validation: Host is compatible with cluster platform baremetal                                                                                                                                                     DEBUG Host cnfdc8-worker-0 validation: VSphere disk.EnableUUID is enabled for this virtual machine                                                                                                                                           DEBUG Host cnfdc8-worker-0 validation: Host agent compatibility checking is disabled                                                                                                                                                         DEBUG Host cnfdc8-worker-0 validation: No request to skip formatting of the installation disk                   DEBUG Host cnfdc8-worker-0 validation: All disks that have skipped formatting are present in the host inventory                                                                                                                               DEBUG Host cnfdc8-worker-0 validation: Host is connected                                                                                                                                                                                     DEBUG Host cnfdc8-worker-0 validation: Media device is connected                                                                                                                                                                             DEBUG Host cnfdc8-worker-0 validation: Machine Network CIDR is defined                                                                                                                                                                       DEBUG Host cnfdc8-worker-0 validation: Host belongs to all machine network CIDRs                                                                                                                                                             WARNING Host cnfdc8-worker-0 validation: No connectivity to the majority of hosts in the cluster   DEBUG Host cnfdc8-worker-0 validation: Platform KVM is allowed                                                                                                                                                                               WARNING Host cnfdc8-worker-0 validation: Host couldn't synchronize with any NTP server                                                                                                                                                       DEBUG Host cnfdc8-worker-0 validation: Host clock is synchronized with service                                                                                                                                                               DEBUG Host cnfdc8-worker-0 validation: All required container images were either pulled successfully or no attempt was made to pull them                                                                                                     DEBUG Host cnfdc8-worker-0 validation: Host has been configured with at least one default route.                       DEBUG Host cnfdc8-worker-0 validation: Domain name resolution for the api.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                             DEBUG Host cnfdc8-worker-0 validation: Domain name resolution for the api-int.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-worker-0 validation: Domain name resolution for the *.apps.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-worker-0 validation: Host subnets are not overlapping                             DEBUG Host cnfdc8-worker-0 validation: No IP collisions were detected by host f6b0ea15-a156-46d3-ae21-2550fe766d71                                                                                                                           DEBUG Host cnfdc8-worker-0 validation: cnv is disabled                                                 DEBUG Host cnfdc8-worker-0 validation: lso is disabled                                                 DEBUG Host cnfdc8-worker-0 validation: lvm is disabled                                               DEBUG Host cnfdc8-worker-0 validation: odf is disabled                                               DEBUG Host cnfdc8-worker-1 validation: Valid inventory exists for the host                                                                                                                                                                   DEBUG Host cnfdc8-worker-1 validation: Sufficient CPU cores                                                                                                                                                                                   DEBUG Host cnfdc8-worker-1 validation: Sufficient minimum RAM                                               DEBUG Host cnfdc8-worker-1 validation: Sufficient disk capacity                                                                                                                                                                               DEBUG Host cnfdc8-worker-1 validation: Sufficient CPU cores for role worker                                                                                                                                                                   DEBUG Host cnfdc8-worker-1 validation: Sufficient RAM for role worker                                                                               DEBUG Host cnfdc8-worker-1 validation: Hostname cnfdc8-worker-1 is unique in cluster                                                                       DEBUG Host cnfdc8-worker-1 validation: Hostname cnfdc8-worker-1 is allowed                                                                                                                                                                   DEBUG Host cnfdc8-worker-1 validation: Speed of installation disk has not yet been measured                     DEBUG Host cnfdc8-worker-1 validation: Host is compatible with cluster platform baremetal                                                                                                                                                     DEBUG Host cnfdc8-worker-1 validation: VSphere disk.EnableUUID is enabled for this virtual machine           DEBUG Host cnfdc8-worker-1 validation: Host agent compatibility checking is disabled                           DEBUG Host cnfdc8-worker-1 validation: No request to skip formatting of the installation disk       DEBUG Host cnfdc8-worker-1 validation: All disks that have skipped formatting are present in the host inventory DEBUG Host cnfdc8-worker-1 validation: Host is connected                                                                                                                                                                                     DEBUG Host cnfdc8-worker-1 validation: Media device is connected                                                                                                                                                                             DEBUG Host cnfdc8-worker-1 validation: Machine Network CIDR is defined                                                                                                                                                                       DEBUG Host cnfdc8-worker-1 validation: Host belongs to all machine network CIDRs WARNING Host cnfdc8-worker-1 validation: No connectivity to the majority of hosts in the cluster                                                                                                                                             DEBUG Host cnfdc8-worker-1 validation: Platform PowerEdge R740 is allowed                                       WARNING Host cnfdc8-worker-1 validation: Host couldn't synchronize with any NTP server                                                                                                                                                       DEBUG Host cnfdc8-worker-1 validation: Host clock is synchronized with service                                                                                                                                                               DEBUG Host cnfdc8-worker-1 validation: All required container images were either pulled successfully or no attempt was made to pull them DEBUG Host cnfdc8-worker-1 validation: Host has been configured with at least one default route.                                                                                                                                             DEBUG Host cnfdc8-worker-1 validation: Domain name resolution for the api.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-worker-1 validation: Domain name resolution for the api-int.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-worker-1 validation: Domain name resolution for the *.apps.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-worker-1 validation: Host subnets are not overlapping                                                               DEBUG Host cnfdc8-worker-1 validation: No IP collisions were detected by host 41f8444e-2d21-1266-1196-0939739dbe60 DEBUG Host cnfdc8-worker-1 validation: cnv is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-worker-1 validation: lso is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-worker-1 validation: lvm is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-worker-1 validation: odf is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-master-1 validation: Valid inventory exists for the host                                     DEBUG Host cnfdc8-master-1 validation: Sufficient CPU cores                                                                                                                                                                                   DEBUG Host cnfdc8-master-1 validation: Sufficient minimum RAM                                                                                                                                                                                 DEBUG Host cnfdc8-master-1 validation: Sufficient disk capacity                                                                                                                                                                               DEBUG Host cnfdc8-master-1 validation: Sufficient CPU cores for role master                                                                                                                                                                   DEBUG Host cnfdc8-master-1 validation: Sufficient RAM for role master                                                                                                                                                                         DEBUG Host cnfdc8-master-1 validation: Hostname cnfdc8-master-1 is unique in cluster               DEBUG Host cnfdc8-master-1 validation: Hostname cnfdc8-master-1 is allowed                                                                                                                                                                   DEBUG Host cnfdc8-master-1 validation: Speed of installation disk has not yet been measured                                                                                                                                                   DEBUG Host cnfdc8-master-1 validation: Host is compatible with cluster platform baremetal                                                                                                                                                     DEBUG Host cnfdc8-master-1 validation: VSphere disk.EnableUUID is enabled for this virtual machine                                                                                                                                           DEBUG Host cnfdc8-master-1 validation: Host agent compatibility checking is disabled                                   DEBUG Host cnfdc8-master-1 validation: No request to skip formatting of the installation disk                                                                                                                                                 DEBUG Host cnfdc8-master-1 validation: All disks that have skipped formatting are present in the host inventory                                                                                                                               DEBUG Host cnfdc8-master-1 validation: Host is connected                                                     DEBUG Host cnfdc8-master-1 validation: Media device is connected                                   DEBUG Host cnfdc8-master-1 validation: Machine Network CIDR is defined                                                                                                                                                                       DEBUG Host cnfdc8-master-1 validation: Host belongs to all machine network CIDRs                       WARNING Host cnfdc8-master-1 validation: No connectivity to the majority of hosts in the cluster       DEBUG Host cnfdc8-master-1 validation: Platform KVM is allowed                                       WARNING Host cnfdc8-master-1 validation: Host couldn't synchronize with any NTP server               DEBUG Host cnfdc8-master-1 validation: Host clock is synchronized with service                                                                                                                                                               DEBUG Host cnfdc8-master-1 validation: All required container images were either pulled successfully or no attempt was made to pull them                                                                                                     DEBUG Host cnfdc8-master-1 validation: Host has been configured with at least one default route.           DEBUG Host cnfdc8-master-1 validation: Domain name resolution for the api.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                             DEBUG Host cnfdc8-master-1 validation: Domain name resolution for the api-int.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-master-1 validation: Domain name resolution for the *.apps.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required DEBUG Host cnfdc8-master-1 validation: Host subnets are not overlapping                                                                                   DEBUG Host cnfdc8-master-1 validation: No IP collisions were detected by host 20b9e25a-ed0f-46be-9287-28ddb8176f99                                                                                                                           DEBUG Host cnfdc8-master-1 validation: cnv is disabled                                                         DEBUG Host cnfdc8-master-1 validation: lso is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-master-1 validation: lvm is disabled                                                       DEBUG Host cnfdc8-master-1 validation: odf is disabled                                                         DEBUG Host cnfdc8-master-2 validation: cnv is disabled                                               DEBUG Host cnfdc8-master-2 validation: lso is disabled                                                           DEBUG Host cnfdc8-master-2 validation: lvm is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-master-2 validation: odf is disabled                                                                                                                                                                                       DEBUG Host cnfdc8-master-2 validation: Valid inventory exists for the host DEBUG Host cnfdc8-master-2 validation: Sufficient minimum RAM                                                                                                                                                                                 DEBUG Host cnfdc8-master-2 validation: Sufficient disk capacity                                                 DEBUG Host cnfdc8-master-2 validation: Sufficient CPU cores for role master                                                                                                                                                                   DEBUG Host cnfdc8-master-2 validation: Sufficient RAM for role master                                                                                                                                                                         DEBUG Host cnfdc8-master-2 validation: Hostname cnfdc8-master-2 is unique in cluster                     DEBUG Host cnfdc8-master-2 validation: Hostname cnfdc8-master-2 is allowed                                                                                                                                                                   DEBUG Host cnfdc8-master-2 validation: Speed of installation disk has not yet been measured       DEBUG Host cnfdc8-master-2 validation: Host is compatible with cluster platform baremetal                 DEBUG Host cnfdc8-master-2 validation: VSphere disk.EnableUUID is enabled for this virtual machine                                                                                                                                           DEBUG Host cnfdc8-master-2 validation: Host agent compatibility checking is disabled                                                 DEBUG Host cnfdc8-master-2 validation: No request to skip formatting of the installation disk           DEBUG Host cnfdc8-master-2 validation: All disks that have skipped formatting are present in the host inventory                                                                                                                               DEBUG Host cnfdc8-master-2 validation: Host is connected                                                                                                                                                                                     DEBUG Host cnfdc8-master-2 validation: Media device is connected                                                                                                                                                                             DEBUG Host cnfdc8-master-2 validation: Machine Network CIDR is defined                                                                                                                                                                       DEBUG Host cnfdc8-master-2 validation: Host belongs to all machine network CIDRs                               WARNING Host cnfdc8-master-2 validation: No connectivity to the majority of hosts in the cluster                                                                                                                                             DEBUG Host cnfdc8-master-2 validation: Platform KVM is allowed                                                                                                                                                                               WARNING Host cnfdc8-master-2 validation: Host couldn't synchronize with any NTP server                                                                                                                                                       DEBUG Host cnfdc8-master-2 validation: Host clock is synchronized with service                                                                                                                                                               DEBUG Host cnfdc8-master-2 validation: All required container images were either pulled successfully or no attempt was made to pull them                                                                                                     DEBUG Host cnfdc8-master-2 validation: Host has been configured with at least one default route.   DEBUG Host cnfdc8-master-2 validation: Domain name resolution for the api.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                             DEBUG Host cnfdc8-master-2 validation: Domain name resolution for the api-int.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-master-2 validation: Domain name resolution for the *.apps.cnfdc8.t5g.lab.eng.bos.redhat.com domain was successful or not required                                                                                         DEBUG Host cnfdc8-master-2 validation: Host subnets are not overlapping                                                                                                                                                                       DEBUG Host cnfdc8-master-2 validation: No IP collisions were detected by host a00727e7-7897-4ec0-ada2-ce1d6e6f0e2b     INFO Host cnfdc8-worker-1: calculated role is worker                                                                                                                                                                                         INFO Cluster validation: api vips 10.19.16.83 belongs to the Machine CIDR and is not in use.                                                                                                                                                 INFO Cluster validation: ingress vips 10.19.16.84 belongs to the Machine CIDR and is not in use.             INFO Host cnfdc8-master-0 validation: Host has connectivity to the majority of hosts in the cluster INFO Host cnfdc8-worker-0 validation: Host has connectivity to the majority of hosts in the cluster                                                                                                                                           INFO Host cnfdc8-master-1 validation: Host has connectivity to the majority of hosts in the cluster   INFO Host cnfdc8-master-2 validation: Host has connectivity to the majority of hosts in the cluster     INFO Host cnfdc8-worker-1: updated status from insufficient to known (Host is ready to be installed) INFO Cluster is ready for install                                                                   INFO Cluster validation: All hosts in the cluster are ready to install.                                                                                                                                                                       INFO Host cnfdc8-worker-1 validation: Host has connectivity to the majority of hosts in the cluster                                                                                                                                           INFO Preparing cluster for installation                                                                     INFO Host cnfdc8-worker-1: updated status from known to preparing-for-installation (Host finished successfully to prepare for installation)                                                                                                   INFO Host cnfdc8-master-0: New image status quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:9d474bea849f54ee0106bcc1fe822fd33043a7cf36021c90fe36013132a3e225. result: success. time: 3.33 seconds; size: 402.60 Megabytes; download rate : 126.75 MBps                                                                                                 INFO Host cnfdc8-worker-1: updated status from preparing-for-installation to preparing-successful (Host finished successfully to prepare for installation) INFO Cluster installation in progress                                                                                                                                                                                                         INFO Host cnfdc8-worker-1: updated status from preparing-successful to installing (Installation is in progress) INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 6%                                                                                                                                                             INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 5%                             INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 25%                               INFO Host: cnfdc8-master-0, reached installation stage Writing image to disk: 25%                   INFO Host: cnfdc8-master-0, reached installation stage Writing image to disk: 30%                               INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 53%                                                                                                                                                             INFO Host: cnfdc8-master-2, reached installation stage Writing image to disk: 58%                                                                                                                                                             INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 64%                                                                                                                                                             INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 71% INFO Host: cnfdc8-master-1, reached installation stage Writing image to disk: 79%                                                                                                                                                             INFO Host: cnfdc8-master-2, reached installation stage Writing image to disk: 80%                               INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 42%                                                                                                                                                             INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 56%                                                                                                                                                             INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 61%                       INFO Host: cnfdc8-worker-0, reached installation stage Writing image to disk: 100%                                                                                                                                                           INFO Host: cnfdc8-master-1, reached installation stage Rebooting                                 INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 78%                         INFO Host: cnfdc8-master-2, reached installation stage Rebooting                                                                                                                                                                             INFO Host: cnfdc8-master-0, reached installation stage Waiting for control plane: Waiting for masters to join bootstrap control plane INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 83%                       INFO Bootstrap Kube API Initialized                                                                                                                                                                                                           INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 88%                                                                                                                                                             INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 93%                                                                                                                                                             INFO Host: cnfdc8-worker-1, reached installation stage Writing image to disk: 100%                                                                                                                                                           INFO Host: cnfdc8-worker-1, reached installation stage Waiting for control plane                               INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Host: cnfdc8-master-1, reached installation stage Configuring                                                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02 INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Host: cnfdc8-master-1, reached installation stage Joined                                                                                                                                                                                 INFO Host: cnfdc8-master-0, reached installation stage Waiting for bootkube                                           INFO Host: cnfdc8-master-2, reached installation stage Done                                                                                                                                                                                   INFO Host: cnfdc8-worker-0, reached installation stage Rebooting                                                                                                                                                                             INFO Host: cnfdc8-worker-0, reached installation stage Waiting for ignition                                 INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02 INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Uploaded node boot logs for host cnfdc8-worker-0 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02     INFO Host: cnfdc8-worker-0, reached installation stage Configuring                                     INFO Uploaded node boot logs for host cnfdc8-master-1 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02 INFO Uploaded node boot logs for host cnfdc8-master-2 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02   INFO Uploaded node boot logs for host cnfdc8-worker-0 cluster 5068f4cb-8854-4011-ad62-4c0a8695aa02                                                                                                                                           INFO Host: cnfdc8-worker-0, reached installation stage Joined                                                                                                                                                                                 INFO Host: cnfdc8-worker-0, reached installation stage Done                                                 INFO Bootstrap configMap status is complete                                                                                                                                                                                                   INFO cluster bootstrap is complete                                                                                                                                                                                                           DEBUG Still waiting for the cluster to initialize: Multiple errors are preventing progress:                   DEBUG * Could not update apiserver "cluster" (20 of 840)                                       DEBUG * Could not update authentication "cluster" (278 of 840)                                                                                                                                                                               DEBUG * Could not update clusterrole "openshift-ingress-operator" (359 of 840)           DEBUG * Could not update clusterrole "system:openshift:operator:cloud-controller-manager" (135 of 840)                                                                                                                                       DEBUG * Could not update clusterrole "system:openshift:scc:anyuid" (80 of 840)                               DEBUG * Could not update clusterrolebinding "system:openshift:operator:service-ca-operator" (666 of 840)       DEBUG * Could not update config "cluster" (167 of 840)                                               DEBUG * Could not update configmap "openshift-config-managed/etcd-dashboard" (728 of 840)                       DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-machine-api-aws" (176 of 840)                                                                                                                     DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-network" (677 of 840)                                                                                                                             DEBUG * Could not update csisnapshotcontroller "cluster" (314 of 840) DEBUG * Could not update customresourcedefinition "alertmanagerconfigs.monitoring.coreos.com" (398 of 840)                                                                                                                          [108/1457] DEBUG * Could not update customresourcedefinition "baremetalhosts.metal3.io" (226 of 840)                                                                                                                                                     DEBUG * Could not update customresourcedefinition "catalogsources.operators.coreos.com" (613 of 840)             DEBUG * Could not update customresourcedefinition "clusterresourcequotas.quota.openshift.io" (17 of 840)                                                                                                                                     DEBUG * Could not update customresourcedefinition "configs.imageregistry.operator.openshift.io" (334 of 840)                                                                                                                                 DEBUG * Could not update customresourcedefinition "consoleclidownloads.console.openshift.io" (59 of 840) DEBUG * Could not update customresourcedefinition "consoleexternalloglinks.console.openshift.io" (60 of 840)                                                                                                                                 DEBUG * Could not update customresourcedefinition "consolelinks.console.openshift.io" (61 of 840) DEBUG * Could not update customresourcedefinition "consolenotifications.console.openshift.io" (62 of 840) DEBUG * Could not update customresourcedefinition "consoles.config.openshift.io" (40 of 840)                                                                                                                                                 DEBUG * Could not update customresourcedefinition "consoles.operator.openshift.io" (683 of 840) DEBUG * Could not update customresourcedefinition "helmchartrepositories.helm.openshift.io" (34 of 840) DEBUG * Could not update customresourcedefinition "kubecontrollermanagers.operator.openshift.io" (114 of 840)                                                                                                                                 DEBUG * Could not update customresourcedefinition "operatorhubs.config.openshift.io" (15 of 840)                                                                                                                                             DEBUG * Could not update customresourcedefinition "performanceprofiles.performance.openshift.io" (428 of 840)                                                                                                                                 DEBUG * Could not update customresourcedefinition "proxies.config.openshift.io" (14 of 840)                                                                                                                                                   DEBUG * Could not update customresourcedefinition "rangeallocations.security.internal.openshift.io" (19 of 840) DEBUG * Could not update customresourcedefinition "rolebindingrestrictions.authorization.openshift.io" (13 of 840)                                                                                                                           DEBUG * Could not update customresourcedefinition "securitycontextconstraints.security.openshift.io" (18 of 840)                                                                                                                             DEBUG * Could not update customresourcedefinition "storageversionmigrations.migration.k8s.io" (376 of 840)                                                                                                                                   DEBUG * Could not update etcd "cluster" (69 of 840)                                                                                                                                                                                           DEBUG * Could not update helmchartrepository "openshift-helm-charts" (523 of 840)                                                                                                                                                             DEBUG * Could not update imagestream "openshift/driver-toolkit" (581 of 840) DEBUG * Could not update namespace "openshift-cloud-credential-operator" (262 of 840)                                                                                                                                                         DEBUG * Could not update namespace "openshift-cloud-network-config-controller" (418 of 840)                                                                                                                                                   DEBUG * Could not update namespace "openshift-cluster-csi-drivers" (500 of 840)                                                                                                                                                               DEBUG * Could not update namespace "openshift-cluster-samples-operator" (470 of 840)                                                                                                                                                         DEBUG * Could not update namespace "openshift-cluster-version" (1 of 840)                                             DEBUG * Could not update namespace "openshift-controller-manager-operator" (459 of 840)                                                                                                                                                       DEBUG * Could not update namespace "openshift-dns-operator" (685 of 840)                                                                                                                                                                     DEBUG * Could not update namespace "openshift-insights" (582 of 840)                                         DEBUG * Could not update namespace "openshift-kube-scheduler-operator" (122 of 840)             DEBUG * Could not update namespace "openshift-ovirt-infra" (698 of 840)                                                                                                                                                                       DEBUG * Could not update openshiftapiserver "cluster" (448 of 840)                                     DEBUG * Could not update operatorgroup "openshift-monitoring/openshift-cluster-monitoring" (740 of 840) DEBUG * Could not update priorityclass "openshift-user-critical" (522 of 840) DEBUG * Could not update prometheusrule "openshift-etcd-operator/etcd-prometheus-rules" (769 of 840) DEBUG * Could not update role "openshift-cloud-credential-operator/prometheus-k8s" (714 of 840)                                                                                                                                               DEBUG * Could not update role "openshift-cluster-machine-approver/prometheus-k8s" (736 of 840)                                                                                                                                               DEBUG * Could not update role "openshift-cluster-storage-operator/prometheus" (753 of 840)                 DEBUG * Could not update role "openshift-cluster-version/prometheus-k8s" (8 of 840)                                                                                                                                                           DEBUG * Could not update role "openshift-console-operator/prometheus-k8s" (757 of 840): resource may have been deleted                                                                                                                       DEBUG * Could not update role "openshift-console/prometheus-k8s" (760 of 840): resource may have been deleted DEBUG * Could not update role "openshift-machine-api/cluster-autoscaler-operator" (294 of 840) DEBUG * Could not update rolebinding "openshift-authentication-operator/prometheus-k8s" (721 of 840)                                                                                                                                         DEBUG * Could not update rolebinding "openshift-dns-operator/prometheus-k8s" (764 of 840) DEBUG * Could not update service "openshift-cluster-version/cluster-version-operator" (12 of 840)                                                                                                                                             DEBUG * Could not update serviceaccount "openshift-cluster-machine-approver/machine-approver-sa" (387 of 840) DEBUG * Could not update serviceaccount "openshift-machine-api/control-plane-machine-set-operator" (248 of 840) DEBUG * Could not update serviceaccount "openshift-marketplace/marketplace-operator" (652 of 840)   DEBUG * Could not update servicemonitor "openshift-apiserver-operator/openshift-apiserver-operator" (814 of 840) DEBUG * Could not update servicemonitor "openshift-controller-manager-operator/openshift-controller-manager-operator" (822 of 840)                                                                                                           DEBUG * Could not update servicemonitor "openshift-image-registry/image-registry" (734 of 840)                                                                                                                                               DEBUG * Could not update servicemonitor "openshift-ingress-operator/ingress-operator" (773 of 840) DEBUG * Could not update servicemonitor "openshift-kube-apiserver-operator/kube-apiserver-operator" (777 of 840) DEBUG * Could not update servicemonitor "openshift-kube-controller-manager-operator/kube-controller-manager-operator" (786 of 840)                                                                                                           DEBUG * Could not update servicemonitor "openshift-kube-scheduler-operator/kube-scheduler-operator" (793 of 840) DEBUG * Could not update servicemonitor "openshift-machine-api/machine-api-operator" (800 of 840)                                                                                                                                             DEBUG * Could not update servicemonitor "openshift-machine-config-operator/machine-config-controller" (803 of 840)                                                                                                                           DEBUG * Could not update servicemonitor "openshift-operator-lifecycle-manager/olm-operator" (809 of 840) DEBUG * Could not update servicemonitor "openshift-service-ca-operator/service-ca-operator" (831 of 840)                                                                                                                                     DEBUG Still waiting for the cluster to initialize: Multiple errors are preventing progress: DEBUG * Could not update clusterrole "cloud-credential-operator-role" (264 of 840) DEBUG * Could not update clusterrole "prometheus-k8s-scheduler-resources" (795 of 840)                                                                                                                                                       DEBUG * Could not update clusterrole "system:openshift:scc:nonroot" (86 of 840) DEBUG * Could not update clusterrolebinding "cluster-autoscaler-operator" (296 of 840) DEBUG * Could not update clusterrolebinding "cluster-samples-operator-imageconfig-reader" (473 of 840)                                                                                                                                       DEBUG * Could not update clusterrolebinding "insights-operator" (587 of 840)                                                                                                                                                                 DEBUG * Could not update clusterrolebinding "marketplace-operator" (656 of 840)                                                                                                                                                               DEBUG * Could not update clusterrolebinding "system:openshift:operator:kube-storage-version-migrator-operator" (381 of 840)                                                                                                                   DEBUG * Could not update configmap "openshift-apiserver-operator/trusted-ca-bundle" (450 of 840) DEBUG * Could not update configmap "openshift-config-managed/grafana-dashboard-k8s-resources-pod" (745 of 840)                                                                                                                               DEBUG * Could not update configmap "openshift-controller-manager-operator/openshift-controller-manager-operator-config" (462 of 840)                                                                                                         DEBUG * Could not update configmap "openshift-etcd-operator/etcd-operator-config" (71 of 840)                                                                                                                                                 DEBUG * Could not update configmap "openshift-kube-controller-manager-operator/kube-controller-manager-operator-config" (117 of 840)                                                                                                         DEBUG * Could not update configmap "openshift-kube-scheduler-operator/openshift-kube-scheduler-operator-config" (126 of 840)                                                                                                                 DEBUG * Could not update console "cluster" (23 of 840) DEBUG * Could not update console "cluster" (525 of 840)                                                                                                                                                                                       DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/azure-disk-csi-driver-operator" (503 of 840)                                                                                                                 DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-cloud-network-config-controller-azure" (421 of 840)                                                                                               DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-image-registry-azure" (337 of 840)                                                                                                                 DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-ingress-azure" (363 of 840) DEBUG * Could not update credentialsrequest "openshift-cloud-credential-operator/openshift-machine-api-gcp" (179 of 840)                                                                                                                     DEBUG * Could not update customresourcedefinition "dnses.config.openshift.io" (41 of 840)                                                                                                                                                     DEBUG * Could not update customresourcedefinition "egressrouters.network.operator.openshift.io" (678 of 840) DEBUG * Could not update customresourcedefinition "olmconfigs.operators.coreos.com" (618 of 840) DEBUG * Could not update customresourcedefinition "preprovisioningimages.metal3.io" (231 of 840)                                                                                                                                             DEBUG * Could not update customresourcedefinition "prometheusrules.monitoring.coreos.com" (403 of 840) DEBUG * Could not update deployment "openshift-cluster-version/cluster-version-operator" (7 of 840) DEBUG * Could not update namespace "openshift-vsphere-infra" (699 of 840) DEBUG * Could not update prometheusrule "openshift-dns-operator/dns" (766 of 840) DEBUG * Could not update prometheusrule "openshift-ingress-operator/ingress-operator" (774 of 840)                                                                                                                                           DEBUG * Could not update prometheusrule "openshift-machine-config-operator/machine-config-daemon" (806 of 840)                                                                                                                               DEBUG * Could not update prometheusrule "openshift-operator-lifecycle-manager/olm-alert-rules" (811 of 840) DEBUG * Could not update role "openshift-apiserver/prometheus-k8s" (815 of 840)                                                                                                                                                               DEBUG * Could not update role "openshift-cloud-controller-manager-operator/cluster-cloud-controller-manager" (136 of 840)                                                                                                                     DEBUG * Could not update role "openshift-console-operator/prometheus-k8s" (757 of 840) DEBUG * Could not update role "openshift-console/prometheus-k8s" (760 of 840) DEBUG * Could not update role "openshift-dns-operator/dns-operator" (689 of 840)                                                                                                                                                             DEBUG * Could not update role "openshift-kube-apiserver/prometheus-k8s" (779 of 840) DEBUG * Could not update rolebinding "openshift-config-managed/machine-approver" (391 of 840)                                                                                                                                                 DEBUG * Could not update rolebinding "openshift-config-operator/prometheus-k8s" (169 of 840) DEBUG * Could not update rolebinding "openshift-controller-manager/prometheus-k8s" (824 of 840) DEBUG * Could not update rolebinding "openshift-kube-controller-manager/prometheus-k8s" (788 of 840) DEBUG * Could not update rolebinding "openshift-machine-api/control-plane-machine-set-operator" (252 of 840) DEBUG * Could not update service "openshift-authentication-operator/metrics" (279 of 840)                                                                                                                                                     DEBUG * Could not update service "openshift-cluster-node-tuning-operator/node-tuning-operator" (432 of 840)                                                                                                                                   DEBUG * Could not update service "openshift-cluster-storage-operator/csi-snapshot-controller-operator-metrics" (316 of 840) DEBUG * Could not update serviceca "cluster" (671 of 840) DEBUG * Could not update servicemonitor "openshift-authentication-operator/authentication-operator" (724 of 840) DEBUG * Could not update servicemonitor "openshift-image-registry/image-registry-operator" (735 of 840) DEBUG Still waiting for the cluster to initialize: Working towards 4.13.0-0.nightly-2023-03-23-204038: 658 of 840 done (78% complete)                                                                                                         DEBUG Still waiting for the cluster to initialize: Working towards 4.13.0-0.nightly-2023-03-23-204038: 794 of 840 done (94% complete)                                                                                                         DEBUG Still waiting for the cluster to initialize: Multiple errors are preventing progress: DEBUG * Cluster operators authentication, console, image-registry, kube-apiserver, machine-api, monitoring are not available                                                                                                                 DEBUG * Could not update role "openshift-console-operator/prometheus-k8s" (757 of 840): resource may have been deleted                                                                                                                       DEBUG * Could not update role "openshift-console/prometheus-k8s" (760 of 840): resource may have been deleted DEBUG Still waiting for the cluster to initialize: Cluster operators authentication, console, kube-apiserver, machine-api, monitoring are not available                                                                                       DEBUG Route found in openshift-console namespace: console DEBUG OpenShift console route is admitted DEBUG Still waiting for the cluster to initialize: Working towards 4.13.0-0.nightly-2023-03-23-204038: 75 of 840 done (8% complete)                                                                                                           DEBUG Still waiting for the cluster to initialize: Working towards 4.13.0-0.nightly-2023-03-23-204038: 617 of 840 done (73% complete)                                                                                                         DEBUG Still waiting for the cluster to initialize: Cluster operators authentication, console, kube-apiserver, machine-api, monitoring are not available                                                                                       DEBUG Still waiting for the cluster to initialize: Cluster operators authentication, console, kube-apiserver, machine-api, monitoring are not available                                                                                       DEBUG Still waiting for the cluster to initialize: Cluster operators authentication, kube-apiserver, machine-api, monitoring are not available                                                                                               DEBUG Still waiting for the cluster to initialize: Cluster operators authentication, machine-api, monitoring are not available                                                                                                               DEBUG Still waiting for the cluster to initialize: Cluster operators machine-api, monitoring are not available ERROR Cluster installation timed out: context deadline exceeded INFO Cluster operator baremetal Disabled is False with :   INFO Cluster operator cloud-controller-manager TrustedCABundleControllerControllerAvailable is True with AsExpected: Trusted CA Bundle Controller works as expected INFO Cluster operator cloud-controller-manager TrustedCABundleControllerControllerDegraded is False with AsExpected: Trusted CA Bundle Controller works as expected INFO Cluster operator cloud-controller-manager CloudConfigControllerAvailable is True with AsExpected: Cloud Config Controller works as expected INFO Cluster operator cloud-controller-manager CloudConfigControllerDegraded is False with AsExpected: Cloud Config Controller works as expected ERROR Cluster operator cluster-autoscaler Degraded is True with MissingDependency: machine-api not ready INFO Cluster operator etcd RecentBackup is Unknown with ControllerStarted: The etcd backup controller is starting, and will decide if recent backups are available or if a backup is required INFO Cluster operator ingress Progressing is True with Reconciling: ingresscontroller "default" is progressing: IngressControllerProgressing: One or more status conditions indicate progressing: DeploymentRollingOut=True (DeploymentRollingOut: Waiting for router deployment rollout to finish: 1 of 2 updated replica(s) are available... INFO ).                                           ERROR Cluster operator ingress Degraded is True with IngressDegraded: The "default" ingress controller reports Degraded=True: DegradedConditions: One or more other status conditions indicate a degraded state: DeploymentReplicasAllAvailable=False (DeploymentReplicasNotAvailable: 1/2 of replicas are available) INFO Cluster operator ingress EvaluationConditionsDetected is False with AsExpected:   INFO Cluster operator insights ClusterTransferAvailable is False with NoClusterTransfer: no available cluster transfer INFO Cluster operator insights Disabled is False with AsExpected:   INFO Cluster operator insights SCAAvailable is True with Updated: SCA certs successfully updated in the etc-pki-entitlement secret ERROR Cluster operator kube-controller-manager Degraded is True with GarbageCollector_Error: GarbageCollectorDegraded: error fetching rules: Get "https://thanos-querier.openshift-monitoring.svc:9091/api/v1/rules": dial tcp: lookup thanos-querier.openshift-monitoring.svc on 172.30.0.10:53: no such host INFO Cluster operator machine-api Progressing is True with SyncingResources: Progressing towards operator: 4.13.0-0.nightly-2023-03-23-204038 ERROR Cluster operator machine-api Degraded is True with SyncingFailed: Failed when progressing towards operator: 4.13.0-0.nightly-2023-03-23-204038 because minimum worker replica count (2) not yet met: current running replicas 1, waiting for [cnfdc8-zbkmg-worker-0-44t59] INFO Cluster operator machine-api Available is False with Initializing: Operator is initializing INFO Cluster operator monitoring Available is False with UpdatingPrometheusOperatorFailed: reconciling Prometheus Operator Admission Webhook Deployment failed: updating Deployment object failed: waiting for DeploymentRollout of openshift-monitoring/prometheus-operator-admission-webhook: got 1 unavailable replicas ERROR Cluster operator monitoring Degraded is True with UpdatingPrometheusOperatorFailed: reconciling Prometheus Operator Admission Webhook Deployment failed: updating Deployment object failed: waiting for DeploymentRollout of openshift-monitoring/prometheus-operator-admission-webhook: got 1 unavailable replicas INFO Cluster operator monitoring Progressing is True with RollOutInProgress: Rolling out the stack. INFO Cluster operator network ManagementStateDegraded is False with :   ERROR Cluster initialization failed because one or more operators are not functioning properly. ERROR                           The cluster should be accessible for troubleshooting as detailed in the documentation linked below, ERROR                           https://docs.openshift.com/container-platform/latest/support/troubleshooting/troubleshooting-installations.html