-
Bug
-
Resolution: Cannot Reproduce
-
Critical
-
4.13
-
None
-
Critical
-
3
-
WINC - Sprint 232
-
1
-
Rejected
-
False
-
Description of problem:
During the verification attempt of [OCPBUGS-5732|https://issues.redhat.com/browse/OCPBUGS-5732] it was observed that during the upgrade procedure (removal of version annotation on every Windows worker node at once) nodes got reconciled at once: #######ATTEMTP #11 Fri Jan 27 05:10:54 EST 2023 ###### NAME STATUS ROLES AGE VERSION jfrancoa-2701-ncx2f-windows-worker-a-6h8bh Ready worker 171m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc Ready worker 174m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 Ready worker 4m46s v1.25.0-2602+7dab57f2302ec0 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES linux-webserver-8fc5c86b8-2plqg 1/1 Running 0 166m 10.128.2.21 jfrancoa-2701-ncx2f-worker-a-qxprs.c.openshift-qe.internal <none> <none> win-webserver-745df6565f-2mfkv 1/1 Running 0 15m 10.132.0.4 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc <none> <none> win-webserver-745df6565f-4z6h8 1/1 Running 0 15m 10.132.1.6 jfrancoa-2701-ncx2f-windows-worker-a-6h8bh <none> <none> win-webserver-745df6565f-5r6w7 1/1 Running 0 3m3s 10.132.2.3 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-c769j 1/1 Running 0 15m 10.132.1.5 jfrancoa-2701-ncx2f-windows-worker-a-6h8bh <none> <none> win-webserver-745df6565f-c8c8c 1/1 Running 0 3m3s 10.132.2.4 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-czp4l 1/1 Running 0 15m 10.132.1.7 jfrancoa-2701-ncx2f-windows-worker-a-6h8bh <none> <none> win-webserver-745df6565f-kdn6h 1/1 Running 0 15m 10.132.0.5 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc <none> <none> win-webserver-745df6565f-x45nb 1/1 Running 0 3m3s 10.132.2.2 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-z4jtb 1/1 Running 0 3m3s 10.132.0.6 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc <none> <none> % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed ^M 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0 curl: (28) Connection timed out after 60001 milliseconds #######ATTEMTP #12 Fri Jan 27 05:12:55 EST 2023 ###### NAME STATUS ROLES AGE VERSION jfrancoa-2701-ncx2f-windows-worker-a-6h8bh Ready,SchedulingDisabled worker 173m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc NotReady,SchedulingDisabled worker 176m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 Ready worker 6m46s v1.25.0-2602+7dab57f2302ec0 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES linux-webserver-8fc5c86b8-2plqg 1/1 Running 0 168m 10.128.2.21 jfrancoa-2701-ncx2f-worker-a-qxprs.c.openshift-qe.internal <none> <none> win-webserver-745df6565f-4l82j 1/1 Running 0 39s 10.132.2.6 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-5r6w7 1/1 Running 0 5m4s 10.132.2.3 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-c8c8c 1/1 Running 0 5m4s 10.132.2.4 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-gs8xz 1/1 Running 0 39s 10.132.2.11 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-q52qv 1/1 Running 0 39s 10.132.2.8 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-q7cbs 1/1 Running 0 39s 10.132.2.10 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-rd5rs 1/1 Running 0 39s 10.132.2.9 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-sn4kv 1/1 Running 0 97s 10.132.2.5 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> win-webserver-745df6565f-x45nb 1/1 Running 0 5m4s 10.132.2.2 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 <none> <none> % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed ^M 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0 curl: (28) Connection timed out after 60001 milliseconds #######ATTEMTP #13 Fri Jan 27 05:14:55 EST 2023 ###### NAME STATUS ROLES AGE VERSION jfrancoa-2701-ncx2f-windows-worker-a-6h8bh NotReady,SchedulingDisabled worker 175m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-f8gmc NotReady,SchedulingDisabled worker 178m v1.25.0-2602+7dab57f2302ec0 jfrancoa-2701-ncx2f-windows-worker-a-rz4s7 NotReady,SchedulingDisabled worker 8m47s v1.25.0-2602+7dab57f2302ec0 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES linux-webserver-8fc5c86b8-2plqg 1/1 Running 0 170m 10.128.2.21 jfrancoa-2701-ncx2f-worker-a-qxprs.c.openshift-qe.internal <none> <none> win-webserver-745df6565f-27rnp 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-44nht 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-4pmcr 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-b9jn8 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-gkpx5 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-gx8w4 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-qm74f 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-szc5t 0/1 Pending 0 96s <none> <none> <none> <none> win-webserver-745df6565f-zqwk7 0/1 Pending 0 96s <none> <none> <none> <none> % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed ^M 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0^M 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0 curl: (28) Connection timed out after 60001 milliseconds
This behavior has been observed only in 4.13, in the other releases where the bug was verified the nodes were upgraded in a sequential way.
Version-Release number of selected component (if applicable):
How reproducible:
Always
Steps to Reproduce:
1. Deploy a 4.13 IPI AWS cluster with Windows workers and workloads 2. Modify the version annotatoin to an invalid value, for example: invalidVersion 3. Wait for WMCO to reconcile each of the nodes in a sequential manner. Monitor the state of each node and see how the three of them go into NotReady
Actual results:
Nodes go reconciled all at once, causing service disruption in the workloads as there is no node in which to run.
Expected results:
Each of the nodes get provisioned in a sequential manner, ensuring that workloads always run in one of the other two nodes.
Additional info:
- blocks
-
-
- Closed
-