-
Bug
-
Resolution: Unresolved
-
Critical
-
None
-
4.14.z
-
No
-
False
-
-
Customer Escalated
-
What support need to do if you hit this isse: Use the SDN metric (openshift_sdn_pod_ips) to detect the issue. Value, which represents the IPs SDN thinks it assigned to the node, will increase in a stairs like pattern towards the max. Also, you can use the non-invasive script in comments to allow cluster admin to highlight when the issue starts so we can gather logs. If the issue starts within 24 hours, gather a screenshot of the SDN metric scoped to the broken node clearly showing the time it starts, then get a sos report for the node. Do not suggest a workaround because we cannot reproduce issue and its not QE'd.
The customer is getting the following error trying to start pods on a specific node - ip-10-112-149-120.ap-southeast-2.compute.internal. This is the second node that they have had this issue with this morning on this cluster. For the first node, they drained and it was then scaled down by the autoscaler.
Warning FailedCreatePodSandBox 3m44s (x195 over 46m) kubelet (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to create pod network sandbox k8s_dev-rstudio-metrics-7947c5c4f5-k4lmh_a-004284_20feddb5-621b-4423-a5ab-7610f2c455b2_0(318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb): error adding pod a-004284_dev-rstudio-metrics-7947c5c4f5-k4lmh to CNI network "multus-cni-network": plugin type="multus-shim" name="multus-cni-network" failed (add): CmdAdd (shim): CNI request failed with status 400: '&{ContainerID:318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb Netns:/var/run/netns/0ef492af-6d0e-424b-bdb8-e993b99e40de IfName:eth0 Args:IgnoreUnknown=1;K8S_POD_NAMESPACE=a-004284;K8S_POD_NAME=dev-rstudio-metrics-7947c5c4f5-k4lmh;K8S_POD_INFRA_CONTAINER_ID=318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb;K8S_POD_UID=20feddb5-621b-4423-a5ab-7610f2c455b2 Path: StdinData:[...]} ContainerID:"318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb" Netns:"/var/run/netns/0ef492af-6d0e-424b-bdb8-e993b99e40de" IfName:"eth0" Args:"IgnoreUnknown=1;K8S_POD_NAMESPACE=a-004284;K8S_POD_NAME=dev-rstudio-metrics-7947c5c4f5-k4lmh;K8S_POD_INFRA_CONTAINER_ID=318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb;K8S_POD_UID=20feddb5-621b-4423-a5ab-7610f2c455b2" Path:"" ERRORED: error configuring pod [a-004284/dev-rstudio-metrics-7947c5c4f5-k4lmh] networking: [a-004284/dev-rstudio-metrics-7947c5c4f5-k4lmh/20feddb5-621b-4423-a5ab-7610f2c455b2:openshift-sdn]: error adding container to network "openshift-sdn": CNI request failed with status 400: 'failed to run IPAM for 318932a1c2c4238aa19dc1a9f09aa161941da60be757b89a6ce09ae24fd9c6fb: failed to run CNI IPAM ADD: failed to allocate for range 0: no IP addresses available in range set: 10.103.72.1-10.103.72.254
Actions Taken:Customer has cordoned and drained this node. They have also added an annotation to stop the node from being scaled down.This appears to be the same issue as discussed in https://access.redhat.com/solutions/5943591. [note from eng: DO NOT DO THIS WORKAROUND]Also below are some output from some commands that was mentioned in the above KCS:
$ oc debug node/ip-10-112-149-120.ap-southeast-2.compute.internal Temporary namespace openshift-debug-nw5tg is created for debugging node... Starting pod/ip-10-112-149-120ap-southeast-2computeinternal-debug ... To use host binaries, run `chroot /host` Pod IP: 10.112.149.120 If you don't see a command prompt, try pressing enter. sh-4.4# chroot /host sh-5.1# journalctl -xu crio.service > /tmp/crio-journal.logs sh-5.1# grep 'msg="Error reserving pod .*name is reserved"' /tmp/crio-journal.logs sh-5.1# grep 'netplugin failed with no error message: signal: killed' /tmp/crio-journal.logs sh-5.1# ls -ltrh /var/lib/cni/networks/openshift-sdn/ | wc -l 255 sh-5.1# ls -ltrh /var/lib/cni/networks/openshift-sdn/ total 1016K -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.4 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.5 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.6 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.7 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.8 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.9 -rw-r--r--. 1 root root 64 May 29 05:26 10.103.72.10 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.22 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.23 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.24 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.26 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.27 -rw-r--r--. 1 root root 64 May 29 05:31 10.103.72.29 -rw-r--r--. 1 root root 64 May 29 05:54 10.103.72.53 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.77 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.81 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.84 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.85 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.86 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.87 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.89 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.90 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.91 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.92 -rw-r--r--. 1 root root 64 May 29 06:00 10.103.72.93 -rw-r--r--. 1 root root 64 May 29 16:10 10.103.72.162 -rw-r--r--. 1 root root 64 May 30 16:01 10.103.72.199 -rw-r--r--. 1 root root 64 May 30 16:01 10.103.72.200 -rw-r--r--. 1 root root 64 May 31 05:02 10.103.72.221 -rw-r--r--. 1 root root 64 May 31 21:01 10.103.72.237 -rw-r--r--. 1 root root 64 May 31 21:01 10.103.72.238 -rw-r--r--. 1 root root 64 May 31 21:01 10.103.72.239 -rw-r--r--. 1 root root 64 May 31 21:10 10.103.72.242 -rw-r--r--. 1 root root 64 Jun 1 15:11 10.103.72.3 -rw-r--r--. 1 root root 64 Jun 1 15:11 10.103.72.11 -rw-r--r--. 1 root root 64 Jun 1 15:11 10.103.72.12 -rw-r--r--. 1 root root 64 Jun 1 15:11 10.103.72.13 -rw-r--r--. 1 root root 64 Jun 1 15:12 10.103.72.14 -rw-r--r--. 1 root root 64 Jun 1 15:12 10.103.72.15 -rw-r--r--. 1 root root 64 Jun 1 15:12 10.103.72.16 -rw-r--r--. 1 root root 64 Jun 1 15:12 10.103.72.17 -rw-r--r--. 1 root root 64 Jun 1 16:16 10.103.72.19 -rw-r--r--. 1 root root 64 Jun 1 16:17 10.103.72.20 -rw-r--r--. 1 root root 64 Jun 1 16:17 10.103.72.21 -rw-r--r--. 1 root root 64 Jun 1 16:18 10.103.72.28 -rw-r--r--. 1 root root 64 Jun 1 16:18 10.103.72.30 -rw-r--r--. 1 root root 64 Jun 1 16:18 10.103.72.31 -rw-r--r--. 1 root root 64 Jun 1 17:18 10.103.72.32 -rw-r--r--. 1 root root 64 Jun 1 17:19 10.103.72.33 -rw-r--r--. 1 root root 64 Jun 1 17:19 10.103.72.34 -rw-r--r--. 1 root root 64 Jun 1 17:19 10.103.72.35 -rw-r--r--. 1 root root 64 Jun 1 17:19 10.103.72.36 -rw-r--r--. 1 root root 64 Jun 1 17:20 10.103.72.37 -rw-r--r--. 1 root root 64 Jun 1 17:20 10.103.72.38 -rw-r--r--. 1 root root 64 Jun 1 17:20 10.103.72.39 -rw-r--r--. 1 root root 64 Jun 1 17:20 10.103.72.40 -rw-r--r--. 1 root root 64 Jun 1 18:21 10.103.72.41 -rw-r--r--. 1 root root 64 Jun 1 18:21 10.103.72.42 -rw-r--r--. 1 root root 64 Jun 1 18:21 10.103.72.43 -rw-r--r--. 1 root root 64 Jun 1 18:21 10.103.72.44 -rw-r--r--. 1 root root 64 Jun 1 18:23 10.103.72.45 -rw-r--r--. 1 root root 64 Jun 1 18:23 10.103.72.46 -rw-r--r--. 1 root root 64 Jun 1 18:23 10.103.72.47 -rw-r--r--. 1 root root 64 Jun 1 18:23 10.103.72.48 -rw-r--r--. 1 root root 64 Jun 1 20:22 10.103.72.49 -rw-r--r--. 1 root root 64 Jun 1 20:22 10.103.72.50 -rw-r--r--. 1 root root 64 Jun 1 20:22 10.103.72.51 -rw-r--r--. 1 root root 64 Jun 1 20:22 10.103.72.52 -rw-r--r--. 1 root root 64 Jun 1 20:23 10.103.72.54 -rw-r--r--. 1 root root 64 Jun 1 20:23 10.103.72.55 -rw-r--r--. 1 root root 64 Jun 1 20:23 10.103.72.56 -rw-r--r--. 1 root root 64 Jun 1 20:23 10.103.72.57 -rw-r--r--. 1 root root 64 Jun 1 21:24 10.103.72.58 -rw-r--r--. 1 root root 64 Jun 1 21:25 10.103.72.59 -rw-r--r--. 1 root root 64 Jun 1 21:25 10.103.72.60 -rw-r--r--. 1 root root 64 Jun 1 21:25 10.103.72.61 -rw-r--r--. 1 root root 64 Jun 1 21:26 10.103.72.62 -rw-r--r--. 1 root root 64 Jun 1 21:26 10.103.72.63 -rw-r--r--. 1 root root 64 Jun 1 21:26 10.103.72.64 -rw-r--r--. 1 root root 64 Jun 1 21:26 10.103.72.65 -rw-r--r--. 1 root root 64 Jun 1 22:27 10.103.72.66 -rw-r--r--. 1 root root 64 Jun 1 22:27 10.103.72.67 -rw-r--r--. 1 root root 64 Jun 1 22:27 10.103.72.68 -rw-r--r--. 1 root root 64 Jun 1 22:27 10.103.72.69 -rw-r--r--. 1 root root 64 Jun 1 22:28 10.103.72.70 -rw-r--r--. 1 root root 64 Jun 1 22:28 10.103.72.71 -rw-r--r--. 1 root root 64 Jun 1 22:28 10.103.72.72 -rw-r--r--. 1 root root 64 Jun 1 22:28 10.103.72.73 -rw-r--r--. 1 root root 64 Jun 1 23:29 10.103.72.74 -rw-r--r--. 1 root root 64 Jun 1 23:29 10.103.72.76 -rw-r--r--. 1 root root 64 Jun 1 23:31 10.103.72.79 -rw-r--r--. 1 root root 64 Jun 1 23:31 10.103.72.80 -rw-r--r--. 1 root root 64 Jun 1 23:31 10.103.72.83 -rw-r--r--. 1 root root 64 Jun 2 00:32 10.103.72.95 -rw-r--r--. 1 root root 64 Jun 2 00:32 10.103.72.96 -rw-r--r--. 1 root root 64 Jun 2 00:33 10.103.72.97 -rw-r--r--. 1 root root 64 Jun 2 00:33 10.103.72.98 -rw-r--r--. 1 root root 64 Jun 2 00:33 10.103.72.99 -rw-r--r--. 1 root root 64 Jun 2 01:34 10.103.72.101 -rw-r--r--. 1 root root 64 Jun 2 01:34 10.103.72.103 -rw-r--r--. 1 root root 64 Jun 2 01:34 10.103.72.104 -rw-r--r--. 1 root root 64 Jun 2 01:35 10.103.72.105 -rw-r--r--. 1 root root 64 Jun 2 01:35 10.103.72.107 -rw-r--r--. 1 root root 64 Jun 2 01:35 10.103.72.108 -rw-r--r--. 1 root root 64 Jun 2 02:37 10.103.72.109 -rw-r--r--. 1 root root 64 Jun 2 02:37 10.103.72.110 -rw-r--r--. 1 root root 64 Jun 2 02:37 10.103.72.111 -rw-r--r--. 1 root root 64 Jun 2 02:37 10.103.72.112 -rw-r--r--. 1 root root 64 Jun 2 02:38 10.103.72.113 -rw-r--r--. 1 root root 64 Jun 2 02:38 10.103.72.114 -rw-r--r--. 1 root root 64 Jun 2 02:38 10.103.72.115 -rw-r--r--. 1 root root 64 Jun 2 02:38 10.103.72.116 -rw-r--r--. 1 root root 64 Jun 2 03:39 10.103.72.117 -rw-r--r--. 1 root root 64 Jun 2 03:39 10.103.72.118 -rw-r--r--. 1 root root 64 Jun 2 03:39 10.103.72.119 -rw-r--r--. 1 root root 64 Jun 2 03:39 10.103.72.120 -rw-r--r--. 1 root root 64 Jun 2 03:40 10.103.72.121 -rw-r--r--. 1 root root 64 Jun 2 03:40 10.103.72.122 -rw-r--r--. 1 root root 64 Jun 2 03:40 10.103.72.123 -rw-r--r--. 1 root root 64 Jun 2 03:40 10.103.72.124 -rw-r--r--. 1 root root 64 Jun 2 04:41 10.103.72.125 -rw-r--r--. 1 root root 64 Jun 2 04:41 10.103.72.126 -rw-r--r--. 1 root root 64 Jun 2 04:42 10.103.72.127 -rw-r--r--. 1 root root 64 Jun 2 04:42 10.103.72.128 -rw-r--r--. 1 root root 64 Jun 2 04:43 10.103.72.129 -rw-r--r--. 1 root root 64 Jun 2 04:43 10.103.72.130 -rw-r--r--. 1 root root 64 Jun 2 04:43 10.103.72.131 -rw-r--r--. 1 root root 64 Jun 2 04:43 10.103.72.132 -rw-r--r--. 1 root root 64 Jun 2 05:47 10.103.72.133 -rw-r--r--. 1 root root 64 Jun 2 05:47 10.103.72.134 -rw-r--r--. 1 root root 64 Jun 2 05:47 10.103.72.135 -rw-r--r--. 1 root root 64 Jun 2 05:48 10.103.72.137 -rw-r--r--. 1 root root 64 Jun 2 05:48 10.103.72.138 -rw-r--r--. 1 root root 64 Jun 2 05:48 10.103.72.140 -rw-r--r--. 1 root root 64 Jun 2 06:49 10.103.72.141 -rw-r--r--. 1 root root 64 Jun 2 06:49 10.103.72.142 -rw-r--r--. 1 root root 64 Jun 2 06:50 10.103.72.143 -rw-r--r--. 1 root root 64 Jun 2 06:50 10.103.72.144 -rw-r--r--. 1 root root 64 Jun 2 06:51 10.103.72.145 -rw-r--r--. 1 root root 64 Jun 2 06:51 10.103.72.146 -rw-r--r--. 1 root root 64 Jun 2 06:51 10.103.72.147 -rw-r--r--. 1 root root 64 Jun 2 06:51 10.103.72.148 -rw-r--r--. 1 root root 64 Jun 2 07:52 10.103.72.149 -rw-r--r--. 1 root root 64 Jun 2 07:52 10.103.72.150 -rw-r--r--. 1 root root 64 Jun 2 07:52 10.103.72.151 -rw-r--r--. 1 root root 64 Jun 2 07:52 10.103.72.152 -rw-r--r--. 1 root root 64 Jun 2 07:53 10.103.72.153 -rw-r--r--. 1 root root 64 Jun 2 07:53 10.103.72.154 -rw-r--r--. 1 root root 64 Jun 2 07:53 10.103.72.155 -rw-r--r--. 1 root root 64 Jun 2 07:53 10.103.72.156 -rw-r--r--. 1 root root 64 Jun 2 08:54 10.103.72.157 -rw-r--r--. 1 root root 64 Jun 2 08:54 10.103.72.158 -rw-r--r--. 1 root root 64 Jun 2 08:54 10.103.72.159 -rw-r--r--. 1 root root 64 Jun 2 08:54 10.103.72.160 -rw-r--r--. 1 root root 64 Jun 2 08:55 10.103.72.161 -rw-r--r--. 1 root root 64 Jun 2 08:55 10.103.72.163 -rw-r--r--. 1 root root 64 Jun 2 08:55 10.103.72.164 -rw-r--r--. 1 root root 64 Jun 2 08:55 10.103.72.165 -rw-r--r--. 1 root root 64 Jun 2 09:57 10.103.72.166 -rw-r--r--. 1 root root 64 Jun 2 09:57 10.103.72.167 -rw-r--r--. 1 root root 64 Jun 2 09:57 10.103.72.168 -rw-r--r--. 1 root root 64 Jun 2 09:57 10.103.72.169 -rw-r--r--. 1 root root 64 Jun 2 09:58 10.103.72.170 -rw-r--r--. 1 root root 64 Jun 2 09:58 10.103.72.171 -rw-r--r--. 1 root root 64 Jun 2 09:58 10.103.72.172 -rw-r--r--. 1 root root 64 Jun 2 09:58 10.103.72.173 -rw-r--r--. 1 root root 64 Jun 2 10:59 10.103.72.174 -rw-r--r--. 1 root root 64 Jun 2 10:59 10.103.72.175 -rw-r--r--. 1 root root 64 Jun 2 10:59 10.103.72.176 -rw-r--r--. 1 root root 64 Jun 2 10:59 10.103.72.177 -rw-r--r--. 1 root root 64 Jun 2 11:00 10.103.72.178 -rw-r--r--. 1 root root 64 Jun 2 11:00 10.103.72.179 -rw-r--r--. 1 root root 64 Jun 2 11:00 10.103.72.180 -rw-r--r--. 1 root root 64 Jun 2 11:00 10.103.72.181 -rw-r--r--. 1 root root 64 Jun 2 12:01 10.103.72.182 -rw-r--r--. 1 root root 64 Jun 2 12:02 10.103.72.183 -rw-r--r--. 1 root root 64 Jun 2 12:02 10.103.72.184 -rw-r--r--. 1 root root 64 Jun 2 12:02 10.103.72.185 -rw-r--r--. 1 root root 64 Jun 2 12:03 10.103.72.186 -rw-r--r--. 1 root root 64 Jun 2 12:03 10.103.72.187 -rw-r--r--. 1 root root 64 Jun 2 12:03 10.103.72.188 -rw-r--r--. 1 root root 64 Jun 2 12:03 10.103.72.189 -rw-r--r--. 1 root root 64 Jun 2 13:04 10.103.72.190 -rw-r--r--. 1 root root 64 Jun 2 13:04 10.103.72.191 -rw-r--r--. 1 root root 64 Jun 2 13:04 10.103.72.192 -rw-r--r--. 1 root root 64 Jun 2 13:04 10.103.72.193 -rw-r--r--. 1 root root 64 Jun 2 13:05 10.103.72.194 -rw-r--r--. 1 root root 64 Jun 2 13:05 10.103.72.195 -rw-r--r--. 1 root root 64 Jun 2 13:05 10.103.72.196 -rw-r--r--. 1 root root 64 Jun 2 13:05 10.103.72.197 -rw-r--r--. 1 root root 64 Jun 2 14:06 10.103.72.198 -rw-r--r--. 1 root root 64 Jun 2 14:06 10.103.72.201 -rw-r--r--. 1 root root 64 Jun 2 14:06 10.103.72.202 -rw-r--r--. 1 root root 64 Jun 2 14:06 10.103.72.203 -rw-r--r--. 1 root root 64 Jun 2 14:07 10.103.72.204 -rw-r--r--. 1 root root 64 Jun 2 14:07 10.103.72.205 -rw-r--r--. 1 root root 64 Jun 2 14:07 10.103.72.206 -rw-r--r--. 1 root root 64 Jun 2 14:07 10.103.72.207 -rw-r--r--. 1 root root 64 Jun 2 15:09 10.103.72.208 -rw-r--r--. 1 root root 64 Jun 2 15:09 10.103.72.209 -rw-r--r--. 1 root root 64 Jun 2 15:09 10.103.72.210 -rw-r--r--. 1 root root 64 Jun 2 15:09 10.103.72.211 -rw-r--r--. 1 root root 64 Jun 2 15:10 10.103.72.212 -rw-r--r--. 1 root root 64 Jun 2 15:10 10.103.72.213 -rw-r--r--. 1 root root 64 Jun 2 15:10 10.103.72.214 -rw-r--r--. 1 root root 64 Jun 2 15:10 10.103.72.215 -rw-r--r--. 1 root root 64 Jun 2 16:14 10.103.72.216 -rw-r--r--. 1 root root 64 Jun 2 16:14 10.103.72.217 -rw-r--r--. 1 root root 64 Jun 2 16:14 10.103.72.218 -rw-r--r--. 1 root root 64 Jun 2 16:14 10.103.72.219 -rw-r--r--. 1 root root 64 Jun 2 16:16 10.103.72.220 -rw-r--r--. 1 root root 64 Jun 2 16:16 10.103.72.222 -rw-r--r--. 1 root root 64 Jun 2 16:16 10.103.72.223 -rw-r--r--. 1 root root 64 Jun 2 16:16 10.103.72.224 -rw-r--r--. 1 root root 64 Jun 2 17:17 10.103.72.225 -rw-r--r--. 1 root root 64 Jun 2 17:17 10.103.72.226 -rw-r--r--. 1 root root 64 Jun 2 17:17 10.103.72.227 -rw-r--r--. 1 root root 64 Jun 2 17:17 10.103.72.228 -rw-r--r--. 1 root root 64 Jun 2 17:18 10.103.72.229 -rw-r--r--. 1 root root 64 Jun 2 17:18 10.103.72.230 -rw-r--r--. 1 root root 64 Jun 2 17:18 10.103.72.231 -rw-r--r--. 1 root root 64 Jun 2 17:18 10.103.72.232 -rw-r--r--. 1 root root 64 Jun 2 18:19 10.103.72.233 -rw-r--r--. 1 root root 64 Jun 2 18:19 10.103.72.234 -rw-r--r--. 1 root root 64 Jun 2 18:19 10.103.72.236 -rw-r--r--. 1 root root 64 Jun 2 18:20 10.103.72.240 -rw-r--r--. 1 root root 64 Jun 2 18:20 10.103.72.241 -rw-r--r--. 1 root root 64 Jun 2 18:20 10.103.72.243 -rw-r--r--. 1 root root 64 Jun 2 18:20 10.103.72.244 -rw-r--r--. 1 root root 64 Jun 2 19:22 10.103.72.245 -rw-r--r--. 1 root root 64 Jun 2 19:22 10.103.72.246 -rw-r--r--. 1 root root 64 Jun 2 19:22 10.103.72.247 -rw-r--r--. 1 root root 64 Jun 2 19:22 10.103.72.248 -rw-r--r--. 1 root root 64 Jun 2 19:23 10.103.72.249 -rw-r--r--. 1 root root 64 Jun 2 19:23 10.103.72.250 -rw-r--r--. 1 root root 64 Jun 2 19:23 10.103.72.251 -rw-r--r--. 1 root root 64 Jun 2 19:23 10.103.72.252 -rw-r--r--. 1 root root 64 Jun 2 20:27 10.103.72.253 -rw-r--r--. 1 root root 64 Jun 2 20:27 10.103.72.254 -rw-r--r--. 1 root root 64 Jun 2 20:27 10.103.72.2 -rw-r--r--. 1 root root 64 Jun 2 20:27 10.103.72.18 -rw-r--r--. 1 root root 64 Jun 2 20:28 10.103.72.25 -rw-r--r--. 1 root root 64 Jun 2 20:28 10.103.72.75 -rw-r--r--. 1 root root 64 Jun 2 20:28 10.103.72.78 -rw-r--r--. 1 root root 64 Jun 2 20:28 10.103.72.82 -rw-r--r--. 1 root root 64 Jun 2 21:30 10.103.72.88 -rw-r--r--. 1 root root 64 Jun 2 21:30 10.103.72.94 -rw-r--r--. 1 root root 64 Jun 2 21:30 10.103.72.100 -rw-r--r--. 1 root root 64 Jun 2 21:30 10.103.72.102 -rw-r--r--. 1 root root 64 Jun 2 21:31 10.103.72.106 -rw-r--r--. 1 root root 64 Jun 2 21:31 10.103.72.136 -rw-r--r--. 1 root root 64 Jun 2 21:31 10.103.72.139 -rw-r--r--. 1 root root 13 Jun 2 21:31 last_reserved_ip.0 -rw-r--r--. 1 root root 64 Jun 2 21:31 10.103.72.235
Severity: High, customer pods can not be scheduled and this happened for two nodes this morning.Expectations:This appears the bug where IPAM reservations on the node are not being deleted correctly has reappeared.Please have a look, Thanks!
