-
Bug
-
Resolution: Done
-
Blocker
-
None
-
None
The Operator upgrade test is experiencing periodic failures on cluster scale up as calls to /cache-managers/default?action=enable-rebalancing fail since ISPN-15191 was introduced.
No specific error is reported in the Operator logs, but the operation fails with:
1.7012621940217419e+09 ERROR Reconciler error {"controller": "infinispan", "controllerGroup": "infinispan.org", "controllerKind": "Infinispan", "infinispan": {"name":"test-upgrade","namespace":"namespace-for-testing"}, "namespace": "namespace-for-testing", "name": "test-upgrade", "reconcileID": "4debb31f-b8bd-4b41-8ad1-5013d30974f8", "error": "unable to enable rebalancing after cluster scale up: unexpected error during enable-rebalancing: stderr: % Total % Received % Xferd Average Speed Time Time Time Current\n Dload Upload Total Spent Left Speed\n\r 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0\n\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:21 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:23 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:25 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:27 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:29 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:31 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:33 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:35 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:37 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:39 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:41 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:43 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:45 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:47 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:49 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:51 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:53 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:55 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:57 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:00:59 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:01 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:02 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:03 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:04 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:05 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:06 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:07 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:08 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:09 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:10 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:11 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:12 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:13 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:14 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:15 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:16 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:17 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:18 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:19 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:20 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:21 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:22 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:23 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:24 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:25 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:26 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:27 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:28 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:29 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:30 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:31 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:32 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:33 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:34 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:35 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:36 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:37 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:38 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:39 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:40 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:41 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:42 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:43 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:44 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:45 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:46 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:47 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:48 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:49 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:50 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:51 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:52 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:53 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:54 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:55 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:56 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:57 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:58 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:01:59 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:00 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:01 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:02 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:03 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:04 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:05 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:06 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:07 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:08 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:09 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:10 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:11 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:12 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:13 --:--:-- 0\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:13 --:--:-- 0\n\r 0 0 0 0 0 0 0 0 --:--:-- 0:02:13 --:--:-- 0\ncurl: (7) Failed to connect to test-upgrade-0 port 11223: Connection refused\n, err: command terminated with exit code 7"}
sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).processNextWorkItem
/opt/app-root/src/go/pkg/mod/sigs.k8s.io/controller-runtime@v0.12.3/pkg/internal/controller/controller.go:273
sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).Start.func2.2
/opt/app-root/src/go/pkg/mod/sigs.k8s.io/controller-runtime@v0.12.3/pkg/internal/controller/controller.go:234
1.7012621940219223e+09 INFO controllers.Infinispan Infinispan CR not found
1.701262194027334e+09 INFO controllers.Infinispan Infinispan CR not found
This indicates that the HTTP connection could not be established as expected. No exceptions exist in the Infinispan server logs.
- causes
-
-
- Resolved
-
- relates to
-
-
- New
-
