Uploaded image for project: 'OpenShift Bugs'
  1. OpenShift Bugs
  2. OCPBUGS-2868

Container networking pods cannot be access hosted network pods on another node in ipv6 single stack cluster

    XMLWordPrintable

Details

    • Critical
    • SDN Sprint 227, SDN Sprint 228
    • 2
    • Approved
    • False
    • Hide

      None

      Show
      None

    Description

      Description of problem:

      Container networking pods cannot access the host network pods on another node which caused some operators DEGRADED
      
      $ oc get co
      NAME                                       VERSION                              AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
      authentication                             4.12.0-0.nightly-2022-10-23-204408   False       True          True       63m     OAuthServerRouteEndpointAccessibleControllerAvailable: Get "https://oauth-openshift.apps.jhou.arm.eng.rdu2.redhat.com/healthz": context deadline exceeded (Client.Timeout exceeded while awaiting headers)...
      baremetal                                  4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      cloud-controller-manager                   4.12.0-0.nightly-2022-10-23-204408   True        False         False      68m     
      cloud-credential                           4.12.0-0.nightly-2022-10-23-204408   True        False         False      78m     
      cluster-autoscaler                         4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      config-operator                            4.12.0-0.nightly-2022-10-23-204408   True        False         False      63m     
      console                                    4.12.0-0.nightly-2022-10-23-204408   False       False         False      30m     RouteHealthAvailable: failed to GET route (https://console-openshift-console.apps.jhou.arm.eng.rdu2.redhat.com): Get "https://console-openshift-console.apps.jhou.arm.eng.rdu2.redhat.com": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
      control-plane-machine-set                  4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      csi-snapshot-controller                    4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      dns                                        4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      etcd                                       4.12.0-0.nightly-2022-10-23-204408   False       True          True       13m     EtcdMembersAvailable: 1 of 2 members are available, openshift-qe-048.arm.eng.rdu2.redhat.com is unhealthy
      image-registry                             4.12.0-0.nightly-2022-10-23-204408   True        False         False      39m     
      ingress                                    4.12.0-0.nightly-2022-10-23-204408   True        False         True       47m     The "default" ingress controller reports Degraded=True: DegradedConditions: One or more other status conditions indicate a degraded state: CanaryChecksSucceeding=False (CanaryChecksRepetitiveFailures: Canary route checks for the default ingress controller are failing)
      insights                                   4.12.0-0.nightly-2022-10-23-204408   True        False         False      56m     
      kube-apiserver                             4.12.0-0.nightly-2022-10-23-204408   True        False         False      50m     
      kube-controller-manager                    4.12.0-0.nightly-2022-10-23-204408   True        False         True       60m     GarbageCollectorDegraded: error querying alerts: client_error: client error: 403
      kube-scheduler                             4.12.0-0.nightly-2022-10-23-204408   True        False         False      54m     
      kube-storage-version-migrator              4.12.0-0.nightly-2022-10-23-204408   True        False         False      63m     
      machine-api                                4.12.0-0.nightly-2022-10-23-204408   True        False         False      51m     
      machine-approver                           4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      machine-config                             4.12.0-0.nightly-2022-10-23-204408   True        False         False      29m     
      marketplace                                4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      monitoring                                 4.12.0-0.nightly-2022-10-23-204408   True        False         False      38m     
      network                                    4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      node-tuning                                4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      openshift-apiserver                        4.12.0-0.nightly-2022-10-23-204408   True        False         False      30m     
      openshift-controller-manager               4.12.0-0.nightly-2022-10-23-204408   True        False         False      56m     
      openshift-samples                          4.12.0-0.nightly-2022-10-23-204408   True        False         False      43m     
      operator-lifecycle-manager                 4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      operator-lifecycle-manager-catalog         4.12.0-0.nightly-2022-10-23-204408   True        False         False      62m     
      operator-lifecycle-manager-packageserver   4.12.0-0.nightly-2022-10-23-204408   True        False         False      43m     
      service-ca                                 4.12.0-0.nightly-2022-10-23-204408   True        False         False      63m     
      storage                                    4.12.0-0.nightly-2022-10-23-204408   True        False         False      63m
      
      
      $ oc get pod -n openshift-ingress -o wide
      NAME                              READY   STATUS    RESTARTS      AGE   IP                                  NODE                                       NOMINATED NODE   READINESS GATES
      router-default-58f6498646-gf6ns   1/1     Running   1 (79m ago)   93m   2620:52:0:1eb:3673:5aff:fe9e:5abc   openshift-qe-049.arm.eng.rdu2.redhat.com   <none>           <none>
      router-default-58f6498646-qjtbk   1/1     Running   1 (79m ago)   93m   2620:52:0:1eb:3673:5aff:fe9e:593c   openshift-qe-052.arm.eng.rdu2.redhat.com   <none>           <none>
      
      
      $ oc get pod -n openshift-network-diagnostics -o wide
      NAME                                    READY   STATUS    RESTARTS   AGE    IP              NODE                                       NOMINATED NODE   READINESS GATES
      network-check-source-5f967d78bc-cfwz4   1/1     Running   0          103m   fd01:0:0:3::9   openshift-qe-052.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-52krv              1/1     Running   0          91m    fd01:0:0:4::3   openshift-qe-049.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-56q9q              1/1     Running   0          91m    fd01:0:0:3::5   openshift-qe-052.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-ggqsf              1/1     Running   0          103m   fd01:0:0:2::4   openshift-qe-048.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-xfrq4              1/1     Running   0          103m   fd01:0:0:1::3   openshift-qe-047.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-zrglr              1/1     Running   0          73m    fd01:0:0:6::4   openshift-qe-051.arm.eng.rdu2.redhat.com   <none>           <none>
      network-check-target-zwb4t              1/1     Running   0          91m    fd01:0:0:5::5   openshift-qe-053.arm.eng.rdu2.redhat.com   <none>           <none>
      
      ####Failed from containers pod on openshift-qe-053.arm.eng.rdu2.redhat.com to access ingress pods
      
      $ oc rsh -n openshift-network-diagnostics network-check-target-zwb4t
      sh-4.4$ curl https://[2620:52:0:1eb:3673:5aff:fe9e:5abc]:443 -k -I
      ^C
      sh-4.4$ curl https://[2620:52:0:1eb:3673:5aff:fe9e:593c]:443 -k -I
      ^C
      

      Version-Release number of selected component (if applicable):

      4.12.0-0.nightly-2022-10-23-204408

      How reproducible:

      always

      Steps to Reproduce:

      1. Deploy ipv6 disconnect single cluster
      2. 
      3.
      

      Actual results:

       

      Expected results:

       

      Additional info:

       

      Attachments

        Issue Links

          Activity

            People

              rravaiol@redhat.com Riccardo Ravaioli
              zzhao1@redhat.com Zhanqi Zhao
              Zhanqi Zhao Zhanqi Zhao
              Votes:
              0 Vote for this issue
              Watchers:
              12 Start watching this issue

              Dates

                Created:
                Updated:
                Resolved: