Uploaded image for project: 'OpenShift Bugs'
  1. OpenShift Bugs
  2. OCPBUGS-2201

node-density-heavy failed on GCP-OVN

XMLWordPrintable

    • Moderate
    • False
    • Hide

      None

      Show
      None

      Description of problem:

      Run node-density-heave test with 25 nodes and 245 PODS_PER_NODE, some test pods can not be created successfully.

      Version-Release number of selected component (if applicable):

      4.12.0-0.nightly-2022-10-05-053337

      How reproducible:

      Easy to reproduce on GCP-OVN-IPSEC and GCP-OVN. Not reproduced on AWS-OVN in previous test.

      Steps to Reproduce:

      1.Install ac luster with GCP-OVN-IPSEC or GCP-OVN
      2.Run node-density-heave test with 25 nodes and 245 PODS_PER_NODE
      3.Check test pods
      

      Actual results:

      Some test pods were stuck in ContainerCreating status and they are on the same node.

      Expected results:

      All test pods were successfully created and running

      Additional info:

      Failed Test on GCP-OVN-IPSEC:

      must-gather: http://file.nay.redhat.com/~qili/OCPBUGS-2201/must-gather.local.5289703321495308046.tar.gz 

      Kube-burner(node-density-heavy) job though succeeded

      https://mastern-jenkins-csb-openshift-qe.apps.ocp-c1.prod.psi.redhat.com/job/scale-ci/job/e2e-benchmarking-multibranch-pipeline/job/kube-burner/1419/console 

      The cerberus (cluster healthy check) job failed because some pods are ContainerCreating(not running)

      https://mastern-jenkins-csb-openshift-qe.apps.ocp-c1.prod.psi.redhat.com/job/scale-ci/job/e2e-benchmarking-multibranch-pipeline/job/cerberus/482/console 

      10-11 18:32:50.734  Error from server (BadRequest): container "perfapp" in pod "perfapp-1-2693-5cf54d6444-m5zx9" is waiting to start: ContainerCreating

      Describe a pod in ContainerCreating:

      % oc describe po postgres-1-2618-7fb767ddff-l5wrg -n ce92ec3f-7710-43f9-9564-e043cd25b36b
      Name:           postgres-1-2618-7fb767ddff-l5wrg
      Namespace:      ce92ec3f-7710-43f9-9564-e043cd25b36b
      Priority:       0
      Node:           scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal/10.0.128.8
      Start Time:     Tue, 11 Oct 2022 17:27:16 +0800
      Labels:         name=postgres-1-2618
                      pod-template-hash=7fb767ddff
      Annotations:    k8s.ovn.org/pod-networks:
                        {"default":{"ip_addresses":["10.128.4.182/23"],"mac_address":"0a:58:0a:80:04:b6","gateway_ips":["10.128.4.1"],"ip_address":"10.128.4.182/2...
                      k8s.v1.cni.cncf.io/network-status:
                        [{
                            "name": "ovn-kubernetes",
                            "interface": "eth0",
                            "ips": [
                                "10.128.4.182"
                            ],
                            "mac": "0a:58:0a:80:04:b6",
                            "default": true,
                            "dns": {}
                        }]
                      k8s.v1.cni.cncf.io/networks-status:
                        [{
                            "name": "ovn-kubernetes",
                            "interface": "eth0",
                            "ips": [
                                "10.128.4.182"
                            ],
                            "mac": "0a:58:0a:80:04:b6",
                            "default": true,
                            "dns": {}
                        }]
                      openshift.io/scc: restricted-v2
                      seccomp.security.alpha.kubernetes.io/pod: runtime/default
      Status:         Pending
      IP:             
      IPs:            <none>
      Controlled By:  ReplicaSet/postgres-1-2618-7fb767ddff
      Containers:
        postgresql:
          Container ID:   
          Image:          registry.redhat.io/rhel8/postgresql-10@sha256:4b912c80085b88a03309aeb7907efcc29dd3342fa3952b6ea067afb1914bfe53
          Image ID:       
          Port:           5432/TCP
          Host Port:      0/TCP
          State:          Waiting
            Reason:       ContainerCreating
          Ready:          False
          Restart Count:  0
          Requests:
            cpu:     20m
            memory:  20Mi
          Environment:
            POSTGRESQL_USER:      admin
            POSTGRESQL_PASSWORD:  secret
            POSTGRESQL_DATABASE:  node-density
          Mounts:
            /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-mr2bk (ro)
      Conditions:
        Type              Status
        Initialized       True 
        Ready             False 
        ContainersReady   False 
        PodScheduled      True 
      Volumes:
        kube-api-access-mr2bk:
          Type:                    Projected (a volume that contains injected data from multiple sources)
          TokenExpirationSeconds:  3607
          ConfigMapName:           kube-root-ca.crt
          ConfigMapOptional:       <nil>
          DownwardAPI:             true
          ConfigMapName:           openshift-service-ca.crt
          ConfigMapOptional:       <nil>
      QoS Class:                   Burstable
      Node-Selectors:              node-density=enabled
      Tolerations:                 node.kubernetes.io/memory-pressure:NoSchedule op=Exists
                                   node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                                   node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
      Events:
        Type     Reason                  Age                  From               Message
        ----     ------                  ----                 ----               -------
        Normal   Scheduled               151m                 default-scheduler  Successfully assigned ce92ec3f-7710-43f9-9564-e043cd25b36b/postgres-1-2618-7fb767ddff-l5wrg to scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
        Normal   AddedInterface          149m                 multus             Add eth0 [10.128.4.182/23] from ovn-kubernetes
        Warning  FailedCreatePodSandBox  128m                 kubelet            Failed to create pod sandbox: rpc error: code = Unknown desc = kubelet may be retrying requests that are timing out in CRI-O due to system load. Currently at stage sandbox network creation: context deadline exceeded: error reserving pod name k8s_postgres-1-2618-7fb767ddff-l5wrg_ce92ec3f-7710-43f9-9564-e043cd25b36b_8ee6e50c-c214-4ee2-b0e6-344d57ed51e2_0 for id b1e5683a2b50a71ff0cb00a5542413bbd1e5be022d89ba5eb8f4f7b67a95ae2b: name is reserved
        Warning  FailedCreatePodSandBox  105m                 kubelet            Failed to create pod sandbox: rpc error: code = Unknown desc = kubelet may be retrying requests that are timing out in CRI-O due to system load. Currently at stage sandbox network creation: context deadline exceeded: error reserving pod name k8s_postgres-1-2618-7fb767ddff-l5wrg_ce92ec3f-7710-43f9-9564-e043cd25b36b_8ee6e50c-c214-4ee2-b0e6-344d57ed51e2_0 for id 85dd2c1c3bcef2360c5e013b4a97398ae70bbaf0fbd925d0d04d8e79fae2e711: name is reserved
        Warning  FailedCreatePodSandBox  16m (x12 over 145m)  kubelet            Failed to create pod sandbox: rpc error: code = DeadlineExceeded desc = context deadline exceeded 

      Describe the node that has the ContainerCreating pods:

      % oc describe node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
      Name:               scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
      Roles:              worker
      Labels:             beta.kubernetes.io/arch=amd64
                          beta.kubernetes.io/instance-type=n1-standard-8
                          beta.kubernetes.io/os=linux
                          failure-domain.beta.kubernetes.io/region=us-central1
                          failure-domain.beta.kubernetes.io/zone=us-central1-a
                          kubernetes.io/arch=amd64
                          kubernetes.io/hostname=scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
                          kubernetes.io/os=linux
                          node-density=enabled
                          node-role.kubernetes.io/worker=
                          node.kubernetes.io/instance-type=n1-standard-8
                          node.openshift.io/os_id=rhcos
                          topology.gke.io/zone=us-central1-a
                          topology.kubernetes.io/region=us-central1
                          topology.kubernetes.io/zone=us-central1-a
      Annotations:        cloud.network.openshift.io/egress-ipconfig: [{"interface":"nic0","ifaddr":{"ipv4":"10.0.128.0/17"},"capacity":{"ip":10}}]
                          csi.volume.kubernetes.io/nodeid:
                            {"pd.csi.storage.gke.io":"projects/openshift-qe/zones/us-central1-a/instances/scaleci12-11910-zkssh-worker-a-n8hnn"}
                          k8s.ovn.org/host-addresses: ["10.0.128.8"]
                          k8s.ovn.org/l3-gateway-config:
                            {"default":{"mode":"shared","interface-id":"br-ex_scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal","mac-address":"42:01:0a:00...
                          k8s.ovn.org/node-chassis-id: be0e94c3-4cee-4c63-8d22-5ccac63c3879
                          k8s.ovn.org/node-gateway-router-lrp-ifaddr: {"ipv4":"100.64.0.10/16"}
                          k8s.ovn.org/node-mgmt-port-mac-address: 1a:59:93:71:9c:6e
                          k8s.ovn.org/node-primary-ifaddr: {"ipv4":"10.0.128.8/32"}
                          k8s.ovn.org/node-subnets: {"default":"10.128.4.0/23"}
                          machine.openshift.io/machine: openshift-machine-api/scaleci12-11910-zkssh-worker-a-n8hnn
                          machineconfiguration.openshift.io/controlPlaneTopology: HighlyAvailable
                          machineconfiguration.openshift.io/currentConfig: rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2
                          machineconfiguration.openshift.io/desiredConfig: rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2
                          machineconfiguration.openshift.io/desiredDrain: uncordon-rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2
                          machineconfiguration.openshift.io/lastAppliedDrain: uncordon-rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2
                          machineconfiguration.openshift.io/reason: 
                          machineconfiguration.openshift.io/state: Done
                          volumes.kubernetes.io/controller-managed-attach-detach: true
      CreationTimestamp:  Tue, 11 Oct 2022 17:12:37 +0800
      Taints:             <none>
      Unschedulable:      false
      Lease:
        HolderIdentity:  scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
        AcquireTime:     <unset>
        RenewTime:       Tue, 11 Oct 2022 19:48:45 +0800
      Conditions:
        Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
        ----                 ------  -----------------                 ------------------                ------                       -------
        NetworkUnavailable   False   Mon, 01 Jan 0001 00:00:00 +0000   Tue, 11 Oct 2022 17:12:37 +0800   RouteCreated                 ovn-kube cleared kubelet-set NoRouteCreated
        MemoryPressure       False   Tue, 11 Oct 2022 19:44:29 +0800   Tue, 11 Oct 2022 17:12:37 +0800   KubeletHasSufficientMemory   kubelet has sufficient memory available
        DiskPressure         False   Tue, 11 Oct 2022 19:44:29 +0800   Tue, 11 Oct 2022 17:12:37 +0800   KubeletHasNoDiskPressure     kubelet has no disk pressure
        PIDPressure          False   Tue, 11 Oct 2022 19:44:29 +0800   Tue, 11 Oct 2022 17:12:37 +0800   KubeletHasSufficientPID      kubelet has sufficient PID available
        Ready                True    Tue, 11 Oct 2022 19:44:29 +0800   Tue, 11 Oct 2022 17:13:17 +0800   KubeletReady                 kubelet is posting ready status
      Addresses:
        InternalIP:   10.0.128.8
        InternalDNS:  scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
        Hostname:     scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal
      Capacity:
        attachable-volumes-gce-pd:  127
        cpu:                        8
        ephemeral-storage:          133682156Ki
        hugepages-1Gi:              0
        hugepages-2Mi:              0
        memory:                     30699936Ki
        pods:                       250
      Allocatable:
        attachable-volumes-gce-pd:  127
        cpu:                        7500m
        ephemeral-storage:          123201474766
        hugepages-1Gi:              0
        hugepages-2Mi:              0
        memory:                     29548960Ki
        pods:                       250
      System Info:
        Machine ID:                             5f7cd2cf5c80647d4781610a6e86af4f
        System UUID:                            5f7cd2cf-5c80-647d-4781-610a6e86af4f
        Boot ID:                                e46f030e-7c3a-4de3-a16a-56fc3dd8fabc
        Kernel Version:                         4.18.0-372.26.1.el8_6.x86_64
        OS Image:                               Red Hat Enterprise Linux CoreOS 412.86.202210050111-0 (Ootpa)
        Operating System:                       linux
        Architecture:                           amd64
        Container Runtime Version:              cri-o://1.25.0-55.rhaos4.12.git2002c49.el8
        Kubelet Version:                        v1.25.0+3ef6ef3
        Kube-Proxy Version:                     v1.25.0+3ef6ef3
      ProviderID:                               gce://openshift-qe/us-central1-a/scaleci12-11910-zkssh-worker-a-n8hnn
      Non-terminated Pods:                      (231 in total)
        Namespace                               Name                                   CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
        ---------                               ----                                   ------------  ----------  ---------------  -------------  ---
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2206-65667b7c56-lx6jv        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2302-647c649d86-nrcnq        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2310-586c88f88-cwrf2         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2318-5c8468fd9b-86fr6        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2336-889465f5b-2bs28         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2339-77b4b595f4-m468h        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2346-57668c9dc8-dfctv        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2360-6ff88cff4b-gws6f        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2435-c5845d488-xpmzm         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2455-75655f7bfb-8kmfg        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2489-68c78f9c74-mnv4q        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2495-7cf6c8d96d-lfnnv        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2527-7bdcc79fc6-m7q9w        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2543-58bf76f99b-88qhn        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2552-78c9c9bc56-hcm58        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2576-59c5856f5b-66s7h        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2577-6b4c8b56f8-n6886        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2578-7679f65f68-sqqkh        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2590-644dc5fcb-97kpf         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2617-6756fc6f96-q4ltc        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2626-dc57ddb76-9t7b2         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2636-79fb65c89d-rwsv6        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2638-7cf8559994-htkhc        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2676-5cb4755c74-vnxxb        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2693-5cf54d6444-m5zx9        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2699-7464f55c64-7k78j        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2701-677b8c45b8-s59tw        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2707-df6dc6d5b-srgl7         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2731-99c4db9d6-7flwv         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2739-7d86d75f4-hhwxs         10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2752-788f49fc6d-zj7bj        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2759-67fd97b98b-lxdbr        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2774-54bbb8fc44-6gwpf        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2788-5d77cdb566-zttkv        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2795-7c945d7ccd-svwjb        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2804-866fb7d7d8-fss4m        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2812-676d77ddd6-ntm8n        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2827-779bccb766-ddjvq        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2839-6b7c6f8864-wjlq5        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2844-7fc84cd4d4-c5djg        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2861-7bd79dcd5d-4dbkz        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    perfapp-1-2869-7c58b698bb-d26bv        10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1-5c54b76bd5-cx2sf          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-101-59c695dd6b-sjxlm        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1011-85bd766797-sfsxd       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1012-64d76cd55b-hdxkk       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1014-5976879874-njt5b       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1015-67866c6bd9-fkvxc       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1017-846d55ffff-fjbhh       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1020-75dd588677-hvsb6       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1098-687dfd6646-vnmbw       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1107-6b97cf57d5-9crgp       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1115-6c9785586b-nr5p4       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1130-68565b747-89fbh        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1131-66f7d4b4d-t2947        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1141-5d59c598cf-lcrl8       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1148-cfc48445b-2fhfj        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1159-5977d99bfd-cs8l5       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1170-6657757f8c-2b6ws       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-1171-cb4cfc544-th6h5        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-12-78c74b7b69-jklr6         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-13-869cbd7998-sqjcb         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-132-8585fb6fdd-zb7tg        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-134-85cc5bfdc4-s6x8m        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-136-6998d7796-nvstr         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-14-7d858c4b7-pfjpc          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-146-dcd666ff-2zwm6          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-147-59bd6d8b96-n5pt7        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-148-77bd6c6665-l7p7j        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-149-77fc8b5d8b-ls442        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-15-676c744bd4-25hm8         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-150-b587dc864-lwmrj         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-152-7796dd9bbb-lmhbt        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-158-646fb67488-pbz76        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-16-7b5d7bc9df-d478m         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-17-584f86bc94-9zjbb         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-170-55478d6578-qzhvq        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-18-b469d48bc-vmgt9          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-19-5b76858f5b-jhq2m         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2-694b5f768-npqnp           20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-200-567fbdb4b4-t5dns        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-202-5874ffc6fd-wnwqc        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-209-75cf644959-p4hfd        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-212-66f8b4887f-d2nsz        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-213-74584fd596-2xhfg        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-214-5c89c646fc-slxnt        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-215-7db948546b-vwf2n        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-216-589d4766ff-s68m8        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-219-65557bb754-hpljf        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2293-6f969fb98-qk6wf        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2295-67896bc584-x2n54       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2331-6b47479fc7-d89rq       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         144m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2374-756f7f84c4-46kpr       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2420-676b756978-t8qdf       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2433-677d5494b6-q7hd2       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2448-77bff9f964-298m9       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-247-cdb7bbd9c-l6742         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2487-84c6c467b9-sfngr       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2488-f585456f6-zdvxx        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-25-5587f4cc7f-22l7z         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-251-6c5cd8c66b-vdf9k        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2517-84b7f86ff5-67ftb       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2549-5766c6bcd8-68ccv       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-255-cd65dfbb-lqsqg          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2554-67bf7ddfb6-5qnv4       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2559-79bfd55c69-qmjvl       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2575-b6b8c8f87-prrzl        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-26-85ccbbf86b-nmwd7         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2611-7d6cfdc544-z7qkj       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2618-7fb767ddff-l5wrg       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2629-5497d9747f-tk6hj       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2631-5b4b8b8fc4-k6h9v       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2637-74dd6f6684-kmsx6       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2682-685f7f9456-mgkqt       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2686-74f5fcc9d8-l4tmf       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2709-55d8d6d5cd-kqfst       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2715-5fb5d9ccc5-gfplv       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2721-6b586dfc6-svxtd        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2737-745468948c-2scjf       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2741-669fd94b66-kvn6g       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         143m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2787-57cd65f6dd-bhr5s       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2790-594856888d-gz9vz       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2796-674456df4-9d744        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2807-7d567bb9cc-9k2k9       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2808-677c68d676-q4tbw       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-281-67fd57f46c-rhbhh        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2823-58c8469c59-f6kjg       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2832-684c8b8d45-zqtvm       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-284-6ffc65cf7b-tpf47        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2859-84465b4f9d-9cndh       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-286-7d76b996c4-bhrhk        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2861-86d845d5-pkvq6         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2863-58b675c75f-8g9g4       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-287-774c4b95fc-qn987        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-2872-69b5b494b5-mx8nl       20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         142m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-288-644bff9f44-5n5j9        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-289-75cf76569f-kgmkn        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-290-86565d9cdf-9zg54        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-3-5866f88bd7-j7df5          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-351-f997fb8bf-llzjb         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-36-86d864dcbc-4wtg9         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-362-6df47544c-8f8ls         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-365-5df9dccd46-6j7df        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-366-854cdc4fb7-rbd5l        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-37-8466b45548-phdfw         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-374-7fdbc6d8d4-4c95f        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-377-7f59df7c7-r58z7         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-378-86f4cc49c6-kjpgp        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-380-5dff45cdbc-rgcpk        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-397-78f67c6f47-6gvrf        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-4-69f9bf7cf4-p9jhm          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-400-74bb955c54-4nrtf        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-41-f86b45bb5-rd6km          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-428-7c8c575544-jx8qg        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-43-689bdffd99-dgh7r         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-463-7644fc84cc-fv2l6        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-464-6f5cc8d784-qvz7f        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-469-5598844f79-trlx2        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-472-756cf77655-97xlr        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-474-655847f665-2j9mq        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-478-7964489469-qp6vn        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-479-75dc94689d-9rsmd        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-48-dcdd979d-jfxw6           20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-480-85c9cf7bc4-swg6k        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-487-f44fff855-nl64b         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-49-75f59cbbb5-x5bs6         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-5-55f796d5fc-8ssxj          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-50-7d86796859-hbhw6         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-51-8765c856d-5995t          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-53-8597879778-nkss2         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-545-b644b95d6-cnjdf         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-546-6986775667-7kvs8        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-559-5bbf6f895f-cn5ww        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-589-6c58fb4cf4-k2cg8        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-594-6d69c879b4-hfd9x        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-6-6fcf45497b-jcwdl          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-602-779c8cc898-46js8        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-604-77666c49c6-lvn82        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-605-5d85d4d65f-bzntm        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-610-794859ff65-h2f4s        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-611-6d7dc5db46-txfhd        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-671-7c66bf6fb-xzwmr         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-675-7ff8b98464-xg2wr        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-677-c96d6b854-5qnr5         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-68-ccd5b9984-5qh2q          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-681-cf46cf675-pw2sl         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-697-64d45cf45b-49bfg        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-698-867f676c65-9t2l5        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-7-669f95bd67-hgn4z          20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-703-54f65dbd7d-vjttv        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-71-6c99f8b794-5x4q5         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-714-7b465dc7c4-sw89x        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-717-8b67bcf67-bt9sn         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-730-778cc8755b-njh6b        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-739-5f67479c8c-nzqc4        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-75-7b48c5fb78-s47ns         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-81-5f56bcb48f-z99r5         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-827-6fdf79b8fc-dlrwt        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-84-5747bfb7f4-mrv6w         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-842-79bcfb5588-h8r5h        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         148m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-858-674fbc64f9-442bj        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-859-75f88b5548-zt8zb        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-861-5bd55d5695-2bxm7        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-862-579d5b4bfd-bm7v2        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-863-64f967d48f-rnpdp        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-864-5f666b57cb-jqqkm        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-875-c44cc49c4-q58d2         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-896-5489995745-d8x9k        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-9-59f5b59d9-b7bvm           20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         150m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-94-7c4f894db7-zblw7         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-942-7b65676f55-zqnjs        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-95-575f646556-mm2n4         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-950-6457769cfb-rh44h        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-97-7f7cd4bdc4-4l764         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-986-55dd97696c-dx98f        20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-99-5856bcfd96-gzsnq         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         149m
        ce92ec3f-7710-43f9-9564-e043cd25b36b    postgres-1-992-c59df4bdb-xvhnh         20m (0%)      0 (0%)      20Mi (0%)        0 (0%)         147m
        openshift-cluster-csi-drivers           gcp-pd-csi-driver-node-s875q           30m (0%)      0 (0%)      150Mi (0%)       0 (0%)         156m
        openshift-cluster-node-tuning-operator  tuned-66f25                            10m (0%)      0 (0%)      50Mi (0%)        0 (0%)         156m
        openshift-dns                           dns-default-d2z9n                      60m (0%)      0 (0%)      110Mi (0%)       0 (0%)         155m
        openshift-dns                           node-resolver-cmz56                    5m (0%)       0 (0%)      21Mi (0%)        0 (0%)         156m
        openshift-image-registry                node-ca-6v9pp                          10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         156m
        openshift-ingress-canary                ingress-canary-6j7zp                   10m (0%)      0 (0%)      20Mi (0%)        0 (0%)         155m
        openshift-machine-config-operator       machine-config-daemon-2fjqx            40m (0%)      0 (0%)      100Mi (0%)       0 (0%)         156m
        openshift-monitoring                    node-exporter-r6fk4                    9m (0%)       0 (0%)      47Mi (0%)        0 (0%)         156m
        openshift-multus                        multus-additional-cni-plugins-cg8nq    10m (0%)      0 (0%)      10Mi (0%)        0 (0%)         156m
        openshift-multus                        multus-vr5rd                           10m (0%)      0 (0%)      65Mi (0%)        0 (0%)         156m
        openshift-multus                        network-metrics-daemon-5knst           20m (0%)      0 (0%)      120Mi (0%)       0 (0%)         156m
        openshift-network-diagnostics           network-check-target-xmsdp             10m (0%)      0 (0%)      15Mi (0%)        0 (0%)         156m
        openshift-ovn-kubernetes                ovn-ipsec-pxt8s                        10m (0%)      0 (0%)      100Mi (0%)       0 (0%)         156m
        openshift-ovn-kubernetes                ovnkube-node-fgnp8                     50m (0%)      0 (0%)      660Mi (2%)       0 (0%)         156m
      Allocated resources:
        (Total limits may be over 100 percent, i.e., overcommitted.)
        Resource                   Requests      Limits
        --------                   --------      ------
        cpu                        4204m (56%)   0 (0%)
        memory                     5398Mi (18%)  0 (0%)
        ephemeral-storage          0 (0%)        0 (0%)
        hugepages-1Gi              0 (0%)        0 (0%)
        hugepages-2Mi              0 (0%)        0 (0%)
        attachable-volumes-gce-pd  0             0
      Events:
        Type    Reason                     Age                  From                 Message
        ----    ------                     ----                 ----                 -------
        Normal  NodeHasSufficientMemory    156m (x8 over 156m)  kubelet              Node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal status is now: NodeHasSufficientMemory
        Normal  NodeHasNoDiskPressure      156m (x8 over 156m)  kubelet              Node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal status is now: NodeHasNoDiskPressure
        Normal  RegisteredNode             156m                 node-controller      Node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal event: Registered Node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal in Controller
        Normal  NodeDone                   155m                 machineconfigdaemon  Setting node scaleci12-11910-zkssh-worker-a-n8hnn.c.openshift-qe.internal, currentConfig rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2 to Done
        Normal  Uncordon                   155m                 machineconfigdaemon  Update completed for config rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2 and node has been uncordoned
        Normal  ConfigDriftMonitorStarted  155m                 machineconfigdaemon  Config Drift Monitor started, watching against rendered-worker-70cf3e3c2114c71fa7929ca7392e45d2 

      Failed Test on GCP-OVN

      https://mastern-jenkins-csb-openshift-qe.apps.ocp-c1.prod.psi.redhat.com/job/scale-ci/job/scale-nightly-regression/468/console

       

            harpatil@redhat.com Harshal Patil
            rhn-support-qili Qiujie Li
            Sunil Choudhary Sunil Choudhary
            Votes:
            0 Vote for this issue
            Watchers:
            5 Start watching this issue

              Created:
              Updated:
              Resolved: