Uploaded image for project: 'OpenShift Bugs'
  1. OpenShift Bugs
  2. OCPBUGS-3975

"Failed to open directory, disabling udev device properties" in node-exporter logs

    XMLWordPrintable

Details

    • Bug
    • Resolution: Done
    • Normal
    • None
    • 4.13.0, 4.12.0
    • Monitoring
    • Low
    • MON Sprint 228
    • 1
    • False
    • Hide

      None

      Show
      None

    Description

      Resolution:
      In CMO, upgrade kube-promehteus to newer version than fd63d9ea9ffa8fa0ba7264cee7e4243adb7e9da8 (14/11/2022).

      Description of problem:

      "Failed to open directory, disabling udev device properties" in node-exporter logs

      $ for i in $(oc -n openshift-monitoring get pod | grep node-exporter | awk '{print $1}'); do echo $i; oc -n openshift-monitoring logs -c node-exporter $i | grep "Failed to open directory, disabling udev device properties"; echo -e "\n"; done
      node-exporter-4279b
      ts=2022-10-17T01:16:05.833Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      
      node-exporter-9tq64
      ts=2022-10-17T01:16:04.642Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      
      node-exporter-dwtwh
      ts=2022-10-17T01:16:04.936Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      
      node-exporter-nrznc
      ts=2022-10-17T01:16:05.601Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      
      node-exporter-q87s4
      ts=2022-10-17T01:16:05.228Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      
      node-exporter-twtxj
      ts=2022-10-17T01:16:05.249Z caller=diskstats_linux.go:264 level=error collector=diskstats msg="Failed to open directory, disabling udev device properties" path=/run/udev/data
      

      debug on node, /run/udev/data is readable

      # oc debug node/ip-10-0-138-107.us-east-2.compute.internal
      Temporary namespace openshift-debug-dhvqv is created for debugging node...
      Starting pod/ip-10-0-138-107us-east-2computeinternal-debug ...
      To use host binaries, run `chroot /host`
      Pod IP: 10.0.138.107
      If you don't see a command prompt, try pressing enter.
      sh-4.4# chroot /host
      sh-4.4# ls -l /run/udev/
      total 0
      srw-------.  1 root root    0 Oct 17 01:04 control
      drwxr-xr-x.  2 root root 3780 Oct 17 01:26 data
      drwxr-xr-x. 40 root root  800 Oct 17 01:04 links
      drwxr-xr-x.  3 root root   60 Oct 17 01:04 static_node-tags
      drwxr-xr-x.  5 root root  100 Oct 17 01:04 tags
      drwxr-xr-x.  2 root root  140 Oct 17 01:04 watch
      sh-4.4# ls -l /run/udev/data
      total 304
      -rw-r--r--. 1 root root   55 Oct 17 01:04 +acpi:AMZN0000:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXCPU:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXCPU:01
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXCPU:02
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXCPU:03
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXPWRBN:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXSLPBN:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXSYBUS:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXSYBUS:01
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:LNXSYSTM:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0103:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0303:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0400:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0501:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0A03:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0B00:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0C0F:00
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0C0F:01
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0C0F:02
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0C0F:03
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0C0F:04
      -rw-r--r--. 1 root root   57 Oct 17 01:04 +acpi:PNP0F13:00
      -rw-r--r--. 1 root root  142 Oct 17 01:04 +input:input0
      -rw-r--r--. 1 root root  142 Oct 17 01:04 +input:input1
      -rw-r--r--. 1 root root  218 Oct 17 01:04 +input:input2
      -rw-r--r--. 1 root root  198 Oct 17 01:04 +input:input4
      -rw-r--r--. 1 root root  143 Oct 17 01:04 +input:input5
      -rw-r--r--. 1 root root   60 Oct 17 01:04 +module:configfs
      -rw-r--r--. 1 root root   66 Oct 17 01:04 +module:fuse
      -rw-r--r--. 1 root root  188 Oct 17 01:04 +pci:0000:00:00.0
      -rw-r--r--. 1 root root  195 Oct 17 01:04 +pci:0000:00:01.0
      -rw-r--r--. 1 root root  213 Oct 17 01:04 +pci:0000:00:01.3
      -rw-r--r--. 1 root root  207 Oct 17 01:04 +pci:0000:00:03.0
      -rw-r--r--. 1 root root  259 Oct 17 01:04 +pci:0000:00:04.0
      -rw-r--r--. 1 root root  208 Oct 17 01:04 +pci:0000:00:05.0
      -rw-r--r--. 1 root root   55 Oct 17 01:04 +platform:AMZN0000:00
      -rw-r--r--. 1 root root  825 Oct 17 01:04 b259:0
      -rw-r--r--. 1 root root 1357 Oct 17 01:04 b259:1
      -rw-r--r--. 1 root root 1568 Oct 17 01:04 b259:2
      -rw-r--r--. 1 root root 1619 Oct 17 01:04 b259:3
      -rw-r--r--. 1 root root 1602 Oct 17 01:04 b259:4
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:144
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:183
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:227
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:228
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:229
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:231
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:235
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:236
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:62
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c10:63
      -rw-r--r--. 1 root root  193 Oct 17 01:04 c13:32
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c13:63
      -rw-r--r--. 1 root root  113 Oct 17 01:04 c13:64
      -rw-r--r--. 1 root root  113 Oct 17 01:04 c13:65
      -rw-r--r--. 1 root root  232 Oct 17 01:04 c13:66
      -rw-r--r--. 1 root root  199 Oct 17 01:04 c13:67
      -rw-r--r--. 1 root root  143 Oct 17 01:04 c13:68
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c162:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:11
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:3
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:4
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:5
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:7
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:8
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c1:9
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c202:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c202:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c202:2
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c202:3
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c203:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c203:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c203:2
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c203:3
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c241:0
      -rw-r--r--. 1 root root  259 Oct 17 01:04 c242:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c246:0
      -rw-r--r--. 1 root root   23 Oct 17 01:04 c251:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:10
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:11
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:12
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:13
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:14
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:15
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:16
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:17
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:18
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:19
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:2
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:20
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:21
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:22
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:23
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:24
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:25
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:26
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:27
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:28
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:29
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:3
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:30
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:31
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:32
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:33
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:34
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:35
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:36
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:37
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:38
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:39
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:4
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:40
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:41
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:42
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:43
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:44
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:45
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:46
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:47
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:48
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:49
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:5
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:50
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:51
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:52
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:53
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:54
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:55
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:56
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:57
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:58
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:59
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:6
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:60
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:61
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:62
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:63
      -rw-r--r--. 1 root root   20 Oct 17 01:04 c4:64
      -rw-r--r--. 1 root root   20 Oct 17 01:04 c4:65
      -rw-r--r--. 1 root root   20 Oct 17 01:04 c4:66
      -rw-r--r--. 1 root root   20 Oct 17 01:04 c4:67
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:7
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:8
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c4:9
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c5:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c5:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c5:2
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:0
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:1
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:128
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:129
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:130
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:131
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:132
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:133
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:134
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:2
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:3
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:4
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:5
      -rw-r--r--. 1 root root    0 Oct 17 01:04 c7:6
      -rw-r--r--. 1 root root   87 Oct 17 01:04 n1
      -rw-r--r--. 1 root root  360 Oct 17 01:06 n10
      -rw-r--r--. 1 root root  360 Oct 17 01:06 n11
      -rw-r--r--. 1 root root  360 Oct 17 01:06 n13
      -rw-r--r--. 1 root root  360 Oct 17 01:07 n14
      -rw-r--r--. 1 root root  595 Oct 17 01:04 n2
      -rw-r--r--. 1 root root  360 Oct 17 01:09 n25
      -rw-r--r--. 1 root root  360 Oct 17 01:10 n29
      -rw-r--r--. 1 root root  195 Oct 17 01:04 n3
      -rw-r--r--. 1 root root  360 Oct 17 01:10 n30
      -rw-r--r--. 1 root root  360 Oct 17 01:11 n31
      -rw-r--r--. 1 root root  360 Oct 17 01:14 n35
      -rw-r--r--. 1 root root  360 Oct 17 01:14 n37
      -rw-r--r--. 1 root root  360 Oct 17 01:14 n39
      -rw-r--r--. 1 root root  188 Oct 17 01:04 n4
      -rw-r--r--. 1 root root  360 Oct 17 01:15 n41
      -rw-r--r--. 1 root root  193 Oct 17 01:04 n5
      -rw-r--r--. 1 root root  360 Oct 17 01:18 n50
      -rw-r--r--. 1 root root  362 Oct 17 01:26 n54
      -rw-r--r--. 1 root root  189 Oct 17 01:04 n6
      -rw-r--r--. 1 root root  357 Oct 17 01:05 n7
      -rw-r--r--. 1 root root  357 Oct 17 01:05 n8
      -rw-r--r--. 1 root root  359 Oct 17 01:05 n9 

      Version-Release number of selected component (if applicable):

      4.12.0-0.nightly-2022-10-15-094115
      node-exporter version=1.4.0

      How reproducible:

      always

      Steps to Reproduce:

      1. check node-exporter logs
      2.
      3.
      

      Actual results:

      "Failed to open directory, disabling udev device properties" in node-exporter logs

      Expected results:

      no error logs

      Additional info:

      no functional affection for the cluster
      code:
      https://github.com/prometheus/node_exporter/blob/release-1.4/collector/diskstats_linux.go#L262-L270

      Attachments

        Issue Links

          Activity

            People

              hasun@redhat.com Haoyu Sun
              juzhao@redhat.com Junqi Zhao
              Hongyan Li Hongyan Li
              Votes:
              0 Vote for this issue
              Watchers:
              3 Start watching this issue

              Dates

                Created:
                Updated:
                Resolved: