พลาดเบอร์ไหนถึงจะโดน hack ผ่าน kubelet

มีข่าวหนึ่งเมื่อวันที่ 3 กุมภาพันธ์ 2564 เกี่ยวกับ Kubernetes จาก Unit42 ของ PaloAlto Network เนื้อหาก็ประมาณว่า มี malware ชื่อว่า Hildegard มุ่งโจมตี Kubernetes โดยเฉพาะ พออ่านลงไปในรายละเอียดของเนื้อหา จุดเริ่มต้นของการโจมตีในกรณีนี้ เกิดจากข้อผิดพลาดในการกำหนดค่า Configuration ของ kubelet เปิดให้เข้าถึงได้โดยไม่ต้องระบุตัวตน จากนั้นก็เรียกคำสั่งให้ทำงานใน container ผ่านทาง kubelet API และในเนื้อหายังบอกอีกว่า ถ้าติดตั้ง Kubernetes แบบมาตรฐานจะเปิดให้เข้าถึงได้โดยไม่ต้องระบุตัวตนเป็นค่าปกติ

Standard Kubernetes deployments come with anonymous access to kubelet by default.

"งานเข้าล่ะ" คำแรกที่อยู่ในหัวตอนที่อ่านข่าวนี้ เริ่มตั้งถามหลายข้อในหัว แล้วค่อย ๆ ไล่หาคำตอบจนคิดว่า น่าจะสบายใจแล้ว

จะรู้ได้ไงว่า kubelet เปิด anonymous access อยู่
จะเรียกใช้งานคำสั่งให้ทำงานใน container ผ่านทาง kubelet API ได้อย่างไร

จะรู้ได้ไงว่า kubelet เปิด anonymous access อยู่

ไปเจอใน github Liz Rice VP Open Source Engineering at @aquasecurity เขียนไว้

วิธีการการทดสอบ

curl -sk https://<node_ip>:10250/pods/

ถ้าได้ status code เป็น 401 และมีข้อความตอนกลับมาว่า Unauthorized แสดงว่า ค่า --anonymous-auth ใน kubelet configuration เป็น false อยู่
ถ้าได้ status code เป็น 403 และมีข้อความตอนกลับมาว่า Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) แสดงว่า ค่า --anonymous-auth ใน kubelet configuration เป็น true และ --authorization-mode เป็น Webhook
ถ้าได้ข้อมูลของ Pod แสดงว่า ค่า --anonymous-auth ใน kubelet configuration เป็น true และ --authorization-mode เป็น AlwaysAllow

จะเรียกใช้งานคำสั่งให้ทำงานใน container ผ่านทาง kubelet API ได้อย่างไร

วิธีการการทดสอบ

curl -ks -X POST https://<node_ip>:10250/run/<namespace>/<pod>/<container> -d "cmd=<command>"

ระบบที่ใช้ในการทดสอบ

Kubernetes version 1.15.2 และ 1.20.2 (ล่าสุด ณ.วันที่ 6 กุมภาพันธ์ 2564)

ติดตั้ง Kubernetes ด้วย kubeadm

node จำนวน 2 nodes มี ip เป็น 192.168.254.74, 192.168.254.75

root@cp0:~# kubectl get nodes -o wide
NAME      STATUS   ROLES    AGE   VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION     CONTAINER-RUNTIME
cp0       Ready    master   14h   v1.15.2   192.168.254.71   <none>        Ubuntu 20.04.1 LTS   5.4.0-51-generic   containerd://1.3.3-0ubuntu2.2
node0-0   Ready    <none>   14h   v1.15.2   192.168.254.74   <none>        Ubuntu 20.04.1 LTS   5.4.0-51-generic   containerd://1.3.3-0ubuntu2.2
node0-1   Ready    <none>   14h   v1.15.2   192.168.254.75   <none>        Ubuntu 20.04.1 LTS   5.4.0-51-generic   containerd://1.3.3-0ubuntu2.2

ทดสอบหลังจากติดตั้งทันที

#[at control plane]
root@cp0:~#  curl -sk https://192.168.254.74:10250/pods/
Unauthorized

ผลการทดสอบพบว่า ไม่สามารถเข้าถึง kubelet โดยไม่ต้องระบุตัวตนได้

ตรวจสอบ kubelet configuration ในส่วนของ Authentication และ Authorization

#[at node0-0]
root@node0-0:~# cat /var/lib/kubelet/config.yaml |grep -A 12 authentication
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509:
    clientCAFile: /etc/kubernetes/pki/ca.crt
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s

พบว่ามีการกำหนดค่าในส่วนของ Authentication และ Authorization ไว้

ทดสอบตั้งค่า Authentication เป็น false และ Authorization เป็น AlwaysAllow

#[at node0-0]
root@node0-0:~# cat /var/lib/kubelet/config.yaml |grep -A 4 authentication
authentication:
  anonymous:
    enabled: true
authorization:
  mode: AlwaysAllow

root@node0-0:~# systemctl restart kubelet

#[at control plane]
root@cp0:~# curl -sk https://192.168.254.74:10250/pods/ | jq |head -n 15
{
  "kind": "PodList",
  "apiVersion": "v1",
  "metadata": {},
  "items": [
    {
      "metadata": {
        "name": "weave-net-27v7f",
        "generateName": "weave-net-",
        "namespace": "kube-system",
        "selfLink": "/api/v1/namespaces/kube-system/pods/weave-net-27v7f",
        "uid": "93ac4298-5eb7-497f-b914-9c4183230050",
        "resourceVersion": "72856",
        "creationTimestamp": "2021-02-05T07:35:15Z",
        "labels": {

พบว่า สามารถแสดงรายการของ Pod ใน node นั้นได้

เรียกคำสั่ง hostname ที่ Container testcon ใน Pod testpd ผ่านทาง kubelet API

root@cp0:~#  curl -ks -X POST https://192.168.254.74:10250/run/default/testpod/testcon -d "cmd=hostname"
testpod

ทดสอบลบ kubelet configuration ในส่วนของ Authentication และ Authorization ออกทั้งหมด

#[at node0-0]
root@node0-0:~# cat /var/lib/kubelet/config.yaml | grep authentication
root@node0-0:~# systemctl restart kubelet

#[at control plane]
root@cp0:~# curl -sk https://192.168.254.74:10250/pods/
Unauthorized

พบว่า ไม่สามารถเข้าถึง kubelet โดยไม่ต้องระบุตัวตนได้

สรุป

ในการทดสอบ Kubernetes ทั้ง version 1.15.2 และ 1.20.2 ได้ผลการทดสอบเหมือนกัน
ค่าปกติหลังจากติดตั้ง Kubernetes ด้วย kubeadm ไม่สามารถเข้าถึง kubelet โดยไม่ต้องระบุตัวตนได้
ต้องกำหนดค่า authentication และ authorization ถึงจะเข้าถึง kubelet โดยไม่ต้องระบุตัวตนได้

authentication:
  anonymous:
    enabled: true
authorization:
  mode: AlwaysAllow

Hacker อาจจะมีวิธีการไม่สามารถเข้าถึง kubelet โดยไม่ต้องระบุตัวตนได้ ในรูปแบบอื่น ๆ ได้อีก

test [at] your own risk

Blog

พลาดเบอร์ไหนถึงจะโดน hack ผ่าน kubelet

Damrongsak Reetanon