TheLazy.Dev
Portfolio GitHub

Blog

kubeadm |kubernetes |containerd |linux

Kubeadm ile Kubernetes Cluster Install (3Node=1Master+2Worker) on Ubuntu20LTS

aslanfatih

Fatih ASLAN

Posted on February 10, 2022

Kubeadm ile Kubernetes Cluster Install (3Node=1Master+2Worker) on Ubuntu20LTS

Kubeadm ile Kubernetes Cluster kurulumu...

NAME                STATUS   ROLES                  AGE    VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION     CONTAINER-RUNTIME
kubernetes-master   Ready    control-plane,master   122m   v1.23.3   10.10.10.113  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5
kubernetes-node01   Ready    <none>                 115m   v1.23.3   10.10.10.114  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5
kubernetes-node02   Ready    <none>                 115m   v1.23.3   10.10.10.115  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5
Enter fullscreen mode Exit fullscreen mode

1- Tüm Node'ler de çalıştırılmalıdır.

sudo vim /etc/hosts

10.10.10.113 kubernetes-master
10.10.10.114 kubernetes-node01
10.10.10.115 kubernetes-node02
Enter fullscreen mode Exit fullscreen mode

Gerekli paketleri kuralım.

sudo apt update && sudo apt -y install curl apt-transport-https vim git wget gnupg2 software-properties-common ca-certificates
Enter fullscreen mode Exit fullscreen mode

Akabinde swap alanını kapatalım.

sudo swapoff -a
sudo sed -i '/swap/ s/^\(.*\)$/#\1/g' /etc/fstab
Enter fullscreen mode Exit fullscreen mode

Şimdi container runtime kurulumu yapacağız. Alternatifler containerd, docker ve cri-o'dur fakat kubernetes dockershim deprecation yaptığı için biz containerd yapacağız, zaten default olarak containerd geliyor.

sudo tee /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF
Enter fullscreen mode Exit fullscreen mode 
sudo modprobe overlay
sudo modprobe br_netfilter
Enter fullscreen mode Exit fullscreen mode 
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
Enter fullscreen mode Exit fullscreen mode 
sudo sysctl --system

sudo apt install -y containerd

sudo mkdir -p /etc/containerd

sudo containerd config default | sudo tee /etc/containerd/config.toml

sudo systemctl restart containerd.service

#To use the systemd cgroup driver, "set plugins.cri.systemd_cgroup = true" in /etc/containerd/config.toml. When using kubeadm, manually configure the cgroup driver for kubelet
Enter fullscreen mode Exit fullscreen mode

Bu arada container runtime Unix domain socket yolları aşağıdaki gibidir.

Docker      > /var/run/docker.sock
Containerd  > /run/containerd/containerd.sock
Cri-o       > /var/run/crio/crio.sock
Enter fullscreen mode Exit fullscreen mode

Şimdi ise kubernetes paketlerini kuralım.

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

sudo apt update
sudo apt -y install kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
kubectl version --client && kubeadm version
Enter fullscreen mode Exit fullscreen mode

2- Sadece Master Node'sinde çalıştırılmalıdır.

Bu aşamada POD Network'ünü de oluşturacağız. Alternatifler Calico, Canal, Flannel, Romana ve Weave'dir. Biz Calico kurulumu yapacağız.
Kubeadm init ile Cluster'ı oluştururken bunu(--pod-network-cidr) dikkate alacağız.

#calico.yaml dosyasındaki ip bilgisine uygun olarak, bir pod network range'i belirleyerek kubernetes cluster'ımızı oluşturabiliriz,
#subneti "vi calico.yaml" ile değiştirmek istersek, aşağıdaki komutta da ilgili subneti belirtmeliyiz.

curl https://docs.projectcalico.org/manifests/calico.yaml -O

sudo kubeadm init --pod-network-cidr=192.168.0.0/16
Enter fullscreen mode Exit fullscreen mode

Çıktı aşağıdaki gibi olmalıdır. Hem aşağıdaki adımları takip edeceğiz hem de kubeadm join ile cluster'a yeni node'ler ekleyeceğiz.

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.10.10.113:6443 --token 6sdzxn.pvgby7g42xq59mfb \
    --discovery-token-ca-cert-hash sha256:c4de5f8322be732828565761ed82274d31f282591017b64ef70891f00bc838a8
Enter fullscreen mode Exit fullscreen mode

Hemen yapalım.

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

#export KUBECONFIG=/etc/kubernetes/admin.conf olarak direk çalıştırmıyorum çünkü permission hatası alırım,
export KUBECONFIG=.kube/config
Enter fullscreen mode Exit fullscreen mode 
sudo systemctl status kubelet.service
Enter fullscreen mode Exit fullscreen mode

Hemen calico'yu da deploy edelim. Dosyayı yukarda indirmiştik ve cluster'ı ona göre init etmiştik.

kubectl apply -f calico.yaml
Enter fullscreen mode Exit fullscreen mode

Kubeconfig dosyasinin bulundugu dizin, manifestleri, api-server ve etcd'nin manifestlerini incelemek isterseniz,

ls /etc/kubernetes
ls /etc/kubernetes/manifests
sudo more /etc/kubernetes/manifests/etcd.yaml
sudo more /etc/kubernetes/manifests/kube-apiserver.yaml
Enter fullscreen mode Exit fullscreen mode

Cluster'ı gözlemleyebilirsiniz.

kubectl cluster-info

kubectl get pods -A [--watch]

kubectl get nodes -o wide

#Master'da init sürecinde token bilgisi verilmisti eğer not almadıysanız aşağıdaki komut ile master node üerinden token'ınızı listeleyebilirsiniz,
kubeadm token list

#Var olan token'ı kaydetmediyseniz, elde etmek için,
kubeadm token create --print-join-command

#Master uzerinden ca cert hash'i elde etmek için,
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
Enter fullscreen mode Exit fullscreen mode

3- Sadece Worker None'sinde çalıştırılmalıdır.

Yukarıda master node'yi oluştururken elde ettiğimiz ya da not almadıysak var olan token'ı tekrar elde ettiğimiz komut vasıtasıyla worker node'leri cluster'a dahil edelim.

#sudo kubeadm join <ip>:6443 --token <token> --discovery-token-ca-cert-hash <ca_cert_hash>

sudo kubeadm join 10.10.10.113:6443 --token 6sdzxn.pvgby7g42xq59mfb \
    --discovery-token-ca-cert-hash sha256:c4de5f8322be732828565761ed82274d31f282591017b64ef70891f00bc838a8
Enter fullscreen mode Exit fullscreen mode

Tekrar cluster'ın durumunu gözlemleyebilirisiniz.

Son olarak bashrc'yi edit'leyerek aşağıdaki satırları ilgili node'lere ekleyelim.

sudo vi .bashrc
Enter fullscreen mode Exit fullscreen mode

Tüm Node

swapoff -a
Enter fullscreen mode Exit fullscreen mode

Sadece MASTER/S Node

swapoff -a
export KUBECONFIG=.kube/config
Enter fullscreen mode Exit fullscreen mode

NoT : Ek bilgi

kubeadm init parametreleri:

--control-plane-endpoint : set the shared endpoint for all control-plane nodes. Can be DNS/IP

--pod-network-cidr : Used to set a Pod network add-on CIDR

--cri-socket : Use if have more than one container runtime to set runtime socket path

--apiserver-advertise-address : Set advertise address for this particular control-plane node's API server

Örnek olarak 3 ya da daha fazla Master Node'yi Haproxy ve Keepalived aracılığı ile eklemek isterseniz kubeadm init'i aşağıdaki gibi çalıştırmalısınız.

Yani --control-plane-endpoint adresi belirlediğiniz vrrp olacak, --apiserver-advertise-address ip'si de ilk master node'nizin ip'sini yazabilirsiniz.

sudo kubeadm init --control-plane-endpoint="10.10.10.200:6443" --apiserver-advertise-address=10.10.10.113 --pod-network-cidr=192.168.0.0/16 --upload-certs
Enter fullscreen mode Exit fullscreen mode
💖 💪 🙅 🚩
aslanfatih
Fatih ASLAN

Posted on February 10, 2022

Join Our Newsletter. No Spam, Only the good stuff.

Sign up to receive the latest update from our blog.

Related

Kubeadm ile Kubernetes Cluster Install (3Node=1Master+2Worker) on Ubuntu20LTS
kubeadm Kubeadm ile Kubernetes Cluster Install (3Node=1Master+2Worker) on Ubuntu20LTS

February 10, 2022