Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revisionLast revisionBoth sides next revision | ||
linux_faq:kubernetes_using_single_node_as_master_and_worker [2021/10/07 11:49] – [Cert manager] admin | linux_faq:kubernetes_using_single_node_as_master_and_worker [2022/11/09 09:42] – [Установка сервера метрик kubernetes] admin | ||
---|---|---|---|
Line 8: | Line 8: | ||
| | ||
echo 'deb http:// | echo 'deb http:// | ||
- | curl -s https:// | + | |
- | | + | |
+ | gpg_keyring_path="/ | ||
+ | curl -fsSL " | ||
+ | |||
+ | cat <<EOF | sudo tee / | ||
+ | overlay | ||
+ | br_netfilter | ||
+ | EOF | ||
+ | |||
+ | sudo modprobe overlay | ||
+ | sudo modprobe br_netfilter | ||
+ | |||
+ | # Setup required sysctl params, these persist across reboots. | ||
+ | cat <<EOF | sudo tee / | ||
+ | net.bridge.bridge-nf-call-iptables | ||
+ | net.ipv4.ip_forward | ||
+ | net.bridge.bridge-nf-call-ip6tables = 1 | ||
+ | EOF | ||
+ | |||
+ | # Apply sysctl params without reboot | ||
+ | sudo sysctl --system | ||
sudo apt-get update | sudo apt-get update | ||
- | sudo apt-get install -y docker.io kubeadm kubelet | + | |
+ | sudo apt-get install -y containerd | ||
| | ||
- | | + | |
- | | + | |
- | | + | |
- | " | + | cat << EOF | sudo tee / |
- | " | + | [Unit] |
- | " | + | |
- | " | + | |
- | }, | + | |
- | " | + | |
- | | + | |
EOF | EOF | ||
| | ||
- | sudo mkdir -p /etc/systemd/system/docker.service.d | + | sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' |
+ | sudo service | ||
| | ||
- | # Enable services and restart docker. | ||
- | sudo systemctl daemon-reload | ||
- | sudo systemctl enable docker | ||
- | sudo systemctl restart docker | ||
- | sudo systemctl enable kubelet.service | ||
| | ||
- | sudo usermod -a -G docker $USER | ||
- | | ||
- | # To ensure that kubelet starts only after docker: | ||
- | cat << EOF | sudo tee / | ||
- | [Unit] | ||
- | After=docker.service | ||
- | EOF | ||
- | |||
# Kubernetes Cluster Init | # Kubernetes Cluster Init | ||
- | sudo kubeadm init --pod-network-cidr=10.244.0.0/ | + | sudo kubeadm init --cri-socket / |
| | ||
mkdir -p $HOME/.kube | mkdir -p $HOME/.kube | ||
Line 56: | Line 62: | ||
kubectl taint nodes --all node-role.kubernetes.io/ | kubectl taint nodes --all node-role.kubernetes.io/ | ||
+ | ====== Настройка манифестов компонентво кубера на слабых маишинках ====== | ||
+ | Я запускаю свой кластер в контейнере на сервере Proxmox, | ||
+ | Чтобы немного облегчить им жизнь и сделать поведение компонентов k8s более предсказуемым нужно увеличить таймауты **livenessProbe**, | ||
+ | Для этого - редактируем манифесты в директории **/ | ||
+ | < | ||
+ | livenessProbe: | ||
+ | failureThreshold: | ||
+ | initialDelaySeconds: | ||
+ | periodSeconds: | ||
+ | timeoutSeconds: | ||
+ | readinessProbe: | ||
+ | failureThreshold: | ||
+ | periodSeconds: | ||
+ | timeoutSeconds: | ||
+ | startupProbe: | ||
+ | failureThreshold: | ||
+ | initialDelaySeconds: | ||
+ | periodSeconds: | ||
+ | timeoutSeconds: | ||
+ | </ | ||
+ | И перезапускаем **kubelet**: | ||
+ | sudo service kubelet restart | ||
====== Изменение редактора kubectl edit ====== | ====== Изменение редактора kubectl edit ====== | ||
sudo awk -v line=' | sudo awk -v line=' | ||
Line 99: | Line 127: | ||
===== Установка сервера метрик kubernetes ===== | ===== Установка сервера метрик kubernetes ===== | ||
https:// | https:// | ||
- | kubectl apply -f https:// | + | kubectl apply -f https:// |
В результате в неймспейсе **kube-system** появится **deployment** **metrics-server** и развернется **pod** **metrics-server-...**.\\ | В результате в неймспейсе **kube-system** появится **deployment** **metrics-server** и развернется **pod** **metrics-server-...**.\\ | ||
В нашем кластере отключен **ssl**, но он включен по-дефолту в **metrics-server**. Поэтому выполняем: | В нашем кластере отключен **ssl**, но он включен по-дефолту в **metrics-server**. Поэтому выполняем: | ||
Line 106: | Line 134: | ||
< | < | ||
Без этого параметра metrics-server не запустится, | Без этого параметра metrics-server не запустится, | ||
- | << | + | < |
Все. Через некоторое время команды **kubectl top** начнут выдавать осмысленную информацию. \\ | Все. Через некоторое время команды **kubectl top** начнут выдавать осмысленную информацию. \\ | ||
Если этого не происходит, | Если этого не происходит, | ||
Line 126: | Line 154: | ||
Проверяем возможность апгрейда: | Проверяем возможность апгрейда: | ||
sudo kubeadm upgrade plan | sudo kubeadm upgrade plan | ||
- | Если у нас хост с **containerd** (без **docker**), | + | Если у нас хост с **containerd** (без **docker**), |
- | | + | kubeadm.alpha.kubernetes.io/ |
+ | если этого не сделать - будет ошибка, поскольку | ||
+ | | ||
Обновляем: | Обновляем: | ||
sudo kubeadm upgrade apply v1.20.9 | sudo kubeadm upgrade apply v1.20.9 | ||
Line 165: | Line 195: | ||
#helm install stable/ | #helm install stable/ | ||
helm upgrade --install nginx -n ingress ingress-nginx/ | helm upgrade --install nginx -n ingress ingress-nginx/ | ||
- | --set controller.service.type=LoadBalancer, | + | --set controller.service.type=LoadBalancer, |
--set controller.addHeaders." | --set controller.addHeaders." | ||
--set controller.addHeaders." | --set controller.addHeaders." | ||
Line 178: | Line 208: | ||
helm upgrade --install nginx -n ingress ingress-nginx/ | helm upgrade --install nginx -n ingress ingress-nginx/ | ||
--set controller.service.type=LoadBalancer \ | --set controller.service.type=LoadBalancer \ | ||
- | --set controller.service.externalTrafficPolicy=Local \ | + | --set controller.service.externalTrafficPolicy=Cluster |
--set controller.service.loadBalancerIP=192.168.77.160 \ | --set controller.service.loadBalancerIP=192.168.77.160 \ | ||
--set controller.addHeaders." | --set controller.addHeaders." | ||
Line 187: | Line 217: | ||
В результате - в неймспейсе **ingress** появится сервис **nginx-ingress-nginx-controller**, | В результате - в неймспейсе **ingress** появится сервис **nginx-ingress-nginx-controller**, | ||
Теперь можно создавать **ingress**' | Теперь можно создавать **ingress**' | ||
+ | ==== Мониторинг nginx ingess ==== | ||
+ | В кластере нужно развернуть **CRD** и оператор **prometheus**: | ||
+ | \\ | ||
+ | **nginx-ingress-monitoring-values.yaml** | ||
+ | < | ||
+ | controller: | ||
+ | metrics: | ||
+ | port: 10254 | ||
+ | enabled: true | ||
+ | service: | ||
+ | annotations: | ||
+ | prometheus.io/ | ||
+ | prometheus.io/ | ||
+ | servicePort: | ||
+ | type: ClusterIP | ||
+ | serviceMonitor: | ||
+ | enabled: true | ||
+ | additionalLabels: | ||
+ | jobLabel: nginx-ingress | ||
+ | namespace: " | ||
+ | namespaceSelector: | ||
+ | matchNames: | ||
+ | - ingress | ||
+ | scrapeInterval: | ||
+ | |||
+ | prometheusRule: | ||
+ | enabled: true | ||
+ | namespace: ingress | ||
+ | rules: | ||
+ | - alert: NGINXConfigFailed | ||
+ | expr: count(nginx_ingress_controller_config_last_reload_successful == 0) > 0 | ||
+ | for: 1s | ||
+ | labels: | ||
+ | severity: critical | ||
+ | annotations: | ||
+ | description: | ||
+ | summary: uninstall the latest ingress changes to allow config reloads to resume | ||
+ | - alert: NGINXCertificateExpiry | ||
+ | expr: (avg(nginx_ingress_controller_ssl_expire_time_seconds) by (host) - time()) < 604800 | ||
+ | for: 1s | ||
+ | labels: | ||
+ | severity: critical | ||
+ | annotations: | ||
+ | description: | ||
+ | summary: renew expiring certificates to avoid downtime | ||
+ | - alert: NGINXTooMany500s | ||
+ | expr: 100 * ( sum( nginx_ingress_controller_requests{status=~" | ||
+ | for: 1m | ||
+ | labels: | ||
+ | severity: warning | ||
+ | annotations: | ||
+ | description: | ||
+ | summary: More than 5% of all requests returned 5XX, this requires your attention | ||
+ | - alert: NGINXTooMany400s | ||
+ | expr: 100 * ( sum( nginx_ingress_controller_requests{status=~" | ||
+ | for: 1m | ||
+ | labels: | ||
+ | severity: warning | ||
+ | annotations: | ||
+ | description: | ||
+ | summary: More than 5% of all requests returned 4XX, this requires your attention | ||
+ | </ | ||
+ | |||
+ | helm upgrade --reuse-values -n ingress nginx ingress-nginx/ | ||
===== Cert manager ===== | ===== Cert manager ===== | ||
- | https://docs.cert-manager.io/ | + | https:// |
- | https://docs.cert-manager.io/en/latest/getting-started/ | + | |
Устанавливаем: | Устанавливаем: | ||
< | < | ||
Line 200: | Line 293: | ||
--namespace cert-manager \ | --namespace cert-manager \ | ||
--create-namespace \ | --create-namespace \ | ||
- | --version v1.5.4 | + | --set installCRDs=true |
- | --set installCRDs=true | + | --version v1.8.2 |
</ | </ | ||
https:// | https:// | ||
Line 291: | Line 384: | ||
# Let's Encrypt will use this to contact you about expiring | # Let's Encrypt will use this to contact you about expiring | ||
# certificates, | # certificates, | ||
- | email: | + | email: |
server: https:// | server: https:// | ||
privateKeySecretRef: | privateKeySecretRef: |