https://otus.ru/certificate/a3bb5b94f88e4582a53f606a1f1ab0ae/

Разворачивание кластера в GCP:

• Deploy Kubernetes Load Balancer Service with Terraform on GCP
• Modular Load Balancing with Terraform
• Как вручную запустить кластер (можно делать из ansible) в GCP - https://docs.projectcalico.org/getting-started/kubernetes/self-managed-public-cloud/gce
• Как создавать машинки из terraform: https://www.nebulaworks.com/blog/2019/04/22/simplify-your-gce-instance-bootstrapping-with-terraform/ https://linux-notes.org/rabota-s-google-cloud-platform-compute-instance-i-terraform-v-unix-linux/

• Как запустить managed кластер GKE - https://www.padok.fr/en/blog/kubernetes-google-cloud-terraform-cluster
• Какое-то самописное решение - https://medium.com/searce/kubernetes-deployment-on-google-compute-engine-using-terraform-8d6075cf4d3f
  
• Специальный модуль для terraform: https://github.com/terraform-google-modules/terraform-google-k8s-gce
• Самописное решение Terraform + Ansible https://medium.zenika.com/a-custom-kubernetes-cluster-on-gcp-in-7-minutes-with-terraform-and-ansible-75875f89309e

wget https://releases.hashicorp.com/terraform/0.13.1/terraform_0.13.1_linux_amd64.zip
unzip ./terraform_0.13.1_linux_amd64.zip 
sudo mv ./terraform /usr/local/bin/terraform

echo "deb https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get -y upgrade && sudo apt-get -y install google-cloud-sdk kubectl

gcloud init

gcloud выдаст ссылку, которую надо будет открыть в браузере, согласиться выдать разрешения и скопировать verification code.
Выбираем зону 1 (us-east1-b) и тип машин будем юзать e2-standard-2 (2vCPU, 8GB RAM).
Включаем необходимые APIшки:

gcloud services enable compute.googleapis.com
gcloud services enable servicenetworking.googleapis.com
#gcloud services enable cloudresourcemanager.googleapis.com
#gcloud services enable container.googleapis.com

Теперь можно получить токен, с которым будем ходить в GCP.

gcloud auth print-access-token

И в дальнейшем полученную строку будем юзать в качестве значения параметра access_token в конфиге terraform-провайдера google.

• Поднимаются виртуалки с помощью terraform по списку.
• Между виртуалками есть сеть и у каждой есть внешний IP.
• Формируется inventory-файл для kubespray и нормально разворачивается кластер.
• Цепляются пара дисков (один монтируется в /var/lib/docker, а второй - /var/lib/data - для PersistentVolumes)
• Протестировал провижининг OpenEBS Local PV Hostpath. Вроде работает OpenEBS - хороший вариант В итоге - включил провижининг, который идет в комплекте с kubespray - rancher/local-path-provisioner (local_path_provisioner_enabled: true)
• Развернул ELK (с помощью оператора и чартика).

• Настроить DNS-зону https://cloud.google.com/dns/docs/zones Зону ucent.ru завел в GCP.
• Настроить ingress. По дефолту ставится istio, который и может быть ingress'ом. https://habr.com/ru/company/southbridge/blog/441616/ https://istio.io/latest/docs/tasks/traffic-management/ingress/ingress-control/
• Настроить CertManager
• Настроить выгрузку в docker registry собранных образов. Выгрузка работает (в docker registry в кластере). Нужно приделать сертификат для registry. https://kubernetes.io/docs/tasks/tls/managing-tls-in-a-cluster/
• Создать pipeline trigger, для того, чтобы можно было запустить пайплайн из terraform.
• Разобраться с ингрессом.

• https://cloud.google.com/solutions/partners/deploying-gitlab-anthos-gke-on-prem-cicd-pipeline
• https://medium.com/@Joachim8675309/building-gke-with-terraform-869df1cd3f41 ; https://github.com/darkn3rd/blog_tutorials/tree/master/kubernetes/gke_2_provision_terraform https://habr.com/ru/post/352644/ https://habr.com/ru/post/352644/
• Развернуть Prometheus

По сетевой части нашлось вот что: https://github.com/Wi3ard/k8s-nginx-ingress/blob/gke-gdns-certmgr-wildcard/main.tf

• Нужно сделать между ними балансировщик. https://linux-notes.org/rabota-s-google-cloud-platform-compute-forwarding-rule-i-terraform-v-unix-linux/

https://www.terraform.io/docs/providers/google/r/compute_global_forwarding_rule.html#

• Нужно прописывать DNS-записи для всех сервисов
• Развернуть Ingress (NodePort)
• Развернуть CertManager
• Нужно забрать оттуда admin.conf от кластера кубера. Сделал, но наверное не надо. api-сервер слушает на локальном адресе.

Создадим Service Account:

gcloud iam service-accounts create otus-course-project --display-name "Otus Course Project Service Account"

И посмотрим какие с ней связаны ключи:

gcloud iam service-accounts keys list --iam-account=otus-course-project@otus-kuber-course.iam.gserviceaccount.com

Сгенерируем новый (https://cloud.google.com/sdk/gcloud/reference/iam/service-accounts/keys/create):

gcloud iam service-accounts keys create ./otus-kubernetes-course.yaml --iam-account=otus-course-project@otus-kuber-course.iam.gserviceaccount.com

В результате - получим файлик otus-kubernetes-course.yaml, который уже может быть использован terraform.
И потом активируем его:

gcloud auth activate-service-account otus-course-project@otus-kuber-course.iam.gserviceaccount.com --key-file=./otus-kubernetes-course.yaml

Также можно привязать уже имеющийся файлик примерно вот так: https://cloud.google.com/sdk/gcloud/reference/auth/activate-service-account .
В дальнейшем переключаться между аккаунтами можно так:

gcloud config set account otus-course-project@otus-kuber-course.iam.gserviceaccount.com