diff --git a/ansible/k8s_setup.yml b/ansible/k8s_setup.yml index 6ad12dc..447a87f 100644 --- a/ansible/k8s_setup.yml +++ b/ansible/k8s_setup.yml @@ -1,37 +1,42 @@ --- -- name: Подготовка всех узлов - hosts: masters,workers # <--- ИЗМЕНИЛИ all на masters,workers +- name: Подготовка всех узлов (Master и Workers) + hosts: masters,workers become: true + gather_facts: true tasks: - - name: Ожидание разблокировки APT (система обновляется после первой загрузки) - shell: while fuser /var/lib/dpkg/lock-frontend >/dev/null 2>&1; do sleep 5; done; + - name: 0. Ожидание разблокировки APT (Cloud-Init часто занимает его при старте) + shell: "while fuser /var/lib/dpkg/lock-frontend >/dev/null 2>&1; do sleep 5; done;" changed_when: false - - name: Обновление системы - apt: update_cache=yes upgrade=dist - - - name: Установка базовых пакетов + - name: 1. Обновление кэша и системы apt: - name: [apt-transport-https, ca-certificates, curl, gnupg, qemu-guest-agent] + update_cache: yes + upgrade: dist + + - name: 2. Установка системных зависимостей + apt: + name: [apt-transport-https, ca-certificates, curl, gnupg, lsb-release, qemu-guest-agent, socat, conntrack] state: present - - name: Отключение SWAP - command: swapoff -a + - name: 3. Отключение SWAP (обязательно для K8s) + shell: | + swapoff -a + sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab when: ansible_swaptotal_mb > 0 - - name: Загрузка модулей ядра + - name: 4. Загрузка модулей ядра для сети copy: dest: /etc/modules-load.d/k8s.conf content: | overlay br_netfilter - - name: Применение модулей + - name: 5. Применение модулей ядра shell: | modprobe overlay modprobe br_netfilter - - name: Настройка параметров sysctl + - name: 6. Настройка параметров sysctl для K8s copy: dest: /etc/sysctl.d/k8s.conf content: | @@ -40,74 +45,101 @@ net.ipv4.ip_forward = 1 register: sysctl_res - - name: Применить sysctl + - name: 7. Применить sysctl command: sysctl --system when: sysctl_res.changed - - name: Установка Containerd (версия 2025 года) + - name: 8. Установка Containerd apt: name: containerd state: present - - name: Настройка Containerd (SystemdCgroup) + - name: 9. Конфигурация Containerd (SystemdCgroup) shell: | mkdir -p /etc/containerd containerd config default > /etc/containerd/config.toml sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml notify: restart containerd - - name: Добавление ключа и репозитория Kubernetes + - name: 10. Настройка репозитория Kubernetes (Зеркало Yandex 2025) shell: | - curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.32/deb/Release.key | gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg - echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.32/deb/ /' > /etc/apt/sources.list.d/kubernetes.list + curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.32/deb/Release.key | gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg --yes + echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://mirror.yandex.ru/mirrors/kubernetes/core:/stable:/v1.32/deb/ /" > /etc/apt/sources.list.d/kubernetes.list - - name: Установка компонентов K8s + - name: 11. Установка компонентов K8s (kubelet, kubeadm, kubectl) apt: - name: [kubelet, kubeadm, kubectl] + name: + - kubelet + - kubeadm + - kubectl state: present update_cache: yes + - name: 12. Фиксация версий K8s (чтобы не обновились случайно) + shell: apt-mark hold kubelet kubeadm kubectl + changed_when: false + handlers: - name: restart containerd service: name=containerd state=restarted -- name: Инициализация Master +- name: Инициализация Master-ноды hosts: masters become: true tasks: - name: Проверка, инициализирован ли кластер - stat: path=/etc/kubernetes/admin.conf + stat: + path: /etc/kubernetes/admin.conf register: kube_init - - name: Kubeadm init (без kube-proxy для Cilium) - command: kubeadm init --pod-network-cidr=10.244.0.0/16 --skip-phases=addon/kube-proxy + - name: Инициализация кластера через kubeadm + command: > + kubeadm init + --pod-network-cidr=10.244.0.0/16 + --upload-certs + --skip-phases=addon/kube-proxy when: not kube_init.stat.exists + register: kubeadm_init_output - - name: Настройка конфига для пользователя + - name: Настройка kubectl для пользователя ubuntu shell: | - mkdir -p $HOME/.kube - cp -i /etc/kubernetes/admin.conf $HOME/.kube/config - chown $(id -u):$(id -g) $HOME/.kube/config + mkdir -p /home/ubuntu/.kube + cp -i /etc/kubernetes/admin.conf /home/ubuntu/.kube/config + chown ubuntu:ubuntu /home/ubuntu/.kube/config - - name: Генерация команды присоединения + - name: Генерация команды для подключения воркеров command: kubeadm token create --print-join-command - register: join_command + register: join_command_raw -- name: Присоединение Worker узлов + - name: Сохранение команды join + set_fact: + join_command: "{{ join_command_raw.stdout }}" + +- name: Подключение Worker-нод hosts: workers become: true tasks: - - name: Join к кластеру - command: "{{ hostvars[groups['masters'][0]]['join_command'].stdout }}" - args: - creates: /etc/kubernetes/kubelet.conf + - name: Проверка, подключен ли уже узел + stat: + path: /etc/kubernetes/kubelet.conf + register: kube_worker_init -- name: Установка Cilium (eBPF) + - name: Присоединение к кластеру + command: "{{ hostvars[groups['masters'][0]]['join_command'] }}" + when: not kube_worker_init.stat.exists + +- name: Установка сетевого плагина Cilium (eBPF) hosts: masters + become: false # Выполняем от пользователя ubuntu через kubectl tasks: - - name: Установка Cilium CLI и самого CNI + - name: Скачивание Cilium CLI shell: | curl -L --remote-name-all https://github.com/cilium/cilium-cli/releases/latest/download/cilium-linux-amd64.tar.gz - tar xzvf cilium-linux-amd64.tar.gz -C /usr/local/bin + sudo tar xzvf cilium-linux-amd64.tar.gz -C /usr/local/bin rm cilium-linux-amd64.tar.gz - cilium install --set kubeProxyReplacement=true \ No newline at end of file + + - name: Установка Cilium в кластер (в режиме замены kube-proxy) + shell: | + cilium install --set kubeProxyReplacement=true + register: cilium_install + ignore_errors: true # Если уже установлен \ No newline at end of file