Внедрение Kubernetes для динамического создания тестовых окружений презентация

О проекте
сервер онлайн-касс
язык разработки - Kotlin
15 сервисов
~ 35 000 торговых точек
(~1500-2000 RPS)
Свиридов Алексей
teamlead/senior java developer backend-разработки
https://t.me/sviridov_alexey
Об авторе

Зачем нужно создавать тестовые окружения
Проблемы динамического создания окружений существующим стеком
Использование Kubernetes, плюсы и минусы
Установка и настройка Kubernetes
Итоги
Что обсудим?

Предыдущая модель разработки

Проблемы
Для бизнеса
Мелкие фичи долго ждут в RC
Неудобно смотреть превью фич

Проблемы
Для QA
Неизолированное тестирование функционала
Проблемы тестирования при появлении новых изменений

Проблемы
Для разработчиков
Конфликты при merge в staging
Несовместимость структур в автотестах
Помнить о merge из feature-branch в staging

Идеальная модель

Компромиссная модель

Отдельный домен (mk-1010.dev.modulkassa.local)
Сборка сервисов из feature branch
Заменить внешние интеграции моками
Создание изолированной инфраструктуры для сервисов
Развертывание сервисов
Удалить сервисы и инфраструктуру после тестирования
Что нужно для тестирования feature branch

Сборка в docker image
Деплой ansible’ом
Несколько серверов
nginx как LB
Что имеем на момент внедрения

Как развернуть сервисы на несколько серверов
Как избежать конфликта портов на одном сервере
Как заводить внешний трафик в окружение
Как конфигурировать окружения
Трудности создания окружения в ansible

Автоматически распределит сервисы по серверам
Namespace’ы чтобы избежать конфликта портов
Делает LB для сервисов
Не запрещает ходить вовне
Можно задавать конфигурацию в namespace’ах
Проблемы kubernetes на bare metal
Где хранить данные
Как заводить внешний трафик
Kubernetes

apt install kubelet kubeadm kubectl && kubeadm init
Сетевой plugin, маска сети pod’ов --pod-network-cidr=10.244.0.0/16
На что обратить внимание
Отключить swap
Достаточно места на дисках
Уникальные hostname (Ubuntu-1804-bionic-64-minimal)
kubeadm reset
Записать вывод kubeadm init для добавления серверов
Установка

Установить сетевой plugin
Добавить в кластер сервера (kubeadm join)
Доступ извне
NodePort
MetalLB
Маршрутизация трафика внутри кластера
Ingress (nginx, traefik, kong, envoy ...)
ambassador
Настройка

MetalLB

MetalLB

Ingress?

Ingress? Ambassador!

Запускаем трафик в кластер

Отличие деплоя ansible и k8s
ansible
k8s

Удалить namespace k8s
Удалить созданные данные
Удалить домен
Удаляем окружение

Значительно сократилось количество конфликтов
Сократилось время вывода мелких фич/фиксов в production
Более надежные результаты тестирования
Технология доступная, практические результаты достигаются очень быстро
Результаты и выводы