• Longhorn не поддерживает изменение размера томов на лету, поэтому том должен быть отключен (Detached), а следовательно под, использующий том, должен быть удален. А перед этим нужно удалить StatefulSet или Deployment.
• Операторы Kubernetes постоянно отслеживают и исправляют состояние, например, создают удаленные вручную StatefulSet или Deployment.
• StatefulSet не поддерживает изменение volumeClaimTemplates.

Решение для StatefulSet на примере kube-prometheus-stack (Prometheus Operator) и ArgoCD

1. Отключить или настроить все операторы, выполняющие согласование (reconciliation) объектов Kubernetes, с которыми связан целевой том:

   1. Отключить автоматическую синхронизацию и исправление приложения в ArgoCD: в коде удалить блок Application.spec.syncPolicy и отправить в репозиторий, дождаться синхронизации

   2. Уменьшить реплики Prometheus Operator до 0

      kubectl -n observability scale deployment kps-operator --replicas 0

2. Удалить StatefulSet, но оставить зависимые объекты (Pod, PersistentVolumeClaim)

   kubectl -n observability delete statefulsets.apps prometheus-kps-prometheus --cascade=orphan

3. Удалить Pod, тем самым переведя том Longhorn в состояние Detached

   kubectl -n observability delete pod prometheus-kps-prometheus-0

4. Отредактировать PersistentVolumeClaim, указав новый размер в spec.resources.requests.storage

   kubectl -n observability edit pvc prometheus-kps-prometheus-db-prometheus-kps-prometheus-0

5. Дождаться применения изменений драйвером Longhorn

   kubectl -n observability describe pvc prometheus-kps-prometheus-db-prometheus-kps-prometheus-0

     Events:
       Type     Reason                  Age   From                                 Message
       ----     ------                  ----  ----                                 -------
       Warning  ExternalExpanding       34s   volume_expand                        Ignoring the PVC: didn't find a plugin capable of expanding the volume; waiting for an external controller to process this PVC.
       Normal   Resizing                34s   external-resizer driver.longhorn.io  External resizer is resizing volume pvc-a4de8e0e-c664-4f60-be90-ddb0207eae7f
       Normal   VolumeResizeSuccessful  22s   external-resizer driver.longhorn.io  Resize volume succeeded
   

6. Задать в коде новый размер PersistentVolumeClaim в prometheusSpec.storageSpec.volumeClaimTemplate.spec.resources.requests.storage

7. Вернуть в коде Application.spec.syncPolicy, отправить в репозиторий, запустить синхронизацию в ArgoCD

8. Вернуть исходное количество реплик оператора из п.1, в результате чего оператор пересоздаст удаленный ранее StatefulSet

   kubectl -n observability scale deployment kps-operator --replicas 1

Решение для Deployment

1. Удалить в коде Application.spec.syncPolicy, отправить в репозиторий, дождаться синхронизации ArgoCD
2. Удалить Deployment
3. Задать в коде новый размер PersistentVolumeClaim, отправить в репозиторий, запустить синхронизацию только ресурса PersistentVolumeClaim в ArgoCD, а не всего приложения
4. Дождаться применения изменений драйвером Longhorn
5. Вернуть в коде Application.spec.syncPolicy, отправить в репозиторий, запустить синхронизацию в ArgoCD

Ссылки по теме

• https://longhorn.io/docs/1.3.0/volumes-and-nodes/expansion/
• https://itnext.io/resizing-statefulset-persistent-volumes-with-zero-downtime-916ebc65b1d4

Организовать доступ через интернет к серверу, который находится за NAT на неподконтрольном маршрутизаторе с динамическим серым внешним IP, соответственно проброс портов с этого маршрутизатора невозможен. Перефразируя в реальный пример: нужно открывать сайт, размещенный на сервере в здании московской школы, через интернет. Интернет в здании предоставляется по госконтракту, оборудование сети школой не контролируется.

Решить эту задачу можно с помощью проброса портов через VPN-туннель между самым дешевым VPS в интернете с публичным IP-адресом и сервером/маршрутизатором внутри локальной сети. Туннель будет на основе WireGuard - простого, современного и быстрого VPN-протокола с минимумом настроек без возни с сертификатами и шифрами (привет, OpenVPN).

В статье используются виртуальные машины на Debian 9:

1. wg-lab-01, 192.168.1.101 - сервер WireGuard «VPS в интернете»
2. wg-lab-02, 192.168.1.102 - клиент WireGuard «роутер за NAT»
3. wg-lab-03, 192.168.1.103 - веб-сервер

Пусть ВМ wg-lab-01 имеет публичный IP-адрес и будет использоваться как сервер Wireguard (к нему будут подключаться клиенты) и маршрутизатор для проброса портов на ВМ wg-lab-02, используемую как клиент Wireguard (будет инициализировать подключение к серверу) и маршрутизатор. С ВМ wg-lab-02 те же порты будут перенаправляться на ВМ wg-lab-03, на которой запущен веб-сервер nginx, а в настройках сетевого подключения IP-адрес ВМ wg-lab-02 указан в качестве шлюза по умолчанию (Default gateway).

Трафик должен проходить следующим образом:

посетитель сайта <-> интернет <-> wg-lab-01 <-> [туннель wireguard] <-> wg-lab-02 <-> wg-lab-03

Для упрощения конфигурации, весь трафик wg-lab-02 идет через туннель, а также все ВМ запущены внутри одного VLAN.

Настройка туннеля и маршрутизации

Все настройки выполняются через SSH от имени пользователя root.

1. На wg-lab-01 и wg-lab-02

# Установить wireguard
echo "deb http://deb.debian.org/debian/ unstable main" > /etc/apt/sources.list.d/unstable-wireguard.list;
printf 'Package: *\nPin: release a=unstable\nPin-Priority: 90\n' > /etc/apt/preferences.d/limit-unstable;
apt update && apt list --upgradable;
apt full-upgrade;
apt install wireguard tcpdump iptables-save;
# Включить маршрутизацию
sed -i 's/^#net.ipv4.ip_forward=1/net.ipv4.ip_forward=1/' /etc/sysctl.conf;
sysctl -p;
reboot;
# Сгенерировать ключи wireguard
(umask 077 && printf "[Interface]\nPrivateKey = " | tee /etc/wireguard/wg0.conf > /dev/null);
wg genkey | tee -a /etc/wireguard/wg0.conf | wg pubkey | tee /etc/wireguard/publickey;

2. На wg-lab-01

Отредактировать файл конфигурации nano /etc/wireguard/wg0.conf

[Interface]
Address = 10.255.255.1/24
SaveConfig = true
PostUp = iptables -A FORWARD -i wg0 -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i wg0 -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE
ListenPort = 51820
PrivateKey = В ФАЙЛЕ КЛЮЧ УЖЕ ДОЛЖЕН БЫТЬ

[Peer]
PublicKey = публичный ключ с wg-lab-02 # см. в файле /etc/wireguard/publickey
AllowedIPs = 10.255.255.2/32
PersistentKeepalive = 10

3. На wg-lab-02

Отредактировать файл конфигурации nano /etc/wireguard/wg0.conf

[Interface]
Address = 10.255.255.2/24
SaveConfig = true
PostUp = iptables -A FORWARD -i eth0 -j ACCEPT; iptables -t nat -A POSTROUTING -o wg0 -j MASQUERADE
PostDown = iptables -D FORWARD -i eth0 -j ACCEPT; iptables -t nat -D POSTROUTING -o wg0 -j MASQUERADE
PrivateKey = В ФАЙЛЕ КЛЮЧ УЖЕ ДОЛЖЕН БЫТЬ

[Peer]
Endpoint = 192.168.1.101:51820
PublicKey = публичный ключ с wg-lab-01 # см. в файле /etc/wireguard/publickey
AllowedIPs = 0.0.0.0/0
PersistentKeepalive = 10

4. На wg-lab-01 и wg-lab-02

Включить автозапуск интерфейса wg0

systemctl enable wg-quick@wg0;
wg-quick up wg0

Проверить, что туннель и маршрутизация работают (на wg-lab-02)

• В выводе команды wg присутствует строка latest handshake
• Адрес интерфейса wg0 на сервере wg-lab-01 пингуется ping 10.255.255.1
• В выводе команды traceroute ya.ru первый прыжок на 10.255.255.1
• Если бы настраивали через реальный VPS в интернете, то команда host myip.opendns.com resolver1.opendns.com показывала бы IP-адрес VPS, а не текущего подключения к интернету

Настройка веб-сервера

На wg-lab-03

1. Установить и запустить веб-сервер nginx командой apt install nginx, или, если установлен Docker, командой docker run –name nginx -d -p 80:80 –restart unless-stopped nginx:alpine
2. Проверить доступность веб-сервера по текущему IP-адресу, полученному через DHCP (см. ip a)
3. Настроить статический IP-адрес и указать шлюз по умолчанию IP сервера wg-lab-02, перезагрузить для применения настроек

Проброс портов

На wg-lab-01

iptables -t nat -A PREROUTING -d 192.168.1.101/32 -p tcp -m multiport --dports 80,443 -j DNAT --to-destination 10.255.255.2

На wg-lab-02

iptables -t nat -A PREROUTING -d 10.255.255.2/32 -p tcp -m multiport --dports 80,443 -j DNAT --to-destination 192.168.1.103

Настроенные таким образом правила iptables работают до перезагрузки. Чтобы сделать правила постоянными, нужно либо сохранить их с помощью команды iptables-save > /etc/iptables/rules.v4, либо соответствующим образом дополнить строки PostUp и PostDown в файлах /etc/wireguard/wg0.conf на обоих ВМ с Wireguard, чтобы правила применялись при активации интерфейса wg0.

Проверить активные правила можно командой iptables -t nat -L -n -v

Проверить, что проброс портов работает

В браузере открыть IP-адрес wg-lab-01 (192.168.1.101) и убедиться, что открывается страница с веб-сервера на wg-lab-03.

Ссылки

• https://angristan.xyz/how-to-setup-vpn-server-wireguard-nat-ipv6/
• https://nfalcone.net/blog/wireguard-vpn-debian-server/
• https://wiki.debian.org/WireGuard
• https://wiki.debian.org/iptables
• http://linux-ip.net/html/nat-dnat.html
• https://www.revsys.com/writings/quicktips/nat.html
• https://wiki.yobi.be/index.php/Wireguard
• https://www.ericlight.com/wireguard-part-two-vpn-routing.html
• https://www.ckn.io/blog/2017/11/14/wireguard-vpn-typical-setup/
• https://bneijt.nl/blog/post/wireguard-vpn-using-an-edgerouter-x/
• https://andrew.dunn.dev/posts/wireguard-from-your-isp/

За время работы у меня собралось несколько полезных формул для обработки ячеек с ФИО и мобильными телефонами, которые постоянно находят своё применение.

Как в Экселе

• …сократить ФИО до инициалов (Фамилия И.О.)
  =(ЛЕВСИМВ(A1;ПОИСК(" *";A1)-1)&" "&ПСТР(A1;ПОИСК(" *";A1)+1;1)&"."&ПСТР(A1;ПОИСК(" *";A1;ПОИСК(" *";A1)+1)+1;1)&".")
• …переставить первое слово в ячейке в конец (ФИО → ИОФ)
  =СЖПРОБЕЛЫ(ПРАВСИМВ(A1;ДЛСТР(A1)-НАЙТИ(" ";A1))&" "&ЛЕВСИМВ(A1;НАЙТИ(" ";A1)))
• …оставить 1 слово с начала строки (Фамилия)
  =ЛЕВСИМВ(A1;ПОИСК(" ";A1)-1)
• …оставить 2 слова с начала строки (Фамилия Имя или Имя Отчество)
  =ЛЕВСИМВ(A1;ПОИСК(" ";A1;ПОИСК(" ";A1)+1)-1)
• …расставить дефисы в десятизначном телефонном номере (89991234567 → 8-999-123-45-67)
  =ЛЕВСИМВ(A2;1)&"-"&ЛЕВСИМВ(ПРАВСИМВ(A2;10);3)&"-"&ЛЕВСИМВ(ПРАВСИМВ(A2;7);3)&"-"&ЛЕВСИМВ(ПРАВСИМВ(A2;4);2)&"-"&ЛЕВСИМВ(ПРАВСИМВ(A2;2);2)

Скачать таблицу с примерами