Организация LVM хранилища в Proxmox VE.
Эта статья описывает длинный и извращенный способ реализации хранения образов дисков в отдельном LVM в Proxmox VE в рамках одного физического диска. Способ интересен не результатом, а самим процессом. Рекомендую провернуть это на выходных.Более легий и безопасный способ описан здесь.
Disclaimer: Материал описанный в статье носит чисто академический характер, и вся операция делается из чисто спортивного интереса. В ходе выполнения задачи есть риск порчи или потери данных. Все это не рекомендуется делать на критически важных серверах. Бэкапы никто не отменял.
Наипростейшим способом реализации возможности запуска виртуальных машины с образами хранящимися в LVM, является вариант добавления еще одного физического диска в систему и создания на нем группы томов.
Но это слишком просто и очевидно. Допустим что операционной системе доступен только один диск и возможностей для добавления нет. Взять пример, когда создан RAID-массив на аппаратном контроллере, и нет возможности добавить дисков в сервер, и RAID массив то переразбить нет возможности (данные то потеряются). А еще сервер далеко и есть только ssh... И нельзя перезагружаться =).
Так вот ниже описывается способ как без перезагрузки создать LVM хранилище для томов в Proxmox VE, в случае когда имеется всего один диск и доступ только по ssh. Своеобразный just for fun!
Суть задачи сводится к следующему:
- существующая группа на имеющемся диске уменьшается;
- из освободившегося места создается новый раздел;
- на новом разделе создается новая группа.
Поэтому будем переносить корневую систему в оперативную память, потом из этой временной корневой фс, отключим наш диск и перечитаем таблицу разделов. Потом вернемся в нашу физическую корневую систему и создадим хранилище. Однако тут есть существенный минус, запущенные виртуальные машины, если таковые имеются - придется остановить. увы.
Более детально алгоритм выглядит так:
- уменьшаем файловую систему в томе который будем урезать (resize2fs);
- урезаем существующий LVM-том pve/data (lvreduce);
- урезаем физический PV раздел /dev/sda2 (pvresize);
- из освободившегося места создаем еще один раздел (parted);
- теперь нужно перечитать таблицу разделов , чтобы ядро узнало об изменениях
- останавливаем сервисы (service);
- завершаем оставшиеся процессы (kill);
- перемонтируем корневой раздел в read-only (mount);
- переносим корень в оперативную память (pivot_root);
- останавливаем lvm (vgchange);
- делаем partprobe;
- pivot'ируемся назад;
- запускаем сервисы;
- создаем LVM сторадж и вирт.машину.
# df -h /var/lib/vz
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/pve-data 152G 36G 117G 24% /var/lib/vz
Уменьшение раздела на лету на данный момент не поддерживается, поэтому придется отмонтировать том. Если же там размещаются образа виртуальных машин, то их (машины) нужно остановить. На данный момент используется 36GB пространства, уменьшим раздел до 40GB. Предварительно нужно выполнить проверку тома.
# umount /var/lib/vz
# e2fsck -f /dev/pve/data
e2fsck 1.41.12 (17-May-2010)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/pve/data: ***** FILE SYSTEM WAS MODIFIED *****
/dev/pve/data: 31/10125312 files (0.0% non-contiguous), 9906950/40471552 blocks
# resize2fs -F -p /dev/pve/data 40G
resize2fs 1.41.12 (17-May-2010)
Resizing the filesystem on /dev/pve/data to 10485760 (4k) blocks.
Begin pass 2 (max = 7770368)
Relocating blocks XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
Begin pass 3 (max = 1236)
Scanning inode table XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
Begin pass 4 (max = 17)
Updating inode references XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
The filesystem on /dev/pve/data is now 10485760 blocks long.
После уменьшения размеров файловой системы, выполняем уменьшение тома (в lvreduce также есть встроенная функция уменьшения фс, но эта функция вобщем то использует все тот же resize2fs)
# lvreduce -r -L40G /dev/pve/data
fsck from util-linux-ng 2.17.2
/dev/mapper/pve-data: clean, 31/2621440 files, 9433051/10485760 blocks
resize2fs 1.41.12 (17-May-2010)
The filesystem is already 10485760 blocks long. Nothing to do!
Reducing logical volume data to 40.00 GiB
Logical volume data successfully resized
Итак, как видно, у нас есть 130GB свободного пространства, которое можно использовать под новый раздел
# pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 pve lvm2 a-- 232.38g 130.38g
Уменьшаем PV том и в качестве значения для нового размера берем сумму размеров всех томов в группе, плюс небольшой запас.
# pvresize --setphysicalvolumesize 110G /dev/sda2
Physical volume "/dev/sda2" changed
1 physical volume(s) resized / 0 physical volume(s) not resized
Смотрим полученный результат. От 130GB осталось всего 8GB.
# pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 pve lvm2 a-- 110.00g 8.00g
Приступаем к переразметке физического диска. Для создания придется "удалить" имеющийся раздел, пересоздать его с новыми границами и затем создать новый раздел (вот они риски потери данных). Дело в том что команда resize не всегда корректно делает свою работу, а в более новых версиях parted её вообще убрали.
(parted) unit MB
(parted) print
Model: ATA WDC WD2500AAKS-0 (scsi)
Disk /dev/sda: 250059MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Number Start End Size Type File system Flags
1 1.05MB 537MB 536MB primary ext3 boot
2 537MB 250059MB 249522MB primary lvm
(parted) rm 2
Error: Partition(s) 2 on /dev/sda have been written, but we have been unable to inform the kernel of the change, probably because it/they are in use. As a result, the old partition(s) will remain in use. You should reboot now before
making further changes.
Ignore/Cancel? I
(parted) mkpart primary 537 111000
Error: Partition(s) 2 on /dev/sda have been written, but we have been unable to inform the kernel of the change, probably because it/they are in use. As a result, the old partition(s) will remain in use. You should reboot now before
making further changes.
(parted) mkpart primary 111001 250059
(parted) quit
Теперь нужно перечитать таблицу разделов. Все бы хорошо, если бы не то, что корневой раздел находится на этом же диске. Поэтому при попытке перечитать таблицу будет вывалена ошибка.
# partprobe
Error: Partition(s) 2 on /dev/sda have been written, but we have been unable to inform the kernel of the change, probably because it/they are in use. As a result, the old partition(s) will remain in use. You should reboot now before making further changes.
Для вступления изменений в силу, проще и быстрее перезагрузиться, но так неинтересно. Здесь начинается авантюра. Сделаем все без перезагрузки.
Для того чтобы сделать это без перезагрузки, нужно остановить все LVM-тома.
Итак сначала останавливаем все сервисы, это необходимо чтобы не один процесс не использовал корневую фс. Сначала прибегаем к штатным средствам, а то что запущено не как сервис - завершаем вручную.
# for i in rsyslog udev ksmtuned atd vzeventd vz ntp ssh rrdcached postfix cron pvedaemon apache2 pvestatd nfs-common portmap; do service $i stop; done
# kill -9 1145 1146 1228 1239 1397
В результате таблица процессов должна выглядеть следующим образом (потоки ядра тут значения не имеют, оставшиеся getty и ssh+bash будут завершены позже).
Теперь отмонтируем все точки куда смонтированы LVM тома (кроме корневого), остался лишь swap.
# swapoff -a
Далее необходимо создать образ в оперативной памяти который станет нашим временным корневым разделом. Размер раздела указывае чуть больше чем объем используемого пространства в корневой фс. Затем переносим туда данные.
# mkdir /mnt/newroot
# mount -t tmpfs -o size=2g tmpfs /mnt/newroot
# rsync -avx / /mnt/newroot
Теперь все готово для перехода во временный корневой раздел. Важной командой является pivot_root, ее важно выполнить именно в том месте и в том виде, чтобы избежать блокировок связанных с текущим каталогом.
# cd /mnt/newroot
# mkdir mnt/oldroot
# pivot_root . mnt/oldroot
В результате корень системы стал отсчитываться относительно старого /mnt/newroot, а старый корень перенесся в текущий /mnt/oldroot. Следующим шагом будет перенос точек монтирования из старого корня в новый.
# mount -n --move /mnt/oldroot/proc /proc
# mount -n --move /mnt/oldroot/dev /dev
# mount -n --move /mnt/oldroot/sys /sys
Оставшиеся точки смотрим через /proc/mounts и переносим аналогичным образом. в моем случае это три каталога
# grep oldroot /proc/mounts
tmpfs /mnt/oldroot/lib/init/rw tmpfs rw,nosuid,relatime,mode=755 0 0
/dev/fuse /mnt/oldroot/etc/pve fuse rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other 0 0
tmpfs /mnt/oldroot tmpfs rw,relatime,size=2097152k 0 0
# mount -n --move /mnt/oldroot/lib/init/rw /lib/init/rw
# mount -n --move /mnt/oldroot/etc/pve /etc/pve
Остается выполнить проверку не используют ли старую корневую систему какие-либо процессы (lsof /mnt/oldroot). Это будет наш процесс sshd, bash, udevd и getty. Эти процессы нужно завершить. В случае sshd и bash нужно перезапустить эти сервисы и просто переподключиться по ssh.
# service udev restart
# service ssh restart
Переподключаемся. Перед тем как выйти, убедитесь что новый инстанс ssh запущен. Иначе миссия будет провалена))). getty можно завершить через killall. После завершения процессов выполняем отмонтирование старой корневой фс
# umount /mnt/oldroot
Если операция завершится ошибкой device is busy, значит какой то процесс продолжает удерживать фс. Следует повторить операцию с lsof, найти процесс и завершить его.
Когда же все точки перенесены и никакие процессы не используют старую корневую фс, можно продолжить с операцией отключения LVM и перечитыванием таблицы разделов.
После отмонтирования старой корневой фс, атрибуты lvm томов должны выглядеть следующим образом (должен отсутствовать флаг "o" свидетельствующий о том что том открыт).
# lvs
LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert
data pve -wi-a--- 40.00g
root pve -wi-a--- 58.00g
swap pve -wi-a--- 4.00g
Отключаем тома в группе и выполняем перезагрузку таблицы в ядре. Ради этих двух команд и затеивалась вся авантюра. А ведь проще и быстрее, было выполнить перезагрузку ))
# vgchange -an pve
0 logical volume(s) in volume group "pve" now active
# partprobe
# vgchange -ay pve
3 logical volume(s) in volume group "pve" now active
Теперь возвращаем все на место, по тому же алгоритму:
- монтируем реальный наш корневой том;
- пивотируемся в него;
- переносим точки монтирования;
- перезапускаем ssh и переподключаемся;
- завершаем процессы удерживающие временную корневую фс;
- отмонтируем временную фс и удаляем ее;
# cd /mnt/newroot/
# mkdir mnt/oldroot
# pivot_root . mnt/oldroot
# mount -n --move /mnt/oldroot/dev /dev
# mount -n --move /mnt/oldroot/proc /proc
# mount -n --move /mnt/oldroot/sys /sys
# grep oldroot /proc/mounts
tmpfs /mnt/oldroot/lib/init/rw tmpfs rw,nosuid,relatime,mode=755 0 0
/dev/fuse /mnt/oldroot/etc/pve fuse rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other 0 0
tmpfs /mnt/oldroot tmpfs rw,relatime,size=2097152k 0 0
# mount -n --move /mnt/oldroot/lib/init/rw /lib/init/rw
# mount -n --move /mnt/oldroot/etc/pve /etc/pve
# killall getty
# service ssh restart
# service udev restart
Снова переподключаемся по ssh и перезапускаем init. Продолжаем с удалением временной корневой фс.
# telinit u
# lsof /mnt/oldroot/
lsof: WARNING: can't stat() fuse file system /etc/pve
Output information may be incomplete.
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sshd 2850 root txt REG 0,21 475896 21847 /mnt/oldroot/usr/sbin/sshd
sshd 2850 root mem REG 0,21 51728 13180 /mnt/oldroot/lib/libnss_files-2.11.3.so
Временную корневую фс все еще удерживает ssh процесс, перед тем как завершить его, удостоверимся что это не наш текущий процесс (сравним pid'ы)
# echo $$
3753
Все нормально, pid'ы отличаются, завершаем процесс и смотрим lsof. Warning можно игнорировать.
# kill 2850
# lsof /mnt/oldroot/
lsof: WARNING: can't stat() fuse file system /etc/pve
Output information may be incomplete.
Все хорошо. удаляем временную фс.
# umount /mnt/oldroot
# rm -rf /mnt/oldroot
Запускаем наши службы, список нужных служб я подкорректировал
# pmxcfs
# for i in rsyslog ksmtuned atd ntp rrdcached postfix cron pvedaemon apache2 pvestatd nfs-common portmap; do service $i start; done
Теперь все вернулось как было, за исключением переразбитого диска. Создаем из нового раздела, новую группу томов.
# pvcreate /dev/sda3
Writing physical volume data to disk "/dev/sda3"
Physical volume "/dev/sda3" successfully created
# vgcreate storage /dev/sda3
Volume group "storage" successfully created
Теперь в веб-интерфейсе создаем новое хранилище. Вкладка Storage в Datacenter, кнопка Add.
Создаем виртуальную машину с образом размещенным в LVM хранилище
Проверяем наше хранилище, как видно там появился новый том.
# lvs storage
LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert
vm-201-disk-1 storage -wi-ao-- 10.00g
На этом можно считать дело сделанным.
На главную "Virtualizing Linux"
Высший пилотаж. Класс!!!
ОтветитьУдалитьсам обалдел когда всё взлетело
УдалитьНу это крутой финт) но не буду.:)
ОтветитьУдалить