Proxmox 5: Тем временем Proxmox VE обновился до версии 5.0 / Хабр

Обновление Proxmox 5 до 6

16-го июля 2019 года вышло обновление популярной системы виртуализации Proxmox VE 6.0. Я решил, не откладывая в долгий ящик, выполнить обновление Proxmox с версии 5 до 6. Испытуемым выступил мой тестовый гипервизор для домашней лаборатории.

Если у вас есть желание научиться работать с роутерами микротик и стать специалистом в этой области, рекомендую по программе, основанной на информации из официального курса MikroTik Certified Network Associate. Курс стоящий, все подробности читайте по ссылке. Есть бесплатные курсы.

Изменения в Proxmox 6.0

Подробно об изменениях в Proxmox ve 6.0 можно посмотреть в официальном Roadmap. На opennet сделан перевод основных нововведений. Я внимательно все прочитал, но особо не заметил кардинальных изменений, которые обычно ждешь от новой ветки. Из основных изменений там вот что:

1. Перешли на кодовую базу Debian 10 Buster.
2. Все компоненты (QEMU, LXC, ZFS, Ceph и т.д.) обновили до более свежих версий.
3. Небольшие изменения в gui и некоторого функционала.

Тем не менее, я решил обновить proxmox, чтобы сильно не отставать по версиям. Обычно, если отстаешь по обновлениям, потом все труднее и ленивее наверстывать. Больше шанс, что будут проблемы, если прыгаешь в обновлениях с большей разницей в версиях. Лучше все делать своевременно.

Обновление 5-й версии Proxmox до 6-й

Процесс обновления Proxmox c 5-й версии на 6-ю практически тривиален и подробно описан на официальном сайте — https://pve.proxmox.com/wiki/Upgrade_from_5.x_to_6.0. Я обновлял одиночный сервер, все получилось без проблем. В конце покажу видео, где человек обновляет кластер и у него тоже все получилось с первого раза по предложенной инструкции.

Обновлять буду следующий сервер — Proxmox 5.4-13.

Первым делом нужно обновить гипервизор до самой последней версии. Можно это сделать как через web интерфейс, так и через консоль командами:

# apt update && apt dist-upgrade

Дальше в консоли запускаем утилиту pve5to6. Она ничего не изменяет, просто проверяет proxmox на возможность обновления и выводит информацию.

Я запустил уже на обновленном сервере, так как забыл сохранить вывод до обновления. Но у вас будет примерно то же самое. У меня были 2 предупреждения:

• Система не обновлена до последней версии
• Работали виртуалки

Я запустил обновление, выключил виртуалки. Утилита написала, что все в порядке, можно обновляться. Дальше в файле с репозиториями /etc/apt/sources.list заменяем все упоминания stretch на buster. Можно это сделать вручную, либо автоматически через sed.

# sed -i 's/stretch/buster/g' /etc/apt/sources.list

У меня не были подключены никакие сторонние репозитории, плюс отключен репозиторий enterprise, так что мне больше ничего не пришлось делать.

После изменения списка репозиториев, обновляем кэш пакетов и ставим обновление proxmox 6.0.

# apt update && apt dist-upgrade

Если делаете удаленно по ssh, обязательно запускайте команду в screen или tmux. Если этого не сделать и оборвется связь, получите неработающий сервер, который хоть и можно будет починить, но придется повозиться. Я обновлял через ssh, все прошло без проблем.

После запуска обновления получил предупреждение.

В процессе обновления был еще вопрос на разрешение перезапуск служб. Я ответил положительно.

Еще было несколько вопросов про изменение конфигурационных файлов. Я везде ответил Not, то есть оставил старые конфиги, не заменил новыми. После завершения обновления получил новую версию Proxmox 6.

На глаз никаких изменений не заметил. Полез внимательно читать changelog, нашел там некоторые изменения в gui. Например, просмотр syslog изменился. Есть изменения по ceph, но я его не использую.

На этом все по обновлению proxmox до 6-й версии.

Заключение

Не понравилась статья и хочешь научить меня администрировать? Пожалуйста, я люблю учиться. Комментарии в твоем распоряжении. Расскажи, как сделать правильно!

В конце, как и обещал, видео с обновлением кластера Proxmox. Мне понравился формат и подача автора. С интересом посмотрел. Там же наглядно показано, как выполняется живая миграция виртуальных машин с одной ноды на другую. В итоге, весь кластер обновился до 6-й версии вообще без простоя. Отличный результат.

Видео обновления кластера proxmox

Помогла статья? Подписывайся на telegram канал автора

Анонсы всех статей, плюс много другой полезной и интересной информации, которая не попадает на сайт.

Онлайн курс по Linux

Если у вас есть желание научиться строить и поддерживать высокодоступные и надежные системы, рекомендую познакомиться с онлайн-курсом «Administrator Linux. Professional» в OTUS. Курс не для новичков, для поступления нужны базовые знания по сетям и установке Linux на виртуалку. Обучение длится 5 месяцев, после чего успешные выпускники курса смогут пройти собеседования у партнеров.

Что даст вам этот курс:

• Знание архитектуры Linux.
• Освоение современных методов и инструментов анализа и обработки данных.
• Умение подбирать конфигурацию под необходимые задачи, управлять процессами и обеспечивать безопасность системы.
• Владение основными рабочими инструментами системного администратора.
• Понимание особенностей развертывания, настройки и обслуживания сетей, построенных на базе Linux.
• Способность быстро решать возникающие проблемы и обеспечивать стабильную и бесперебойную работу системы.

Проверьте себя на вступительном тесте и смотрите подробнее программу по .

PROXMOX 5 установка и настройка

Установим систему виртуализации Proxmox 5 версии на Raid1 в операционной системе Debian 9. В качестве гипервизора система использует KVM и LXC. Возможность виртуализировать все популярные операционные системы. Удобная и понятная панель управления.

Введение

Использовать систему в работе удобно и за все время использования она меня не подводила. Начинал использование с 4 версии, но вышла 5 версия с очень удобными и функциональными изменениями. Сразу после выхода новой версии любого программного продукта я не спешу обновляться и всегда жду в районе 3 месяцев, так я избавляю себя от ошибок которые всегда есть при выходе любой новой версии. На сайте разработчика есть инструкции как производить обновление на новую версию. Вариант установки как с готового образа iso так и ручная установки на Debian.

Никогда не устанавливайте и не загружайте систему разными сервисными службами, на которой установлен Proxmox, если не хотите иметь проблем при обновлении! Отдавайте под раздел boot минимум 500 мегабайт если не хотите получать ошибку о нехватке места при обновлении ядра!

В моем случае я как раз нарушил оба этих правила и обновить систему не удалось.

Сильно установка и подход к варианту использования мной в новой версии не отличается от предыдущей. Перейдите по ссылке вы найдете там все нужную информацию.

В этой статье я расскажу об моих нюансах при настройке, более расширено поведаю про вариант моей настройки и за что именно мне так нравится работать с этой системой.

Установка Proxmox 5 с нюансами

В дальнейшем будем исходить из того что:

• Настроена пересылка почты на внешний адрес,
• Установлен SWAP раздел в виде файла,
• Используется mdadm raid1,
• Используется два сетевых интерфейса.

Инструкция по установке от разработчика Proxmox

Изучив инструкцию разработчика и мою предыдущую статью у вас придет понимание о том как необходимо правильно устанавливать систему виртуализации.

Подключение старых Raid 1 масивов

В моем случае в старой системе было 2 диска на которых было 2 массива RAID1. После подключения дисков в Proxmox 5 выведем информацию о массивах:

cat /proc/mdstat
= вывод команды =
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 sdc1[0] sdd1[1]
 972668928 blocks super 1. 2 [2/2] [UU]
 bitmap: 0/8 pages [0KB], 65536KB chunk

md127 : active (auto-read-only) raid1 sdc2[0] sdd2[1]
 980582464 blocks super 1.2 [2/2] [UU]
 bitmap: 0/8 pages [0KB], 65536KB chunk

md1 : active raid1 sdb2[1] sda2[0]
 244066304 blocks super 1.2 [2/2] [UU]
 bitmap: 1/2 pages [4KB], 65536KB chunk

md0 : active raid1 sdb1[1] sda1[0]
 975296 blocks super 1.2 [2/2] [UU]
 
unused devices: <none>

Видим два массива md126 и md127. Такую нумерацию дала система по умолчанию. Меня это не совсем устраивает и я переименую их в md2 и md3 соотвественно. Переименование осуществляем стандартным способом. Останавливаем и удаляем массив:

mdadm --stop /dev/md126
mdadm --remove /dev/md126

Собираем с новым именем:

mdadm --assemble /dev/md2 /dev/sd[cd]2 --update=name

Добавляем в /etc/mdadm/mdadm.conf нужную информацию:

mdadm --examine --scan | grep 'md/2' >> /etc/mdadm/mdadm.conf

Проверим выполненные действия:

cat /etc/mdadm/mdadm.conf
= вывод команды =
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md/0 metadata=1.2 UUID=d2f35a7c:c01935c3:4518c36a:fa9bab1c name=proxmox:0
ARRAY /dev/md/1 metadata=1.2 UUID=30b2043b:d51bfbca:a663c213:07fccdbe name=proxmox:1
ARRAY /dev/md/2 metadata=1.2 UUID=50b54af3:041683d2:376764c3:a9a3b1ec name=proxmox:2

Все хорошо. Мы изменили название массива, но после перезагрузки вы удивитесь что названия не изменились и это особенность системы Proxmox.

При добавлении ранее собранных массивов RAID в систему Proxmox 5 необходимо обновить ядро системы! Если это не сделать то после перезагрузке названия изменятся на те что были до изменения!

Обновим ядро выполнив необходимую команду:

update-initramfs -u

Все другие массивы делаем аналогичным способом.

Настройка сетевых интерфейсов

Настройка сетевых интерфейсов это отдельная тема и сильно вникать в детали я не буду. Расскажу как использую я и что считаю самым удобным и оптимальным при использовании. В случае использования одного сетевого интерфейса все просто. Создаете Bridge и все виртуальные машины будут в одной локальной сети. При использовании двух сетевых интерфейсов варианты реализации увеличиваются. В моем случае сетевой шлюз расположен на виртуальной машине и весь сетевой трафик идет через него. Для такого варианта реализации на обоих сетевых интерфейсах создаем Bridge. Вот так выглядят мои сетевые настройки в панели управления Proxmox 5:

На всякий случай, для понимания, приведу пример как это выглядит в файле настроек сетевых интерфейсов:

cat /etc/network/interfaces
= вывод команды =
auto lo
iface lo inet loopback

source /etc/network/interfaces.d/*

iface enp5s0f0 inet manual

iface enp5s0f1 inet manual

auto vmbr0
iface vmbr0 inet static
 address 192.168.0.100
 netmask 255.255.255.0
 gateway 192.168.0.106
 bridge_ports enp5s0f0
 bridge_stp off
 bridge_fd 0

auto vmbr1
iface vmbr1 inet static
 address 192.168.1.100
 netmask 255.255.255.0
 bridge_ports enp5s0f1
 bridge_stp off
 bridge_fd 0

Распишу что к чему в этой настройке:

• enp5s0f1 — физическая сетевая карта в которую вставлен провод от внешней сети с которой получаю интернет от роутера Asus,
• vmbr1 — Bridge сетевой карты enp5s0f1 которому назначен сетевой адрес 192. 168.1.100 и другие необходимые параметры,
• enp5s0f0 — физическая сетевая карта которая работает с внутренней локальной сетью,
• vmbr0 — Bridge сетевой карты enp5s0f0 которому назначен сетевой адрес 192.168.0.100 и другие необходимые параметры.

Обращаю внимание что в на одной из виртуальных машин настроен шлюз и только в таком варианте возможна работа всех виртуальных машин и реальных компьютеров в данном варианте настройки сети.

При настройке виртуальной машины в качестве шлюза надо добавить два сетевых устройства и назначить каждой свой Bridge и выполнить необходимые настройки для шлюза. Будут вопросы внизу есть комментарии на которые я всегда отвечаю.

Проброс портов в локальную сеть с интернета

Немного расскажу о пробросе необходимых портов на нужную машину в локальной сети из интернета при моем варианте организации сетевых настроек. Проброс складывается из двух действий:

1. Пробрасываем порт с роутера Asus на машину с установленным шлюзом,
2. На самом шлюзе пробрасываем порт до нужной машины.

Останавливаться на настройке самого шлюза не буду. Скорей всего расскажу об этом в своих следующих статьях.

Прелести работы с Proxmox 5

Коротко пробегусь по основным моментам в работе с Proxmox 5 дабы вы смогли оценить всю прелесть использования этой системы.

Подключение новых хранилищ

По умолчанию после установке в системе находится всего одно хранилище. При желании вы можете подключить и другие хранилища разными популярными способами. Выбор вариантов удовлетворит почти любые требования. Для каждого хранилища помимо указывания названия, места и способа расположения есть два параметра:

1. Содержимое — выбор какие именно типы файлов будут хранится в этом хранилище, что сильно упрощает варианты выбора при дальнейшей настройке,
2. Макс. резерв. копий — в случае использования хранилища для резервных копий выставляете количество копий.

Вот так всё это выглядит в панели управления:

Подключение хранилища NFS

Для бэкапов виртуальных машин и образов ISO  мне удобно использовать сервер настроенный специально для всевозможных бэкапов. Перейдите по этой ссылке и узнаете про настройку сервера NFS.

В Proxmox достаточно добавить хранилище NFS и указать необходимые параметры.

После указания ip адреса в случае правильной работы сервера NFS путь покажется в выборе.

Укажите необходимое количество резервных копий!

Загрузка образов и шаблонов

Перед тем как приступить к установке виртуальной машины или контейнера LXC необходимо их туда загрузить.

Образы ISO вы можете грузить любых операционных систем! Контейнеры LXC лучше использовать из предложенных вариантов. Только стандартные шаблоны LXC будут стабильно работать в системе.

Выбираем хранилище, переходим в «Содержимое» в случае с загрузкой iso выбираем «Загрузить». Для контейнеров выбираем «Шаблоны». Вот так выглядит вариант загрузки ISO образа:

После загрузки нажимаем «Создать VM» или «Создать СT»

Создание виртуальной машины и LXC

Рассматривать разницу между виртуальной машиной и контейнером LXC в данной статье я не буду. У каждого варианта есть как свои плюсы так и минусы. Просто имейте ввиду что это возможно а что вам подходит больше вы поймете когда изучите данный вопрос.

Не буду рассказывать про установку LXC опишу установку виртуальной машины так как такой вариант максимально часто используется. Установка производится в несколько этапов. На первом этапе необходимо указать ID машины и название. На практике для удобства я назначаю id машины такой же какой в последствии будет ip адрес машины. При таком варианте мне всегда просто понять как подключится к машине по ssh. В имени я всегда указываю какую роль выполняет машина и какая операционная система.

На следующем шаге нам необходимо выбрать iso образ требуемой операционной системы.

Выбор вариантов установки операционных систем радует.

К выбору варианта жесткого диска надо отнестись серьезно и советую перед выбором ознакомится с вариантами вида работы виртуального диска его размера и формата!

Для систем Linux я обычно использую вариант как показан ниже.

CPU мы выбираем на свое усмотрение и потребности, но что самое приятное как в выборе CPU так и памяти в следствии, это что всегда можно изменить исходя из загрузки и указать оптимальные параметры.

Память можно указать как жестко таки и задать диапазон в зависимости от специфики виртуальной машины. Использую оба варианта и проблем не возникает.

Сетевые параметры тоже не вызывают больших вопросов и выбираются в зависимости от того как вы настроили свой гипервизор на базе Proxmox 5.

На финальной стадии смотрим все параметры что выбрали и если всё устраиваем жмем «Завершить» и машина создастся в очень короткий срок.

Вот такими четкими и понятными шагами мы создали виртуальную машину и что меня всегда радует — все параметры можно изменить. Сложность может возникать только в работе с жесткими дисками, но это уже совсем другая пляска.

Консоль работы с виртуальными машинами

Первое что нам потребуется при работе с виртуальными машинами это монитор для работы с машиной. Грубо говоря консоль это монитор нашей виртуальной машины который мы можем использовать двух типов. Два типа варианта консоли для работы с виртуальными машинами или CLX:

• В окне самой панели управления, но это не всегда удобно так как зависит от разрешения экрана

• Вывод в отдельном окне по нажатию кнопки «Консоль» сверху справа и с последующей возможности развернуть на весь экран.

Работать в консоли довольно просто и понятно.

Нюанс при работе в консоли состоит только в том что могут быть непонимания с переключением раскладки. Просто имейте ввиду что после смены раскладки в самой консоли у вас не будет смены лишь потому что надо на компьютере с которого работайте тоже переключить раскладку. К этому нюансу вы быстро привыкнете.

В последствии, как правило, на системах Windows вы настроите «Удаленный рабочий стол» а для работы с системами LInux вы будете использовать ssh и работать через консоль.

Проброс USB устройств в виртуальную машину

Эта пожалуй самая главная вкуснятина в новой версии. В предыдущей статье я изложил как произвести USB проброс в Proxmox  в старой версии (а в последствии обновил статью и добавил возможности в 5 версии). Перейдите по указанной ссылке и увидите как разработчики идут на встречу удобству использования своей системы.

Резервное копирование виртуальных машин в системе Proxmox 5

Никогда нельзя быть на 100% уверенным в правильности выполняемых действий и спасти от краха системы может только правильный подход при создании резервных копий. В системе Proxmox ребята решили вопрос с бэкапами идеально. Существует два способа резервного копирования.

Ручное создание бэкапа

Выбираем нужную машину, переходим в «Резервирование», и нажимаем «Резервировать сейчас» настраиваем параметры что нам надо и получаем резервную копию в очень короткий период. Окно можно закрывать и позже открыть для просмотра результата.

Не забываем про политику количества резервных копий для хранилища. Если настроено автоматическое копирование необходимо удалить одну из копий чтобы произвести ручное создание резервной копии. Мне больше нравится сохранять в другое место. Куда сохранять ручную копию решать вам.

Автоматическое создание бэкапа

Тут все еще приятней. Переходим в «Датацентр» — «Резервирование» и добавляем задания для резервирования. Все что надо для параметров есть. Время, период и на какую почту оповещать и тд. и тп.

Восстановление из резервной копии

Перед запуском восстановления необходимо остановить виртуальную машину!

Переходим в раздел восстановления выбираем нужную копию и жмем «Восстановление».

Вот так удобно и просто работать с резервным копированием.

Варианты загрузки виртуальных машин

Присутствует возможность автоматически загружать виртуальную машину после перезагрузки системы Proxmox. Порой бывает необходимо чтобы какая то машина стартовала первой а следом все остальные. Даже такую нужную опцию разработчики предусмотрели. В закладке «Опции» виртуальной машины есть значения:

• Запуск при загрузке — выбираем ДА или НЕТ,
• Start/Shutdown order — параметры запуска и остановки машины. По умолчанию стоит параметр order=any.

Вот так выглядит окно с настройками Start/Shutdown order:

Выбираем какая по очереди стартует машина, задержка в секундах перед запуском следующих и параметр принудительного выключения если машина при перезагрузки системы не остановится корректно.

Мониторинг виртуальных машин

На закладке «Сводка» у виртуальной машины вы увидите все основные параметры работы виртуальной машины. Можно при желании заполнить блок «Заметки».

Информация SMART о состоянии HDD

Перейдя в раздел «Disks» вы увидите все ваши диски и можете посмотреть состояние SMART.

Мало того если выйдет из строя Raid1 вы получите сообщение на почту. Вот такое пришло мне сообщение на почту когда на диске стали проявляться плохие сектора:

«This message was generated by the smartd daemon running on: host name: proxmox DNS domain: sevo44.loc The following warning/error was logged by the smartd daemon: Device: /dev/sdf [SAT], 1 Currently unreadable (pending) sectors Device info: WDC WD10EARS-00Y5B1, S/N:WD-WMAV51109954, WWN:5-0014ee-0ac9680cc, FW:80.00A80, 1.00 TB For details see host’s SYSLOG. You can also use the smartctl utility for further investigation. The original message about this issue was sent at Sat Oct 14 10:21:50 2017 MSK Another message will be sent in 24 hours if the problem persists.»

И все это прямо из коробки без настройки системы мониторинга.

Мониторинг параметров системы

На странице «Датацентр» — «Сводка» вы ознакомитесь со всеми основными параметрами работы системы виртуализаци. Наглядно и красиво.

Права доступа в систему

Права доступа можно предоставлять пользователям по совершенно разным параметрам.

Firewall в системе Proxmox 5

По умолчанию система Firewall на «Датацентр» отключена, но при желании можете настроить на свой вкус и цвет. На самом узле система включена.

Тема настройки защиты отдельная тема и относится к ней надо очень осторожно чтобы из за ошибочных действий не закрыть доступ.

Логирование Proxmox

Все необходимые логи вы сможете посмотреть в панели управления.

Вывод

Один из важных моментов заключается в том что старайтесь управлять системой с панели управления так как попытка настроить параметры в консоли может вызвать проблемы в работе с системой!

Вы еще не захотели использовать систему виртуализации Proxmox? Попробуйте и вы не пожалеете. Мною используются далеко не все возможности и возможно для себя вы найдёте то, что давно хотели использовать в работе с виртуальными системами без проблем в настройках. Свобода использования, активное развитие, удобное использование и обслуживание системы однозначно ставит систему Proxmox для меня на первое место. Возможно в последующем я освою как делать репликацию между двумя отдельными системами Proxmox, но в работе это пока не требуется так как в малых и средних организациях вопрос об использовании двух серверов не стоит. Меня уже радует когда на приобретение одного хорошего сервера выделяют необходимый денежный ресурс.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Глава 5. Виртуальные машины KVM

На настоящий момент мы познакомились с графическим интерфейсом пользователя Proxmox, файлами настройки,
а также структурой каталога. Мы также изучили различные типы поддерживаемых Proxmox хранилищ и то, как
интегрировать их в кластер. В данной главе мы мы собираемся сделать шаг вперёд и рассмотреть
KVM (Kernel-based Virtual Machine) и всё, что они должны предложить. Мы
собираемся охватить следующие темы:

Как и подразумевает их название, KVM добавляют возможности гипервизора в ядро Linux. KVM позволяют вам
создавать полностью изолированные виртуальные машины, которые не зависят от ядра хоста. Изолированность
создаётся путём эмуляции определённых элементов оборудования, таких как ЦПУ, ОЗУ, звуковые/ видео/
сетевые карты, мосты PCI, а также устройства ввода клавиатура/ мышь. Так как KVM не зависит от ядра
хоста, она способна виртуализировать широкий диапазон операционных систем, таких как Linux, BSD,
Windows, OS X и тому подобные. Одно из основных отличий KVM и виртуальных машин на основе контейнеров
заключается в том, что выделяемые для RVM ресурсы изолируются друг от друга, а также от хоста.

Таким образом, плотность числа ВМ KVM на узле намного меньше чем у контейнеров. KVM являются
единственным выбором для не- Linux операционных систем и для ориентированных на выполнение определённой
задачи операционных систем, таких как ClearOS, FreeNAS, Zentyal и тому подобные. Для получения
дополнительной информации по KVM обратитесь к https://en.wikipedia.org/wiki/Kernel-based_Virtual_Machine
{Прим. пер.: или к русскоязычной странице https://ru.wikipedia.org/wiki/KVM.}

В Proxmox мы можем создавать ВМ KVM следующими двумя путями:

 
Создание ВМ из рабочей области

Данный процесс проведёт вас через весь процесс создания всей виртуальной машины при помощи диалогового
блок на основе закладок. На протяжении этого процесса мы должны выделить ресурсы и ввести относящуюся к
данной ВМ необходимую информацию. Следующий снимок экрана отображает блок диалога после того как вы
кликните на Create VM в GUI Proxmox:

Закладка General

Закладка General блока диалога используется
в основном для назначения идентификационной информации, такой как:

• Node: Этот ниспадающий список служит для
  выбора того на каком узле Proxmox должна быть создана данная ВМ.

• VM ID: Этот текстовый блок используется
  для ввода численного значения идентификатора создаваемой ВМ. Мы также можем увеличивать или уменьшать
  данное значение VM ID применяя стрелки.
  Если мы назначим идентификатор, который уже существует в нашем кластере, блок получит красную рамку
  вокруг себя, как это отображено на следующем экранном снимке:

• Name: Данный текстовый блок применяется
  для ввода имени создаваемой ВМ. Мы можем вводить любую строку из букв и цифр, а в качестве специального
  символа разрешён только прочерк, или –.

• Resource Pool: Это ниспадающий перечень
  используемый для выбора предварительно созданного пула. Он необходим только если мы хотим назначить
  данную ВМ в определённый пул. Для нашего примера ВМ мы назначаем её в пул с именем
  Linux_VMs.

Закладка OS

Закладка OS используется для выбора
определённого типа гостевой операционной системы которая будет установлена на создаваемую ВМ. Такой
выбор типа позволяет вашей ВМ быть осведомлённой о предполагаемой к установке операционной системе
и отрегулировать архитектуру на основе выбранной ОС. В нашем примере ВМ, мы выбрали
Linux 4.X/3.X/2.6 Kernel, как
это показано на следующем экранном снимке:

Закладка CD/DVD

Так как ВМ KVM является полностью вложенной и эмулирует физическую машину, мы можем только
выполнять загрузку этой ВМ или загружать операционную систему с помощью образов ISO, загружаемых
в нашем виртуальном устройстве CD/DVD или
из физического устройства, подключённого к узлу хоста Proxmox. В данной закладке мы можем выбрать
будем ли мы использовать виртуальное или физическое устройство, или же отобрать образ ISO.
Приводимый ниже снимок экрана отображает блок диалога для закладки
CD/DVD:

Если мы хотим создать свою ВМ без определения какого- либо образа диска, нам понадобится выбрать опцию
Do not use any media.

Закладка Hard Disk

В этой закладке мы определяем настройки для нашего первого образа диска создаваемой ВМ. Следующий
снимок экрана отображает блок диалога с настройкой для нашего примера ВМ:

Bus/Device

Для данного параметра представлены два ниспадающих меню: одно для выбора типа шины образа диска, а
второе для выбора идентификатора устройства.

Для ВМ Windows необходимо выбирать IDE, поскольку Windows не имеет встроенного драйвера VIRTIO.
В подобном случае мы можем воспользоваться следующими шагами для добавления возможности VIRTIO в
ВМ Windows:

1. Создайте ВМ с IDE и установите Windows обычным образом.

2. Добавьте второй образ диска с шиной VIRTIO и перезагрузите Windows.

3. Скачайте самый последний ISO драйвера VIRTIO для Windows со следующих ссылок, а затем загрузите
   его через виртуальное CD устройство:

   https://fedorapeople.org/groups/virt/virtio-win/directdownloads/stable-virtio/virtio-win.iso

   http://www.linux-kvm.org/page/WindowsGuestDrivers/Download_Drivers

4. Обновите свой драйвер для нового оборудования найденного для вашего образа диска VIRTIO.

5. Остановите ВМ Windows и зарегистрируйтесь в инструментальной панели Proxmox.

6. В закладке Hardware этой ВМ выберите образ
   IDE и кликните Remove. Отметим что это
   не удалит данный образ диска окончательно. Данный образ диска теперь будет показан как
   Unused, как это отображено на следующем
   рисунке:

7. Выберите Unused disk и кликните
   Edit. Это откроет блок диалога с опциями
   для выбора типаBus/Device и прочими
   параметрами показанными на снимке экрана ниже:

   В блоке диалога мы можем выбрать нужный тип Bus
   и прочие опции настройки в случае необходимости.

8. Кликните Add для добавления этого
   образа диска назад к данной ВМ.

   Предыдущие шаги необходимы для предоставления ВМ Windows возможности использования образа диска
   VIRTIO. Когда данный драйвер загружен, нет необходимости перезагружаться для дополнительных образов
   дисков VIRTIO.

Storage

Это ниспадающее меню для выбора того, где должен храниться образ данного диска. Помимо самого
имени выбираемого хранилища, ниспадающее меню также отображает общий объём и доступное пространство
хранения подключаемого устройства.

Disk size

Это текстовый блок для определения размера вашего дискового хранилища в ГБ. Значение может быть
только численным. Мы также можем применять стрелки вверх и вниз для определения данного размера.

Format

Это ниспадающее меню для выбора типа образа диска. Если мы выбираем хранилище, которое поддерживает
только определённые типы дисков, то эти опции меню будут окрашены серым. Например, если мы выбираем
хранилище Ceph RBD, то данная опция будет скрыта серым (как показано на следующем рисунке), так как
RBD поддерживает только формат .raw.

Если мы выберем не верный формат образа своего диска, или если мы позже решим использовать другой
формат, мы можем просто воспользоваться параметром Move
disk в закладке Hardware
для изменения формата. Это также можно сделать в CLI применив следующую команду:

#qemu-img convert –O <type> <source_image> <destination_image>
 	   

Если мы хотим преобразовать образ диска .qcow2 в образ
.raw, команда должна иметь следующий вид:

#qemu-img convert –O raw vm-101-disk-1.qcow2 vm-101-disk-1.raw
 	   

Эта команда хорошо работает для локальных хранилищ, а также для хранилищ NFS, ZFS и Gluster, однако
не применима к RBD. Для изменения формата образа диска. хранимого в RBD используйте параметр
Move в инструментальной панели
Proxmox. Относительно хранимого в RBD образа диска, этот параметр Move может быть применён для перемещения любого образа диска
сохранённого в любом хранилище при помощи GUI совсем без какой бы то ни было необходимости применения
CLI. Этот параметр также полезен при перемещении образа диска с одного хранилища на другое без выключения
данной ВМ. Хранилище может быть любым от локального до совместно используемого и наоборот. Для
перемещения или изменения определённого формата диска выберите конкретный образ диска в закладке
Hardware и кликните на
Move disk для открытия блока диалога, как
это показано на следующем рисунке:

Как показано на предыдущем рисунке для нашего примера ВМ, мы перемещаем образ диска в хранилище NFS,
одновременно преобразовывая в .qcow2 образ из образа
.raw. Если мы выберем параметр Delete source, также автоматически будет удалён файл источника после
окончания преобразования или перемещения. Если эта опция не разрешена, тогда мы должны будем вручную
удалять файл источника. Файл источника отображается как неиспользуемый образ диска в закладке
Hardware данной ВМ.

Cache

Это ниспадающее меню позволяет нам выбирать метод кэширования используемый для данного образа
диска. Мы изучили различные варианты кэширования в Главе
4, Системы хранения в разделе Кэширование
виртуального диска. Мы можем изменять опции кэширования в любое время, даже после того, как ВМ
полностью создана и функционирует. После каждого изменения опций кэширования нам будет необходимо
выполнить цикл перезагрузки данной ВМ для того, чтобы новые опции кэширования вступили в силу.

No backup

Если данная опция включена, образ данного виртуального диска никогда не будет включаться в резервную
копию. По умолчанию эта опция запрещена.

Discard

Образ диска в Proxmox разряжён в зависимости от типа образа. Это означает, что образ определённого
диска медленно растёт по мере сохранения в нём данных. Со временем данные создаются и удаляются в пределах
файловой системы данного образа диска. Однако при разряженном образе диска даже после удаления данных
он никогда не восстанавливает свободное пространство. ВМ может сообщать верное доступное пространство,
однако хранилище Proxmox будет показывать более высокое использование пространства. Опция сброса (discard)
позволяет узлу восстановить свободное пространство, которое не используется какими бы то ни было данными.
Это эквивалентно опции TRIM, которая была введена в устройствах SSD в точности для тех же целей. Перед тем
как эта опция может быть использована, мы должны убедится, что данная ВМ использует контроллер SCSI VISIO.
Мы можем установить тип SCSI в закладке Option
данной виртуальной машины, как это отображено на следующем рисунке:

По умолчанию Proxmox настраивает все ВМ с контроллером LSI 53C895A. Опция Discard может не соответствовать всем средам, хранилищам и операционным
системам. Выполните достаточное тестирование перед её реализацией в своём окружении.

В некоторых случаях опция Discard может
вызывать блокировку ВМ, требующую цикла перезагрузки. ВМ нуждается в цикле перезагрузки если данная опция
включена после запуска этой ВМ.

Iothread

Существует две опции для образов диска KVM:

По умолчанию Proxmox использует ionative для всех образов диска,
в то время как опция iothread помечается специальным образом для
нуждающихся в ней образах дисков.

Опция iothread позволяет каждому образу диска иметь свой собственный
поток вместо ожидания очереди с кем- нибудь ещё. Поскольку дисковый воод/ вывод больше не ожидает
благодаря наличию своего собственного треда, он не сдерживает другие задачи или связанные с ним очереди,
относящиеся к данной ВМ, что в конечном итоге ускоряет производительность данной ВМ помимо увеличения
производительности дискового обмена. Опция iothread достаточно новая
для Proxmox. Существует несколько сообщений источников в которых ВМ были заблокированы из- за этой
опции, поэтому выполняйте достаточное тестирование прежде чем реализуете эту функциональность в промышленном
окружении.

Закладка CPU

Данная закладка делает возможной настройку вами необходимых виртуальных WGE для создаваемой
виртуальной машины. Следующий рисунок отображает блок диалога с доступными опциями ЦПУ:

Sockets

Эта опция служит определению числа сокетов, которое может использовать создаваемая ВМ. Мы можем
применять более 1 сокета для данной ВМ, даже если физический узел не имеет достаточного количества
разъёмов. Это может быть полезно в случае, когда какое- либо приложение в вашей ВМ требует более
1 сокета. Однако не будет полезным совсем для увеличения производительности в узле Proxmox с единственным
сокетом.

Cores

Эта опция служит определению числа ядер, которые может использовать создаваемая ВМ. Хорошим подходом
будет начало применения ВМ с меньшим количеством ядер с последующим увеличением их числа по мере
необходимости, в зависимости от нагрузки. Выделение большого количества ядер ВМ вызовет ненужное
давление на доступные ресурсы в вашем узле. Обычно ВМ может предоставлять хорошую производительность с
2 или 4 ядрами только если они не находятся под высокой нагрузкой, такой как сервер удалённых рабочих
мест или сервер SQL/ обмена сообщениями.

Enabling NUMA

NUMA (Non Uniform Memory Access, доступ к неоднородной памяти) не является
новым подходом к обработке памяти в окружениях со множеством ЦПУ, хотя это и является новым
добавлением в Proxmox VE. Обычно при использовании NUMA, оперативная память может быть полностью
распределена по ЦПУ, что увеличивает производительность, поскольку более не существует узких мест
обусловленных тем, что все ЦПУ пытаются осуществлять доступ к одной и той же группу блоков памяти.
В Proxmox опция NUMA также делает возможным подключение оперативной памяти и ЦПУ в горячем режиме.
Без данной опции подключение в горячем режиме ЦПУ и оперативной памяти не работает вовсе.

Любой узел с более чем одним разъёмом ЦПУ обычно осведомлён о NUMA. Поэтому включение NUMA для ВМ
на таком узле предоставит преимущество производительности создаваемой ВМ. NUMA всегда будет пытаться
оставлять такую ВМ на одном и том же пакете ЦПУ. Мы можем проверить состояние NUMA в кластере
Proxmox воспользовавшись командой:

# numastat
 	   

Эта команда отобразит все ваши узлы в кластере, которые осведомлены о NUMA, а также их
стсатистики производительности.

Type

Это ниспадающее списочное меню для выбора типа пакета ЦПУ. По умолчанию для всех ВМ выбирается
тип ЦПУ kvm64.

Закладка Memory

Эта закладка делает возможной настройку выделения оперативной памяти создаваемой ВМ. Следующий
рисунок отображает блок диалога для нашего примера ВМ:

В Proxmox мы можем устанавливать для ВМ фиксированную или динамично выделяемую оперативную
память. Автоматический диапазон также называется надуванием памяти (memory ballooning). При
фиксированных опциях вся память выделяется в одно и то же время. При опциях динамичного выделения
оперативная память выделяется на основании запросов ВМ в пределах предварительно установленного
диапазона. Автоматическое выделение памяти хорошо работает для гостевых ВМ на основе Linux, однако
для ВМ Windows надувание памяти потребляет более высокие значения ресурсов ЦПУ, вызывающие
замедление такой ВМ. Поэтому для ВМ Windows лучше применять фиксированную память, где это возможно.

Закладка Network

Эта закладка позволяет настраивать необходимые виртуальные сетевые интерфейсы для создаваемой ВМ.
Следующий рисунок показывает блок диалога для настройки сетевой среды нашего примера ВМ:

Bridged mode

Данный режим позволяет создаваемой ВМ подключаться к сетевой среде с применением моста. Создаваемая
ВМ не получает прямого доступа к внешней сетевой среде. Мы можем установить идентификатор VLAN на
уровне данного узла, что сделает необязательной её настройку внутри данной ВМ. Режим моста также
предоставляет для данной ВМ опции межсетевого экрана.

Firewall

Чтобы включить Межсетевой экран Proxmox для данного сетевого интерфейса, необходимо отметить эту
опцию. без этого параметра никакие правила межсетевого экрана не будут применяться к данному
интерфейсу. Мы рассмотрим Межсетевой экран Proxmox максимально подробно в Главе 8, Межсетевой экран Proxmox.

NAT mode

Данный режим предоставляет ВМ прямой доступ к внешней сетевой среде. Сетевой обмен не проходит ни через
какие мосты. Если в этой сетевой среде используется VLAN, он должен быть настроен внутри создаваемой ВМ.
При использовании режима NAT опция межсетевого экрана Proxmox недоступна.

No network device

Эта опция создаёт вашу ВМ без какого бы то ни было настроенного сетевого интерфейса.

Model

Это ниспадающее меню служит для выбора типа виртуального сетевого интерфейса. Для максимальной
производительности сетевой среды настоятельно рекомендуется применять VIRTIO. Windows не поставляется
с драйвером VIRTIO, поэтому если данный интерфейс применяется для ВМ Windows, мы должны вручную
загрузить этот драйвер из ISO, который мы скачали в разделе закладки Hard
Disk данной главы. Для ВМ Windows мы также можем применять Intel E1000.
Начиная с Windows 7 этот драйвер Intel входит в комплект поставки.

MAC address

По умолчанию все MAC адреса для виртуальных сетевых интерфейсов назначаются автоматически. Набрав
MAC адрес в текстовом блоке мы можем задать определённый MAC адрес для данного интерфейса. Это может быть
необходимо, когда приложению в вашей гостевой ВМ требуется определённый MAC адрес.

Rate limit

Данный текстовый блок служит определению максимально допустимой скорости создаваемого сетевого
интерфейса в МегаБайтах в секунду. Это очень полезная опция для ограничения сетевой среды на основе
ВМ. Если не определено никакое значение, данная ВМ попытается использовать такую полосу пропускания,
какая будет доступна.

Multiqueues

Обычно ВМ KVM имеют единственную очередь в которую попадают отправляемые и получаемые сообщения по
одному за раз без какой- либо одновременности. Множественные очереди удаляют это узкое место
делая возможными одновременные отсылку и приём путём усиления от виртуальных ядер ЦПУ для параллельных
очередей. Множественные очереди в особенности полезны для ВМ, которые проявляют активность для большого
числа клиентов, например, для веб- серверов. В закладке Proxmox Network для блока диалога создания ВМ мы можем ввести численное
значение для определения числа параллельных очередей, которое должна использовать данная ВМ. Это
значение не должно быть больше чем число выделенных данной ВМ vCPU. Например, если данная ВМ имеет 4
виртуальных ядра, мы можем установит значение для множественных очередей равное 4. Множественность
очередей серьёзно увеличивает производительность сетевой среды ВМ, так как и отправка, и приём
могут осуществляться одновременно.

Disconnect

Если данная опция включена, виртуальный сетевой интерфейс будет создан для данной ВМ, однако не
будет активирован.

 
Создание ВМ клонированием

При развёртывании множества ВМ с идентичными настройками их индивидуальная настройка может стать
временеёмким процессом. В этом случае мы можем клонировать существующую ВМ или шаблон (Template).
При таком способе мы можем создать шаблон при помощи полностью настроенной ВМ и всякий раз клонировать её,
когда нам потребуется создавать новую ВМ. Отметим, что созданный из виртуальной машины KVM шаблон это
не то же самое, что LXC Container Template,
хотя оба и называются Template.

В данном примере мы собираемся преобразовать одну из созданных в предыдущем разделе своих ВМ в
шаблон. Чтобы преобразовать ВМ в шаблон нам необходимо кликнуть правой кнопкой для открытия меню
контекста на данной ВМ, как это отображено на следующем снимке экрана и кликнуть на
Convert to template.

После того, как ВМ конвертирована в шаблон, эта ВМ сама по себе больше не используется. Однако мы
можем изменять аппаратные ресурсы. Другой разницей, которую нужно отметить, заключается в том, что
получаемая иконка в инструментальной панели Proxmox уникальна для шаблонов KVM, что отображено на
снимке экрана ниже:

Процедура клонирования одна и та же вне зависимости от того, будет ли это ВМ или шаблон KVM.
Чтобы создать новую ВМ или развернуть множество ВМ из определённого шаблона или ВМ, кликните правой
кнопкой по шаблону для открытия контекстного меню, а затем кликните на Clone.
Это откроет блок диалога клонирования, что отображено на следующем снимке экрана:

Функции блоков ввода Target node,
VM ID, Name и Resource
Pool идентичны закладке General
блока диалога создания ВМ KVM.

Режим

В Proxmox существует два режима клонирования:

При полном клонировании создаётся идентичная копия выбранной ВМ, включая образы виртуальных дисков.
Это на самом деле изолированная система, поскольку она никоим образом не зависит от исходного шаблона
или ВМ. Даже если мы удалим такой исходный шаблон или ВМ, вновь развёрнутая ВМ всё ещё продолжит
работать без каких- бы то ни было проблем. Полный клон потребляет столько же пространства хранения,
сколько и оригинальная ВМ, так как виртуальный диск тоже клонируется. Полные клоны полезны в случае,
когда выделяемые ресурсы идентичны для всех развёртываемых ВМ, однако гостевые операционные системы
могут различаться, или нет.

Связанный клон создаёт дубликат первоначальной ВМ за вычетом первоначального образа виртуального
диска. Это создаёт дополнительный чистый образ диска, который ссылается на свой прообраз виртуального
диска, а в связанный образ клонированного диска помещаются только новые данные. Все запросы на чтение
данных, за исключением запросов к новым данным, автоматически перенаправляются к первоначальному
образу диска. Связанный клон сильно зависит от исходного шаблона или ВМ. Данный режим клона полезен
в случае, когда все клонированные ВМ имеют в точности одни и те же настройки оборудования и
программных средств, включая гостевые операционные системы. Связанные клоны потребляют намного
меньше пространства хранения, поскольку первоначальный ил базовый образ никогда не дублируется, а
просто применяется ссылка на него со стороны нового привязанного клона ВМ. Такой образ диска
связанного клона выглядит так, как это показано на следующем экранном снимке:

Как мы можем видеть из предыдущего снимка экрана, связанный образ диска создаётся в подкаталоге
каталога своего первоначального образа диска исключительно для хранения новых данных. Так как связанные
клоны ВМ сильно зависят от своих исходных шаблонов, очень важно гарантировать, что первоначальный
шаблон или ВМ не будут нарушены никаким образом. Любые нарушения в шаблоне вызовут отказ всех
связанных клонов.

 
Создание ВМ из шаблона

В Proxmox мы можем также клонировать ВМ из шаблонов. Шаблоны KVM создаются путём преобразования
ВМ KVM. Единственная разница между ВМ KVM и шаблоном состоит в том, что будучи единожды
преобразованными, шаблоны не могут включаться как ВМ. Это предотвращает дальнейшие изменения в
его образе виртуального диска, обеспечивая идентичность клона его оригинальной ВМ.

Чтобы конвертировать ВМ в шаблон, кликните правой кнопкой по ВМ для открытия её меню контекста, а
затем выберите Convert to Template, как это показано
на следующем рисунке:

Чтобы создать новый клон, кликните правой кнопкой мыши по шаблону, а затем выберите Clone
для открытия блока диалога создания клона шаблона, как это показано на следующем снимке экрана:

Параметры в окне диалога идентичны параметрам процесса создания ВМ, клонируемой без какого- либо
шаблона.

 Расширенные параметры настройки для ВМ

Теперь мы рассмотрим некоторые расширенные опции настройки, которые мы можем использовать для
расширения возможностей виртуальных машин KVM.

 
Настройка звуковых устройств

В данном разделе мы собираемся рассмотреть как добавлять поддержку звука в ВМ. По умолчанию
Proxmox не добавляет аудио оборудование к ВМ. Чтобы операционная система ВМ могла запустить
звуковую службу, в файл настройки такой ВМ должны быть добавлены некотороые аргументы при
помощи CLI. В Proxmox VE 4.1 нет возможности добавлять звуковой интерфейс через его GUI.
Последующие шаги добавят в ВМ звуковое устройство:

1. Зарегистрируйтесь в узле Proxmox через SSH или напрямую в его консоли.

2. Переместитесь в каталог настройки этой ВМ /etc/pve/nodes/<node_name>/qemu-server/<vm_id>. conf.

3. Откройте файл настройки данной ВМ текстовым редактором, в котором вы предпочитаете работать,
   и добавьте следующие параметры:

   Для ВМ Windows 10 и более поздних версий:

   
   args: -device intel-had,id=sound5,bus=pci.0,addr=0x18 –device hda-micro,id=sound5-codec0,bus=sound5.0,cad=0 –device hadduplex,id=sound5-codec1,bus=sound5.0,cad=1
    	   

   Для ВМ основе Windows XP:

   
   args: -device AC97,addr=0x18
    	   

4. Сохраните файл настройки и выйдите из редактора.

5. Выполните цикл перезагрузки этой ВМ для активации звукового устройства.

 
Настройка проброса PCI

В Proxmox присутствует возможность проброса (passthrough) устройств PCI напрямую в ВМ. В данном
разделе мы собираемся рассмотреть как настроить и осуществить проверку проброса PCI. Для включения и
настройки проброса PCI в Proxmox необходимо выполнить следующие шаги:

1. Зарегистрируйтесь в узле Proxmox через SSH или напрямую в его консоли.

2. Откройте файл настройки grub с помощью текстового
   редактора:

   
   # nano /etc/default/grub
          

3. Измените GRUB_CMDLINE_LINUX_DEFAULT=&quiet&
   на следующее:

   Для ЦПУ Intel:

   
   GRUB_CMDLINE_LINUX_DEFAULT=&quiet intel_iommu=on&
          

   Для ЦПУ AMD:

   
   GRUB_CMDLINE_LINUX_DEFAULT=&quiet amd_iommu=on&
          

4. Сохраните изменения и выйдите из редактора.

5. Для обновления grub выполните следующую команду:

   
   # update-grub
          

6. Только в случае, если используете ЦПУ AMD добавьте следующую строку в файл настройки
   /etc/modprobe.d/kvm_iommu_map_guest.conf:

   
   options kvm allow_unsafe_assigned_interrupt=1
          

7. Перезагрузите данный узел Proxmox.

8. Определите адрес нужного вам устройства PCI в виде xx:xx.x
   при помощи следующей команды:

   
   # lspci
          

9. Введите следующую строку идентификатором устройства PCI в файл настройки ВМ:
   hostpci0: xx:xx.x
   при помощи следующей команды:

   
   # lspci
          

10. Выполните цикл перезагрузки этой ВМ для активации звукового устройства.

11. Установите необходимые драйверы для данного устройства PCI в операционной системе
    выбронной ВМ.

 
Настройка проброса GPU

В данном разделе мы собираемся рассмотреть как настроить видеоадаптер на применение напрямую в
ВМ. Поддержка устройств PCI Express, таких как карты видео адаптеров, была добавлена в Proxmox начиная
с версии 3.3. Для включения подобного проброса узел Proxmox должен иметь ядро PVE 3.10. Если вы
используете Proxmox VE 4.1, вы, скорее всего, имеете самое последнее ядро. Мы можем добавить
PXI Express и выполнить проброс GPU в ВМ из CLI путём добавления параметров в файл настройки ВМ.

Следующие шаги покажут как включать стандартные не-GPU PCI Express устройства, устройства
нп основе GPU, а также устройства GPU со встроенными аудио- устройствами в ВМ:

1. Откройте файл настройки ВМ в текстовом редакторе:

2. Определите идентификатор нужного вам устройства PCI следуя шагам из предыдущего раздела
   при помощи следующей команды:

   
   # lspci
          

3. Введите следующую строку идентификатором устройства PCI в файл настройки ВМ:
   hostpci0: xx:xx.x
   при помощи следующей команды:

   
   # lspci
          

4. Добавьте следующие строки в зависимости от типа добавляемого устройства PCI Express:

   Для стандартного не-GPU устройства PCI Express:

   
   machine: q35
   hostpci0: xx:xx.x,pcie=1,driver=vfio
          

   Для видео адаптеров GPU PCI Express:

   
   machine: q35
   hostpci0: xx:xx.x,pcie=1,x-vga=on,driver=vfio
          

   Для видео адаптеров GPU PCI Express со встроенным аудио- устройством удалите .x
   в конце адреса устройства PCI следующим образом:

   
   machine: q35
   hostpci0: xx:xx,pcie=1,x-vga=on,driver=vfio
          

5. Сохраните файл настройки и выполните цикл перезагрузки этой ВМ.

6. Установите необходимые драйверы внутри операционной системы
   выбранной ВМ.

 
Настройка подключения во время работы

В данном разделе мы собираемся рассмотреть как настраивать подключаемые во время работы опции в
виртуальных машинах Proxmox. Применяя функцию подключения во время работы, мы можем добавлять и удалять
устройства или ресурсы в ВМ без перезапуска или цикла включения данной ВМ. В Proxmox VE 4.1 мы можем
применять опции подключения во время работы (hotplug) для следующих ресурсов:

S Proxmox 4.1 мы можем только увеличивать ЦПУ и оперативную память, но не можем уменьшать их.
И диски, и сетевые интерфейсы могут в равной степени подключаться и отключаться во время работы.
Следующая таблица отображает какие типы устройств поддерживаются в различных операционных системах:

В то время как главная настройка разрешения подключения во время работы для Proxmox должна быть
выполнена через CLI, мы можем включать отдельные подключаемые во время работы устройства при
помощи меню с закладками Proxmox GUI | Option,
как это показано на следующем рисунке:

Перед тем как может быть применено подключение во время работы, нам вначале нужно подготовить
ВМ на основе Linux. Для включения подключения во время работы необходимо загрузить два модуля.
Мы можем загрузить эти модули, применив следующие команды:

# modprobe acpiphp
# modprobe pci_hotplug
 	   

Для загрузки этих модулей в процессе загрузки автоматически мы можем добавить их в
/etc/modules.

Нам также нужно создать новый файл правил udev в файле
/lib/udev/rules.d/80-hotplugcpu-mem.rules и добавить
новые строки:

SUBSYSTEM=="cpu",ACTION=="add",TEST=="online",ATTR{online}=="0", ATTR=={online}="1"
SUBSYSTEM=="memory",ACTION=="add",TEST=="state", ATTR{state}=="offline",ATTR=={state}="online"
 	   

Для активации модулей и правил данный узел Proxmox должен выполнить цикл включения.

Для разрешения подключения во время работы для ВМ в GUI необходимо выполнить следующие шаги:

1. Зарегистрируйтесь в GUI Proxmox.

2. Выберите ВМ для разрешения на ней подключения во время работы; затем кликните по меню с
   закладками Options.

3. Выберите элемент строки для подключения во времени работы и кликните
   Edit для открытия блока диалога, как
   это показано на предыдущем снимке экрана.

4. Выберите одно или более устройств для настройки на подключение во время рботы при помощи
   ниспадающего меню.

5. Для разрешения кликните на OK.

Чтобы добавить новый ресурс в ВМ, перейдите в закладку Hardware и кликните на Add. В Proxmox VE 4.1 мы можем добавлять только образ
Hard Disk,
Network Device и
CD/DVD Drive при помощи кнопки
Hardware | Add, как это показано
на следующем изображении:

Чтобы добавить в ВМ vCPU или удалить его из неё, выберите Processor
в закладке VM | Hardware и кликните
Edit для открытия блока диалога ЦПУ.
Мы также можем добавить vCPU выполним следующую команду в CLI узла Proxmox:

# qm set <vm_id> -vcpus 2
 	   

Предыдущая команда добавит в общей сложности два виртуальных ЦПУ к данной ВМ.

Следующие шаги показывают как разрешать подключение ао время работы оперативной памяти для ВМ:

1. Если ещё не включена, NUMA должна быть разрешена для оперативной памяти для данных vCPU перед
   тем как оперативную память станет можно подключать во время работы. Перезапустите эту ВМ после
   включения NUMA.

2. Определите новое выделение памяти через GUI в закладке Hardware.

Глава 1. Установка Proxmox — Книга рецептов Proxmox

В данной главе мы охватим следующие основы Proxmox:

• Требования к аппаратным средствам

• Подготовку к установке

• Установку Proxmox на голом узле

• Установку Proxmox на Debian системы

• Подписки Proxmox

• Запрет подписок Proxmox

• Применение подписок Proxmox

• Установку репозитория пакетов Proxmox

• Поиск поддержки

Virtual Environment (VE) (виртуальня среда) Proxmox
является многоузловым кластерным гипервизором
с открытым исходным кодом, построенным на Debian Linux и способным работать на общедоступных аппаратных средствах, те самым
устраняя любые блокировки вендора. Proxmox свободно доступен без каких-либо блокированных особенностей.
Тем не менее, доступна лицензия подписного типа для доступности репозитория уровня предприятия для получения хорошо проверенных
патчей и обновлений. Подписки рекомендуются для Proxmox среды промышленного уровня.

Proxmox может быть настроен для работы в виртуальной среде всего нескольких узлов с виртуальными машинами или в среде с тысячами узлов.
Поддерживая виртуальные машины KVM и OpenVZ на базе контейнеров, Proxmox VE является сегодня ведущим гипервизором. Proxmox имеет чрезвычайно
активное сообщество готовое оказывать помощь любым бесплатным пользователям Proxmox. Кроме того, группа экспертов технической поддержки Proxmox
в равной степени способно обрабатывать всех корпоративных пользователей с их критически важными виртуальными средами.

Как упоминалось ранее, Proxmox это мультиузловая среда, и это означает, что многие узлы могут образовывать единый кластер в
котором виртуальная машина может быть перемещена на любой узел в кластере, тем самым делая возможной избыточную виртуальную среду.
Весь Proxmox кластер может управляться через надежный графический интерфейс пользователя (GUI).
В Proxmox VE 3.4 через GUI только один кластер является управляемым.

Вот некоторые из примечательные особенности Proxmox VE:

• Он обеспечивает мультиузловую кластерную среду для виртуализации. Ни один узел не выступает в качестве ведущего,
  тем самым устраняя единую точку отказа.

• Он обеспечивает высокую доступность (HA, High Availability) виртуальных машин.

• Он дает централизованное веб-управление и единый интерфейс для управления всем кластером.

• Консоль может быть доступна через безопасные VNC, SPICE и HTML5 на основе noVNC.

• Он обеспечивает поддержку многих источников аутентификации, таких как локальное применение Pluggable
  Authentication (РАМ), Microsoft ADS и LDAP.

• Proxmox cluster fie system (pmxcfs) может быть использована для
  для хранения файлов настройки для репликации в реальном времени на всех узлах с применением corosync
  http://en.wikipedia.org/wiki/Corosync_%28project%29

• Она обеспечивает ролевое управление разрешениями для объектов VMS, хранилищ, узлов, пулов и тому подобного.

• В отличие от SOAP, REST не является протоколом, но сочетает различные стандарты, такие как HTTP, JSON, XML и URI.
  Посетите http://www.restapitutorial.com для информации о базирующемся на REST API.

• Он предоставляет мощный встроенный межсетевой экран для хост- узлов и виртуальных машин.

• Он обеспечивает миграцию виртуальных машин между физическими узлами приналичии общего хранилища или без него.

• Он поддерживает типы систем хранения основного направления, такие как Ceph, NFS, ZFS, Gluster и ISCSI.

• Он предоставляет регистрацию по всему кластеру.

 Требования к аппаратным средствам

Приведем здесь рекомендуемые конфигурации аппаратных средств для стабильно работающего кластера Proxmox:

• 64-битный процессор Intel или Amd

• Материнская плата с поддержкой двух- или четырех- ядерного Intel VT или Amd-V

• 16ГБ памяти ОЗУ

• Две карты сетевых адаптеров (NIC, Network Interface Card)

• RAID контроллер с устройством резервной батареи (BBU, Battery Backup Unit)

• Твердотельные диски (SSD, Solid State Drive) для операционной системы или SSD для совместно используемого узла

• Ограждающее оборудование только в случае необходимости высокой доступности

Следующая таблица приводит список конфигурации узла сервера, который может быть использован в промышленной среде:

Отметим, что пример конфигурации приводится исключительно для справки. Ваше требования будут варьироваться в зависимости
от рабочей нагрузки и ожидаемой производительности. Регулируйте требования к оборудованию в соответствии с пониманием того,
что большее число ядер в гипервизоре повысит производительность виртуальных машин также как более высокое значение тактовой
частоты используемого процессора. При более высоком числе ядер между процессами может быть распределено большее число потоков (threads).

Proxmox является кластерным гипервизором. Для того, чтобы построить кластер требуется, как минимум, два узла. Для преследуемых этой
книгой целей убедитесь что вы располагаете достаточным количеством компонентов для установки двух узлов при выборе оборудования.

Хотя кластер Proxmox может быть установлен только на два узла, рекомендуется применять минимум три узла для промышленной среды.

Подготовка к установке

После того, как необходимое оборудование собрано, в данном рецепте мы собираемся рассмотреть что нам подготовить перед установкой Proxmox.

Приготовление

Для установки Proxmox мы собираемся применять установочный диск Proxmox VE. Вначале нам необходимо подготовить диск с установочным
образом ISO Proxmox.

Как это сделать…

Вот шаги по установке Proxmox:

1. Загрузите образ ISO Proxmox посетив http://proxmox.com/downloads/category/iso-images-pve

2. Воспользуйтесь вашей программой прожига для копирования ISO на DVD. {Прим. пер.: или, если не хотите следовать приводимой ниже
   инструкции, примените одно из средств для переноса ISO на флеш-носитель с сохранением возможности загрузки, например:
   http://unetbootin.github.io/,
   http://www.ubuntu.com/download/desktop/create-a-usb-stick-on-windows.}

3. Загрузите физический узел с подготовленного на предыдущем шаге диска для начала установки.

Есть кое-что еще…

Некоторые узлы не могут иметь ROM устройств, доступных для установки с диска. В таких случаях, можно установить Proxmox путем
переноса образа ISO на флэш-накопитель USB. Обратите внимание, что для того, чтобы загрузиться с USB флеш-диска, ваша материнская плата
должна поддерживать опцию загрузки с USB. Проверьте в BIOS {Прим.пер.: firmware} материнской платы, прежде чем приступать к следующим
шагам. Если материнская плата не поддерживает опцию загрузки с USB, она также не сможет поддерживать внешнее USB ROM-устройство. В этом
случае для продолжения лучше всего установить ROM диск в компьютер или воспользоваться новой материнской платой, если это возможно.
Вот инструкции для переноса образа ISO на USB и его использования в качестве загрузочного диска:

В Windows воспользуйтесь следующими шагами:

1. Загрузите образ ISO Proxmox посетив http://proxmox.com/downloads/category/iso-images-pve

2. Переименуйте расширение загруженного ISO образа с .iso на .raw.

3. Загрузите и установите приложение записи образов USB с
   https://github.com/downloads/openSUSE/kiwi/ImageWriter.exe.

   	Замечание
   	В некоторых версиях Windows 7, предыдущее средство записи может не может работать. В этом случае, загрузите и установите ImageUSB с http://www.osforensics.com/tools/write-usb-images.html. {Прим.пер.: или воспользуйтесь одним из любых других доступных средств.}

4. Пользуясь загруженным инструментом перенесите ISO образ на USB-устройство.

5. Вставьте USB носитель в USB порт физического узла и загрузитесь с USB носителя {Вы уже проверили, что firmware
   материнской платы узла поддерживает загрузку с USB!}.

В Linux применяйте следующие шаги:

1. Загрузите образ ISO Proxmox посетив http://proxmox.com/downloads/category/iso-images-pve

2. Вставьте USB носитель в USB порт узла и найдите имя устройства с применением #fdisk
   Имя должно быть в формате /dev/XXX.

3. Примените следующую команду для копирования ISO на USB носитель. Будьте очень аккуратны при использовании устройства в имени
   следующей команды. Неверное имя устройства уничтожит все данные на этом устройстве:

   #dd if=<Proxmox ISO file> of=/dev/XXX bs=1M
   	   

4. Перезагрузите узел с USB носителя для запуска установки {вы уже проверили, что firmware
   материнской платы узла поддерживает загрузку с USB!}.

 Установка Proxmox на голом узле

Процесс установки Proxmox полностью управляется графическим интерфейсом с помощью различных подсказок. В этом рецепте мы
последуем следующими шагами в создании нашего первого узла Proxmox.

Приготовление

Включите питание и загрузите физический узел, используя установочный диск или USB-носитель созданный нами в предыдущем рецепте.
На следующий снимок экрана показывает как выглядит экран после загрузки:

Как это сделать…

1. В главном окне установки после завершения процесса загрузки нажмите
   для запуска установки.

2. В экране End User License Agreement (EULA)
   кликните согласие: Agree.

3. На данном шаге мы выбираем диск для установки на нем гипервизора. Начиная с Proxmox VE 3.4 была добавлена новая функция
   для изменения файловой системы. После выбора Target Harddisk
   в выпадающем меню, выберите Options, чтобы
   открыть диалоговое окно выбора Filesystem.
   Следующий снимок экрана показывает экран выбора дисков с открытым диалоговым окном Filesystem:

4. Из ниспадающего меню Filesystem выберите
   желаемую файловую систему. Выберите нужный размер файловой системы в hdsize.
   В версии 3.3 была добавлена поддержка для файловых систем ext3,
   ext4 и ZFS.
   Добавьте дополнительную информацию, такую как значения swapsize,
   maxroot,
   minfree и
   maxvz в соответствии с требованиями или оставьте их пустыми для
   продолжения со значениями по умолчанию, затем кликните на Next.
   Следующая таблица описывает функции этих четырех параметров. Эти значения обычно являются альтернативными друг другу, что означает,
   что если введено значение для одного из этих параметров, значения для других параметров вычисляются автоматически:

   Параметр	Функция
   swapsize	Определяет размер раздела подкачки. Существуют сложные формулы для расчета этого значения. Тем не менее, как правило, оставляется в качестве значения по умолчанию.
   maxroot	Относится к максимальному размеру, который должен иметь корневой каталог.
   minfree	Относится к минимальному свободному пространству для выделения разделу pve.
   maxvz	Относится к максимальному пространству для выделения локальному хранилищу виртуальных машин. Путь по умолчанию для локального хранения виртуальных машин это /var/lib/vz

   Следующий снимок экрана показывает поддерживаемые файловые системы после нажатия на ниспадающее меню:

5. После выбора диска для установки мы должны выбрать информацию по локализации, а именно
   Country,
   Time Zone и
   Keyboard Layout на основании выбираемого языка. Затем
   нажмите Next. Следующий экранный снимок отобразит
   экран локализации:

6. Введите и подтвердите пароль для пользователя root. Затем введите адрес е-mail, на который отсылать все уведомления
   кластера Proxmox. Нажмите на Next

7. На данном шаге вы должны ввести имя хоста и сетевую информацию, такую как IP Address,
   Gateway, DNS Server
   и тому подобное. Введите необходимую информацию для вашей среды, азатем нажмите Next.
   Следующий экранный снимок показывает экран с сетевой информацией:

8. На данный момент была собрана вся необходимая информация и была запущена основная установка. После ее выполнения удалите
   установочный диск или носитель USB и кликните на Reboot.

Есть кое-что еще…

Следуйте шагам с 1 по 7 на втором узле. Для Proxmox кластера минимально требуются два узла. Дополнительная информация по настройке
кластера доступна в Главе 3. Управление кластером и виртуальными машинами.

 Установка Proxmox на Debian системы

Хотя рекомендуется установка Proxmox на естественном голом узле, время от времени может оказаться необходимым установить Proxmox
на существующем узле Debian. В данном рецепте мы увидим как устанавливать Proxmox VE на Debian. Обратите внимание, что Proxmox может быть
установлена только на 64-разрядном оборудовании и 64-разрядной операционной системе.

Приготовление

Установите Debian следуя указаниям официального сайта Debian на http://www.debian.org.
Перед установкой Proxmox на узле Debian, убедитесь, что имя хоста может быть разрешено. Проверьте имя хоста, используя следующую команду:

#nano /etc/hosts
	   

Вы должны получить следующие записи:

127.0.0.1 localhost.localdomain localhost
172.16.0.71 pmx1.domain.com pmx1 pvelocalhost
	   

Если записи утрачены, введите соответствующий IP адрес ассоциируемый с именем хоста узла. Запись
epel.repo должна присутствовать в конце строки.

Как это сделать…

Примените следующие шаги для установки Proxmox на системуDebian:

1. Добавьте репозиторий Proxmox VE в список источника следующим образом:

   #nano /etc/apt/sources.list
   deb http://ftp.ca.debian.org/debian wheezy main contrib
   
   #PVE repository for installation
   deb http://download.proxmox.com/debian wheezy pve
   
   #PVE security updates
   deb http://security.debian.org/ wheezy/updates main contrib
   	   

   	Совет
   	Из-за ошибки в ОС Debian, apt-get может отображать ошибку, не найдя /binary-i386 с сообщением об ошибке Unable to find expected entry 'pve/binary-i386/packages'. Эта ошибка может возникнуть, даже когда установлен 64-разрядная операционная система Debian. В таких случаях, изменить запись репозитория PVE следующим образом: deb [arch=amd64] http://download.proxmox.com/debian wheezy pve

2. Добавьте ключ репозитория Proxmox VE применив следующую команду:

   #wget –O-http://download.proxmox.com/debian/key.asc | apt-key add –
   	   

3. Обновите репозиторий использовав следующую команду:

   #apt-get update
   	   

4. Обновите операционную систему с применением следующей команды:

   #apt-get dist-upgrade
   	   

5. Установите ядро Proxmox VE:

   #apt-get install pve-firmware pve-kernel-2.6.32-37-pve
   	   

6. Установите заголовки ядра:

   #apt-get install pve-header-2.6.32-37-pve
   	   

7. Убедитесь, что ядро Proxmox выбрало загрузчиком grub2

8. Перезагрузите узел для активации нового ядра Proxmox VE.

9. Проверьте работы ядра чтобы убедиться, что загружено необходимое ядроProxmox VE:

   #uname –a
   	   

10. Проверьте настройку grub2 используя следующую команду:

    #update-grub
    	   

11. Установите пакеты Proxmox VE:

    #apt-get install Proxmox-ve-2.6.32 ntp ssh lvm2 postfix ksmcontrol-daemon vzprocps open-iscsi bootlogd
    	   

12. В процессе установки примите предложения по устранению Exim
    и Postfix, установленные ранее.
    Exim, если потребуется, может быть установлены позже.

13. Перезагрузите Proxmox VE после завершения установки.

Есть кое-что еще…

Следуйте шагам с 1 по 13 для установки второго узла. Для Proxmox кластера минимально требуются два узла. Мы сделаем более хороший
обзор графического интерфейса Proxmox в Главе 2. Знакомство с графическим интерфейсом Proxmox.

 Подписки Proxmox

Proxmox VE сам по себе свободен для применения. Не существует абсолютно никаких платежей включенных в загрузку простого
образа ISO и установки полнофункционального кластера Proxmox без оплаты лицензий или подписок. Тем не менее, существует опция
подписки Proxmox для поддержки проекта, которая делает доступным репозиторий уровня предприятия. Не существует различий функционала
для Proxmox версий Free (свободная) и Subscription (подписка). Они одни и те же. Разница заключается между типом выпусков,
обновлений и исправлений, которые они получают.

Это не следует путать с тем фактом, что кластер Proxmox построенный без подписки и не достаточно стабилен для применения.
Новые пакеты, как правило, выпускаются вначале через не подписной репозиторий. Такие же пакеты выкладываются через репозиторий
уровня предприятия позже. Эта задержка позволяет команде Proxmox поставить точку и исправить любые затяжные ошибки или дефекты
в пакете. Из-за ошибок кластер, работающий с критически важными виртуальными машинами, может столкнуться с неприемлемыми простоями,
которые не повлияют на среды меньшего размера,которые в состоянии выдержать время простоя.

Существует четыре уровня подписок с различной стоимостью, такие как
COMMUNITY,
BASIC,
STANDARD и
PREMIUM. За дополнительной информацией о подписках Proxmox
обращайтесь на https://www.proxmox.com/proxmox-ve/pricing.

 Запрет подписок Proxmox

Только что установленный Proxmox VE без подписки высветит после входа в Proxmox GUI сообщение, показанное на следующем
сохраненном экране:

Это происходит потому, что по умолчанию разрешен репозиторий уровня предприятия. Если вы решите не получать никакую подписку
Proxmox и продолжать использовать полностью свободную версию, вы должны запретить репозиторий уровня предприятия.

Приготовление

Зарегистрируйтесь на узле Proxmox через консоль SSH. Репозиторий уровня предприятия может быть отключен только из командной строки.

Как это сделать…

Репозиторий уровня предприятия находится в списке
/etc/apt/sources.list.d/pve-enterprise.list. Мы должны скрыть его строкой комментария для
запрета этого репозитория:

# nano /etc/apt/sources.list.d/pve-enterprise.list
#deb https://enterprise.proxmox.com/debian wheezy pve-enterprise	   

Добавьте репозиторий Proxmox без подписки следующим образом:

# nano /etc/apt/sources.list
deb http://download.proxmox.com/debian wheezy pve-no-subscription
	   

Как это работает…

Никакие перезапуск служб или перезагрузка не требуются для применения изменений. Выйдите из Proxmox GUI и снова войдите,
чтобы увидеть что изменения были применены правильно. Окно сообщения «no subscription» не должно всплывать после входа в систему.
Подписками можно управлять в графическом интерфейсе Proxmox на вкладке Subscription.
Вот снимок экрана узла Proxmox без подписки:

 Применение подписок Proxmox

Для активации подписки необходимо загрузить на узел Proxmox ключ подписки, если вы выбрали подписку Proxmox любого типа.
Ключ подписки высылается электронным письмом после успешной оплаты. Ключ может может быть загружен через графический интерфейс Proxmox.

Приготовление

Зарегистрируйтесь в Proxmox GUI с помощью доступа через ссылку в браузере и введите учетные данные администратора. Имя пользователя
по умолчанию root, а пароль тот же, что был введен при установке: https://<pmx_node_IP>:8006.

Как это сделать…

1. После регистрации в Proxmox GUI нажмите на узел, к которому будет применяться подписка.

2. Выберите закладку Subscription.

3. Нажмите на кнопку Upload Subscription Key
   чтобы открыть диалоговое поле ввода ключа, как показано на сохраненном экране ниже:.

4. Выполните copy/pust ключа подписки из полученного электронного письма в диалоговое поле ключа, затем нажмите
   OK.

5. Кликните Check. На данный момент
   ключ будет проверен Proxmox на предмет его правильности. После завершения активации вы должны увидеть следующий вывод:

Есть кое-что еще…

Если был введен недопустимый ключ, то отображаемое на дисплее должно быть похоже на следующее:

В этом случае просто загрузите правильный ключ и активируйте его снова. Также вы можете увидеть замечание о недопустимости ключа
в случае, когда ключ уже был активирован для другого узла, который больше не обслуживается. В этом случае обратитесь в Proxmox
или к третьему поставщику лицензии, у которого она была приобретена сзапросом повторного выпуска той же лицензии. Затем просто
кликните кнопку Check для повторной активации ключа.
Каждый ключ жестко программируется с каждым ID сервера. Ключ должен быть перевыпущен Promox для его применения.

 Установка репозитория пакетов Proxmox

Proxmox VE предлагает три главных репозитория:

Местоположение и содержание файла источника Enterprise
Repository следующее:

#cat /etc/apt/sources.list.d/pve-enterprise.list
deb https://enterprise.proxmox.com/debian wheezy pve-enterprise
	   

Местоположение и содержание файла источника No-Subscription
Repository следующее:

#cat /etc/apt/sources.list
deb http://ftp.ca.debian.org/debian wheezy main contrib
deb http://download.proxmox.com/debian wheezy pve-no-subscription
deb http://security.debian.org / wheezy/updates main contrib
	   

Proxmox предлагает Test Repository чтобы
дать возможность пользователям попробовать новые свойства или пакеты. Все новые свойства Proxmox выпускаются в тестовом
репозитории до того, как они станут доступными в репозиторях без подписки и уровня предприятия. Пакеты в тестовом репозитории
не прошли полное тестирование и могут содержать ошибки. По этой причине данный репозиторий никогда не должен применяться в
кластере промышленного уровня. По умолчанию тестовый репозиторий не доступен.

Приготовление

Зарегистрируйтесь на узле Proxmox через консоль или SSH. Для подключения тестового репозитория понадобится отредактировать
с применением CLI файл источников репозитория.

Как это сделать…

Используйте следующие этапы для установки репозитория пакетов Proxmox:

1. Откройте файл источников репозитория с помощью любого любимого текстового редактора:

   #nano /etc/apt/sources.list
   	   

2. Сделайте необходимые изменения чтобы записи выглядели похожими на следующие:

   deb http://ftp.debian.org/debian wheezy main contrib
   deb http://download.proxmox.com/debian wheezy pvetest
   deb http://security.debian.org/ wheezy/updates main contrib
   	   

3. Сохраните файл и выйдите из редактора.

4. Выполните следующую команду для обновления репозиториев:

   #apt-get update
   	   

Как это работает…

Как правило, объявление о наличии нового пакета осуществляется на официальном форуме Proxmox
(http://forum.proxmox.com). Название пакета или информация о версии
содержатся в объявлении. Если вы хотите информацию по пакету, просто спросить об этом на форуме. Если у вас есть необходимая информация,
просто выполните команду apt-get для установки пакета через CLI:.

#apt-get install <package_name>
	   

Есть кое-что еще…

В рамках репозиториев Enterprise, No-Subscription и Test существует два устаревших репозитория, которые больше не поддерживаются и
не обновляются:

• Outdated stable repository (pve):
  Данный репозиторий прекратил получение обновлений после начального выхода Proxmox VE 3.1:

  /etc/apt/sources.list
  deb http://ftp.debian.org/debian wheezy main contrib
  deb http://download.proxmox.com/debian wheezy pve
  deb http://security.debian.org/wheezy/updates main contrib
  	   

  Если вы обновляете Proxmox VE с 2.x на 3.x, вторая запись в /etc/apt/sources.listOutdated stable repository (pve)
  должна быть изменена с wheezy pve на
  wheezy pve-nosubscription.

• Outdated Proxmox VE 2.x stable repository (squeeze pve):
  Чтобы иметь стабильный узел Proxmox настоятельно рекомендуется модернизировать и обновить Proxmox VE на последний стабильный выпуск.

  /etc/apt/sources.list
  deb http://ftp.debian.org/debian squeeze main contrib
  deb http://download.proxmox.com/debian squeeze pve
  deb http://security.debian.org/squeeze/updates main contrib
  	   

 Поиск поддержки

Как отмечалось в начале данной главы, Proxmox имеет активное сообщество пользователей готовых оказать помощь любому нуждающемуся
в ней. Существует несколько способов которыми новый пользователь Proxmox может обратиться за помощью и поддержкой для обучения и
расширения знания о Proxmox VE:

Официальный форум Proxmox является местом сбора для новичков или экспертов для получения или предоставления помощи от сообщества
Proxmox. Это также обширный информационный ресурс последних вопросов и решений многих проблем. Некоторые из сотрудников Proxmox также
проводят значительное количество времени в этом форуме, чтобы предложить помощь за пределами своих должностных обязанностей. Существует
массив экспертов Proxmox готовых помочь, не ожидая ничего взамен. Это единственное место поиска поддержки для пользователей Proxmox
Free и с подпиской на уровне COMMUNITY. Для доступа к официальному форуму посетите Proxmox
http://forum.proxmox.com.

Вики/ Документация

Proxmox сайт Wiki содержит большое количество информации об установке, настройке и управлении кластеров Proxmox. Вся документация
написана в очень доступной для понимания форме с большим количеством иллюстраций, где это возможно. Использование страницы
Proxmox Wiki является полностью бесплатным и не требует регистрации. Посетите
https://pve.proxmox.com/wiki/Main_Page
для знокамства с официальной документацией Proxmox.

Портал пользователей и билеты

Пользовательский портал доступен только для пользователей с уровней подписки BASIC, STANDARD и PREMIUM. Билеты подписки должны
открываться на пользовательском портале https://my.proxmox.com/
для получения технической поддержки напрямую от персонала Proxmox.

В зависимости от уровня подписки отличается число билетов, которое может быть открыто. Отклики гарантируются в течение одного
бизнес- дня. Ознакомьтесь с различными уровнями поддержки для подписок посетив
https://www.proxmox.com/proxmox-ve/pricing.

Список рассылки Promox

Существует два различных списка почтовых рассылок доступных в Proxmox:

• User mailing list:: Этот список почтовых рассылок
  имеет адресатами обычных пользователей Proxmox для задания технических вопросов (
  http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user)

• Developer mailing list:: Этот список почтовых рассылок
  предназначен для разработчиков, которые интересуются участием в вопросах, связанных с обязательствами и разработкой связанными с кодом (
  http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-devel)

Отслеживание ошибок Promox

Трекер ошибок Proxmox доступен для представления и рассмотрения каких-либо ошибок, найденных в Proxmox в течение повседневного
применения (https://bugzilla.proxmox.com/). Он также может быть
использован для передачи запросов на новую функциональность. Не все функции будут добавлены в Proxmox, но разработчики Proxmox
мыслят намного вперед и применяют время назначения и основной поток функциональности, чтобы сделать Proxmox VE еще лучше.

Proxmox VE 5 — Видеоуроки

В этом курсе вы узнаете, как создать высокодоступный центр обработки данных с использованием Proxmox VE 5, решений с высокой доступностью и общим хранилищем. В этом курсе вы узнаете, как управлять брандмауэром, пользователями и разрешениями, а также как настраивать сеть и подключение, все ниже темы будут освещены в этом курсе.

• Введение и установка
  • Установка Proxmox VE из ISO
  • Установка Proxmox VE на Debian 9 (Stretch)
• Веб интерфейс
• GUI веб-интерфейса
  • Создание вашей первой виртуальной машины
  • Параметры виртуальной машины
• Контейнеры QEMU / KVM и LXC
  • Виртуальные машины и контейнеры
  • Создание вашего первого контейнера
  • ОЗУ и дисковые расширенные конфигурации
  • Расширенные конфигурации ОЗУ
  • Дополнительные параметры диска и типы кэширования
  • Эмулированные и паравиртуализированные устройства
• Сетевые концепции и управление
  • Конфигурации сети
  • Сетевое соединение
• Управление местом
  • Редактирование содержимого хранилища и загрузка ISO
  • Добавление новых Storgaes
• Proxmox VE Firewall
  • Включение брандмауэра и создание правил
  • Группы безопасности
  • Псевдонимы IP
  • Наборы IP
  • Ведение журнала брандмауэра
  • Службы и команды брандмауэра
  • Правила FTP
  • Интеграция с Suricata IPS
  • Общие порты
• Резервное копирование и восстановление
  • Расписание резервного копирования и режимы
  • Снимки, клонирование и шаблоны
• Администрирование пользователей
  • Пользователи и области аутентификации
  • Управление разрешениями
  • привилегии
  • Объекты и Пути
  • Пулы, разрешения VM и группы
• Proxmox Cluster
  • Создание 3-х узлового кластера
  • кворум
  • Кластерная файловая система
• Высокая доступность
  • Введение в HA и Shared Storage
  • Установка и настройка Ceph
  • Активация высокой доступности
  • Добавление и удаление OSD
  • GlusterFS Shared Storage
  • Хранение для ISO и шаблонов
  • Настройка GlusterFS
  • GlusterFS Replication и Ceph
• Proxmox VE Services
• Интерфейс командной строки
  • Общие команды
  • Настройка PVE из файлов
• Proxmox VE API и биллинговая автоматизация (краткое описание)

В конце концов, это будет непрерывный курс. Я собираюсь добавить любые дополнительные темы, которые я считаю важными, и любые темы, запрошенные студентами.

Итак, если вы считаете, что этот курс можно улучшить, добавив какие-либо темы, пожалуйста, дайте мне знать.

Proxmox VE 5. Как создать несколько пользователей

Я хочу создать несколько пользователей на Proxmox ve 5, моя проблема в том, что я создал их в /etc/pve/user.cfg, но не могу назначить им пароль. Кто-нибудь может мне помочь? Спасибо

proxmox

Поделиться

Источник

Abdoulaye Barry    

14 февраля 2018 в 15:10

2 ответа

• Настройка двух сетевых интерфейсов для Proxmox

  Я установил Proxmox на сервер, который имеет два сетевых интерфейса. Во время установки Proxmox попросит меня ввести IP & etc …, но только для одной интерфейсной сети, и когда я доберусь до /etc/network/interfaces, я не смогу назначить второй интерфейс. Может ли кто-нибудь помочь, как…

• аппаратный мониторинг proxmox (Системный монитор)

  Есть ли способ установить инструмент аппаратного мониторинга, такой как LM-sensors , на proxmox VE 4.2 (был установлен с ISO: https://www.proxmox.com/en/downloads )? Или, может быть, есть другой способ контролировать аппаратное обеспечение хоста (температура cpu/mb/hdd, скорость вентилятора и т….

3

Просто создайте «normal» системных пользователей с помощью

adduser Username

Затем добавьте этих пользователей в Proxmox через GUI.

В Центре Обработки Данных > > Разрешения >> Пользователи >>

нажмите кнопку Добавить пользователя и введите только что созданные имена пользователей. Это сработает.

Потому что если вы создадите пользователей только в GUI proxmox, вы не сможете назначить passwd. Сначала вы должны добавить пользователя в систему, а затем просто связать его в Proxmox GUI (или /etc/pve/user.cfg), но я рекомендую использовать способ GUI. (Иногда, когда вы редактируете конфигурационный файл напрямую, кластер может развалиться)

Поделиться

Ján Šumský    

04 мая 2018 в 10:45

2

Вы можете назначить пароль пользователю proxmox с помощью следующей команды:

/usr/bin/pvesh set /access/password --userid youruser --password yourpassword

См. также:
https://pve.proxmox.com/wiki/ User_Management

Поделиться

patrick_    

26 февраля 2018 в 17:23

Похожие вопросы:

Как я могу получить заметки узла Proxmox?

Я использую proxmoxer для манипулирования машинами на ProxMox (создание, удаление и т. д.). Каждый раз, когда я создаю машину, я даю описание, которое записывается в ProxMox UI в разделе Notes. Мне…

Переадресация сервера Apache на веб-интерфейс Proxmox

Итак, я довольно новичок в apache, и у меня возникли некоторые проблемы с поиском решения моего ответа. У меня есть доменное имя abcdefg.com (например), и у меня есть публичная Fedora apache…

Proxmox, содержимое папки не отображается

Я использую proxmox v3.0-20 уже некоторое время. Некоторое время назад я скачал какой-то шаблон iso и добавил некоторые из своих в proxmox. Обычно, когда я хочу добавить новый экземпляр, я получаю…

Настройка двух сетевых интерфейсов для Proxmox

Я установил Proxmox на сервер, который имеет два сетевых интерфейса. Во время установки Proxmox попросит меня ввести IP & etc …, но только для одной интерфейсной сети, и когда я доберусь до…

аппаратный мониторинг proxmox (Системный монитор)

Есть ли способ установить инструмент аппаратного мониторинга, такой как LM-sensors , на proxmox VE 4.2 (был установлен с ISO: https://www.proxmox.com/en/downloads )? Или, может быть, есть другой…

Ansible to Proxmox возвращает ошибку 500

Я пытаюсь использовать Ansible для обеспечения некоторого VMs на моем недавно созданном Proxmox VE. Я установил proxmoxer и запрос с PIP как на моем локальном Mac, так и на Proxmox VE (Python 2 на…

Как импортировать файл OVA в proxmox

У меня возникли некоторые проблемы с импортом изображения ova на мой сервер proxmox. Я выполнил шаги по извлечению файла ova, а затем преобразовал файл vmdk в файл qcow2 с помощью : qemu-img convert…

создайте виртуальную машину proxmox с помощью c#

Я совершенно новичок в proxmox VE и хочу создать виртуальную машину внутри proxmox с помощью консольного приложения C#. Я много искал и нашел только программу API, которая имеет всю…

Упаковщик: создать proxmox VM не шаблон

Можем ли мы создать виртуальную машину Proxmox с помощью Пакера (а не шаблона)? Потому что в моем случае он создает VM, чем останавливает его и делает шаблоном. и мне не нужен шаблон, мне нужен VM…

Proxmox 5.x vzdump-qemu.vma.gz в VMWARE или VirtualBox конвертировать

Как я могу преобразовать образ виртуальной машины Proxmox 5.x vzdump qemu в VMWARE или VirtualBox? Я хочу запустить виртуальную машину, созданную в Proxmox (возможно, KVM + Qemu) в VMWARE ESXi или в…

Пересборка кластера Proxmox | OTUS

Небольшая заметка о том, что делать, если развалился кластер Proxmox, и как заставить его пересобраться. Также поможет и при некоторых других болезнях Proxmox, например, если перестал работать web-интерфейс. Следующий текст не претендует на панацею, но если вы недостаточно знаете Linux, не работали с Proxmox и не знаете, в какую сторону смотреть в случае подобных проблем, то этот рецепт вам стоит попробовать.

Итак, как-то мне достался в наследство кластер Proxmox (версия 3.4) из 6 нод (предположим, с именами машин pve01 — pve06). Меня предупредили, что кластер периодически разваливался, выпадали ноды, прерывались бэкапы и т. д. и это лечилось перезагрузкой нод. Работы и так было очень много и ещё приходилось отвлекаться и на это. Конечно, такое положение дел мне не нравилось, поэтому в качестве временного обходного решения я написал простенький приведённый ниже скрипт.

Симптомы

Развалился кластер Proxmox — некоторые ноды красные и недоступны из web-интерфейса. При этом все виртуальные машины работают. В логах /var/log/daemon.log и /var/log/syslog есть сообщения такого вида:

ipcc_send_rec failed: Transport endpoint is not connected
ipcc_send_rec failed: Connection refused
Скрипт для пересборки кластера
Скрипт пытается перезапустить некоторые ключевые сервисы кластера. В итоге сетевые подключения должны переинициализироваться и через несколько минут кластер может быть восстановлен. Не принципиально на какой ноде запускать, просто нужно учесть в нём все ноды и в данном случае скрипт запускается пользователем root на ноде pve01.
#!/bin/bash
echo "######" Перезапуск локальных сервисов "######"
service ntp restart
service pvedaemon restart
service pvestatd restart
service pve-cluster restart
service pve-manager restart
service pveproxy restart

echo "######" Начинаю перезапуск удалённых сервисов "######"
for PVE in pve02 pve03 pve04 pve05 pve06
do
    echo "######" Перезапуск сервисов на $PVE "######"
    ssh root@$PVE -t service ntp restart
    ssh root@$PVE -t service pvedaemon restart
    ssh root@$PVE -t service pvestatd restart
    ssh root@$PVE -t service pve-cluster restart
    ssh root@$PVE -t service pve-manager restart
    ssh root@$PVE -t service pveproxy restart
done
Если в вашей версии Proxmox вместо ntp используется chrony, то это нужно учесть, конечно. Да и вообще, проверить, все ли эти сервисы у вас используются. В моём случае этот скрипт решал почти любые проблемы с кластером или нодами индивидуально.
Позже я собрал ещё один кластер на Proxmox 5 и с ним таких проблем не было.
 Proxmox VE 5.3 
 Выпущен Proxmox VE 5.3 с CephFS 
 Загрузить этот пресс-релиз на английском и немецком языках
  ВЕНА, Австрия — 4 декабря 2018 г. —  Proxmox Server Solutions GmbH сегодня представила Proxmox VE 5.3, свою новейшую платформу управления виртуализацией серверов с открытым исходным кодом. Proxmox VE основан на Debian Stretch 9.6 с модифицированным ядром Linux 4.15. Ceph Storage обновлен до версии 12.2.8 (Luminous LTS, стабильный) и упакован Proxmox.
 Proxmox VE и CephFS 
 Proxmox VE 5.3 теперь включает CephFS в свой веб-интерфейс управления, что расширяет полный список уже поддерживаемых типов файловых и блочных хранилищ. CephFS — это распределенная файловая система, совместимая с POSIX и основанная на кластере Ceph. Подобно Ceph RBD (блочное устройство Rados), которое уже интегрировано в Proxmox VE, CephFS теперь служит альтернативным интерфейсом для хранилища Ceph. Для CephFS Proxmox позволяет хранить файлы резервных копий VZDump, образы ISO и шаблоны контейнеров.Распределенная файловая система CephFS устраняет необходимость во внешнем файловом хранилище, таком как NFS или Samba, и, таким образом, помогает снизить стоимость оборудования и упрощает управление.
 Файловая система CephFS может быть создана и настроена всего несколькими щелчками мыши в интерфейсе управления Proxmox VE. Для развертывания CephFS пользователям нужен рабочий кластер хранения Ceph и узел сервера метаданных Ceph (MDS), который также можно создать в интерфейсе Proxmox VE. Демон MDS отделяет метаданные и данные друг от друга и сохраняет их в файловой системе Ceph.Требуется по крайней мере один MDS, но рекомендуется развернуть несколько узлов MDS, чтобы улучшить высокую доступность и избежать SPOF. Если создано несколько узлов MDS, только один будет помечен как «активный», а остальные останутся «пассивными» до тех пор, пока они не потребуются в случае выхода из строя активного.
 Дальнейшие улучшения в Proxmox VE 5.3 
 Proxmox VE 5.3 содержит множество улучшений в управлении хранилищем. С помощью управления дисками можно легко добавлять тома ZFS raid, пулы LVM и LVMthin, а также дополнительные простые диски с традиционной файловой системой.Существующий подключаемый модуль хранилища ZFS поверх iSCSI теперь может обращаться к цели LIO в ядре Linux. Вложенность включена для контейнеров LXC, что позволяет использовать LXC или LXD внутри контейнера. Также внутри контейнеров можно настроить доступ к серверу NFS или CIFS / Samba. Для увлеченных и предприимчивых пользователей Proxmox VE предлагает упрощенную конфигурацию сквозной передачи PCI и виртуальных графических процессоров (vGPU, таких как Intel KVMGT) — теперь это возможно даже через веб-интерфейс.
 Бесчисленные исправления и небольшие улучшения перечислены в примечаниях к выпуску, и их можно подробно найти в багтрекере Proxmox или в репозитории Git.
 Наличие 
 Proxmox VE 5.3 теперь доступен для загрузки по адресу https://www.proxmox.com/downloads. Proxmox VE поставляется с лицензией бесплатного программного обеспечения GNU AGPL, v3. Корпоративная поддержка доступна от Proxmox Server Solutions по подписке, начиная с 74,90 евро в год и ЦП.
 Дополнительная информация: 
  Факты  
 Проект с открытым исходным кодом Proxmox VE имеет огромную базу пользователей по всему миру с более чем 230 000 инсталляций. Веб-интерфейс управления переведен на 20 языков.На форуме поддержки сообщества активны более 40 000 участников. Более 13 000 клиентов из компаний независимо от размера, сектора или отрасли полагаются на услуги поддержки Proxmox VE, предлагаемые Proxmox Server Solutions GmbH.
  О виртуальной среде Proxmox  
 Proxmox VE — это ведущая платформа с открытым исходным кодом для комплексной виртуализации предприятия. С помощью центрального встроенного веб-интерфейса вы можете легко запускать виртуальные машины и контейнеры, управлять программно-определяемыми хранилищами и сетевыми функциями, кластеризацией высокой доступности и множеством встроенных готовых инструментов, таких как резервное копирование / восстановление, миграция в реальном времени, репликация , и брандмауэр.Предприятия используют мощное, но простое в управлении комплексное решение Proxmox VE для удовлетворения основных требований — меньшая сложность, большая гибкость — современных современных центров обработки данных, обеспечивая адаптацию к будущему росту благодаря гибкости, модульности и открытости. архитектура.
  О Proxmox Server Solutions GmbH  
 Proxmox — поставщик мощного, но простого в использовании серверного программного обеспечения с открытым исходным кодом. Предприятия независимо от размера, сектора или отрасли используют стабильные, безопасные, масштабируемые и открытые решения Proxmox для развертывания эффективных, гибких и упрощенных ИТ-инфраструктур, минимизации совокупной стоимости владения и избежания привязки к поставщику.Proxmox также предлагает коммерческую поддержку и обучение для обеспечения непрерывности бизнеса своих клиентов. Proxmox Server Solutions GmbH была основана в 2005 году со штаб-квартирой в Вене, Австрия.
  Для СМИ:  
 Daniela Häsler 
 daniela at proxmox.com
 Следуйте за нами в Google+ или LinkedIn.
 Обновление с 5.x до 6.0 
 Proxmox VE 6.x представляет несколько новых основных функций. Тщательно спланируйте обновление, сделайте и проверьте резервные копии перед началом и тщательно протестируйте.В зависимости от существующей конфигурации может потребоваться несколько ручных действий, включая некоторое время простоя.
  Примечание:  Действительная и протестированная резервная копия — это , всегда необходимо  до начала процесса обновления. Заранее протестируйте резервную копию в тестовой лаборатории.
 В случае, если система настроена и / или использует дополнительные пакеты или любые другие сторонние репозитории / пакеты, убедитесь, что эти пакеты также обновлены и совместимы с Debian Buster.
 В общем, есть два способа обновить Proxmox VE 5.x в Proxmox VE 6.x:
 Новая установка на новом оборудовании (и восстановление виртуальных машин из резервной копии)
 Обновление на месте с помощью apt (шаг за шагом)
 В обоих случаях после обновления требуется очистка кеша браузера и перезагрузка страницы графического интерфейса.
 Резервное копирование всех виртуальных машин и контейнеров на внешнее хранилище (см. Резервное копирование и восстановление).
 Сделайте резервную копию всех файлов в / etc (требуется :  файлов в / etc / pve, а также / etc / passwd, / etc / network / interfaces, / etc / resolv.conf, а также все, что отличается от стандартной установки)
 Установите Proxmox VE из ISO (это удалит все данные на существующем хосте).
 Восстановите кластер, если применимо.
 Восстановите файл /etc/pve/storage.cfg (это сделает доступным внешнее хранилище, используемое для резервного копирования).
 Восстановите конфигурации брандмауэра / etc / pve / firewall / и /etc/pve/nodes//host.fw (если применимо).
 Восстановить полные ВМ из резервных копий (см. Резервное копирование и восстановление).
 Администраторы, привыкшие к командной строке, могут выполнить процедуру Обход резервного копирования и восстановления при обновлении, если все виртуальные машины / CT находятся в одном общем хранилище.
 Обновления на месте выполняются с помощью apt. Чтобы продолжить работу с этим механизмом обновления, необходимо знать apt.
 Предпосылки 
 Обновите Proxmox VE 5.4 до последней версии.
 Надежный доступ ко всем настроенным хранилищам.
 Здоровый кластер.
 Действительная и проверенная резервная копия всех виртуальных машин и CT (на случай, если что-то пойдет не так).
 Правильная настройка репозитория.
 Не менее 1 ГБ свободного места на диске в корневой точке монтирования.
 Ceph: обновите кластер Ceph до Nautilus  после обновления : следуйте руководству Ceph Luminous до Nautilus
 Проверьте известные проблемы обновления
 Тестирование обновления 
 Тест обновления можно легко выполнить сначала с помощью автономного сервера. Установите Proxmox VE 5.4 ISO на тестовое оборудование; затем обновите эту установку до последней минорной версии Proxmox VE 5.4 (см. Репозитории пакетов). Чтобы максимально точно воспроизвести производственную настройку, скопируйте или создайте все соответствующие конфигурации на тестовой машине. Затем запустите обновление. Также можно установить Proxmox VE 5.4 на виртуальную машину и протестировать обновление в этой среде.
 Действия по шагам 
 Следующие действия необходимо выполнить в командной строке каждого узла Proxmox VE в вашем кластере (через консоль или ssh; желательно через консоль, чтобы избежать прерывания ssh-соединений).Помните: перед продолжением убедитесь, что создана действительная резервная копия всех виртуальных машин и CT.
 Постоянно использовать скрипт контрольного списка 
 pve5to6 
 Небольшая программа-список с именем  pve5to6  включена в последние пакеты Proxmox VE 5.4. Программа будет предоставлять подсказки и предупреждения о потенциальных проблемах до, во время и после процесса обновления. Его можно вызвать, выполнив:
 pve5to6
 
 Этот скрипт только  проверяет  и сообщает вещи.По умолчанию в систему не вносятся никакие изменения, поэтому ни одна из проблем не будет устранена автоматически.
 Следует иметь в виду, что Proxmox VE можно сильно настраивать, поэтому сценарий может не распознавать все возможные проблемы конкретной установки!
 Рекомендуется повторно запускать сценарий после каждой попытки исправить проблему. Это гарантирует, что предпринятые действия фактически устранили соответствующее предупреждение.
 Кластер
: всегда сначала обновляйте до Corosync 3 
 В Corosync 3 формат передачи данных изменился.Теперь он несовместим с Corosync 2.x, потому что он отключил базовый стек многоадресной рассылки UDP с помощью kronosnet.
 Файлы конфигурации, сгенерированные Proxmox VE с версией 5.2 или новее, уже совместимы с новым Corosync 3.x (по крайней мере, достаточно, чтобы выполнить обновление без каких-либо проблем).
  Важное примечание:  перед обновлением сначала остановите все службы управления высокой доступностью — независимо от того, какой способ вы выберете для обновления до Corosync 3. Остановка всех служб высокой доступности гарантирует, что ни один из узлов кластера не будет изолирован во время обновления.Это также означает, что на короткое время обновления Corosync не будут доступны какие-либо функции высокой доступности.
 Во-первых, убедитесь, что все предупреждения, сообщаемые сценарием контрольного списка и не относящиеся к Corosync, исправлены или определены как положительные / ложноотрицательные. Затем остановите локальный менеджер ресурсов «pve-ha-lrm» на каждом узле. Только после того, как они были остановлены, также остановите диспетчер ресурсов кластера «pve-ha-crm» на каждом узле; используйте графический интерфейс (узел -> службы) или интерфейс командной строки, выполнив следующую команду на каждом узле:
 systemctl stop pve-ha-lrm
 
 Только  после , описанное выше было выполнено для  всех узлов , запустите следующее на каждом узле:
 systemctl stop pve-ha-crm
 
 Затем добавьте репозиторий Proxmox Corosync 3 Stretch:
 echo "deb http: // download.proxmox.com/debian/corosync-3/ stretch main "> /etc/apt/sources.list.d/corosync3.list
 
 и запустить
 подходящее обновление
 
 Затем еще раз убедитесь, что только corosync, kronosnet и их библиотеки будут обновлены или установлены заново:
 Список
 apt - обновляемый
Объявление ... Готово
corosync / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcmap4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcorosync-common4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-пвэ1]
libcpg4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libqb0 / stable 1.0.5-1 ~ bpo9 + 2 amd64 [возможность обновления с: 1.0.3-1 ~ bpo9]
libquorum5 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libvotequorum8 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
 
 Есть два способа продолжить обновление Corosync:
 Обновляйте узлы по одному. Первоначально только что обновленные узлы не будут иметь квоты самостоятельно. После того, как хотя бы половина узлов плюс один будут обновлены, обновленный раздел станет кворум, а еще не обновленный раздел потеряет кворум.После того, как все узлы будут обновлены, они должны снова сформировать здоровый кластер с квотой.
 Обновите все узлы одновременно, например используя параллельный ssh ​​/ screen / tmux.
  Примечание:  изменения любой ВМ / CT или кластера в целом недопустимы на время обновления!
 Предварительно загрузите обновление до corosync-3 на всех узлах, например, с помощью:
 apt dist-upgrade - только загрузка
 
 Затем запустите фактическое обновление на всех узлах:
 apt dist-upgrade
 
 В любой момент этой процедуры локальное представление кворума кластера на узле можно проверить с помощью:
 pvecm статус
 
 После обновления Corosync 3.x выполняется  на всех узлах , перезапустите локальный диспетчер ресурсов и диспетчер ресурсов кластера на всех узлах:
 systemctl start pve-ha-lrm
 systemctl start pve-ha-crm
 
 Перемещение важных виртуальных машин и контейнеров 
 Если какие-либо виртуальные машины и CT должны продолжать работать на время обновления, перенесите их с узла, который в настоящее время обновляется. Миграция виртуальной машины или CT со старой версии Proxmox VE на более новую всегда будет работать. Миграция с более новой версии Proxmox VE на более старую может работать, но, как правило, не поддерживается.Помните об этом при планировании обновления кластера.
 Обновить настроенные репозитории APT 
 Сначала убедитесь, что система работает с использованием последних пакетов Proxmox VE 5.4:
 подходящее обновление
apt dist-upgrade
 
 Обновить все записи репозитория Debian до Buster.
 sed -i 's / stretch / buster / g' /etc/apt/sources.list
 
 Отключить все репозитории Proxmox VE 5.x. Сюда входят репозиторий pve-enterprise, репозиторий pve-no-subscription и репозиторий pvetest.
 Для этого добавьте символ #, чтобы закомментировать эти репозитории в файлах /etc/apt/sources.list.d/pve-enterprise.list и /etc/apt/sources.list.
 См. Package_Repositories
 Добавить репозиторий пакетов Proxmox VE 6 
 echo "deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise"> /etc/apt/sources.list.d/pve-enterprise.list
 
 Для репозитория без подписки см. Репозитории пакетов. Это может быть что-то вроде:
 sed -i -e 's / stretch / buster / g' / etc / apt / sources.list.d / pve-install-repo.list
 
  (только Ceph)  Замените репозитории ceph.com репозиториями ceph proxmox.com
 echo "deb http://download.proxmox.com/debian/ceph-luminous buster main"> /etc/apt/sources.list.d/ceph.list
 
 Если есть строка backports, удалите ее — в настоящее время обновление не тестировалось с установленными пакетами из репозитория backports.
 Обновить данные репозиториев:
 подходящее обновление
 
 Обновите систему до Debian Buster и Proxmox VE 6.0 
 Это действие может занять некоторое время в зависимости от производительности системы — до 60 минут и более. На высокопроизводительных серверах с SSD-хранилищем dist-upgrade можно завершить за 5 минут.
 Начните с этого шага, чтобы получить начальный набор обновленных пакетов:
 apt dist-upgrade
 
 Во время описанных выше шагов вас могут попросить утвердить некоторые из новых пакетов, заменяющих файлы конфигурации. Они не имеют отношения к обновлению Proxmox VE, поэтому вы можете выбирать, что хотите делать.
 Перезагрузите систему, чтобы использовать новое ядро ​​PVE.
 После обновления Proxmox VE 
 Для кластеров 
 удалите дополнительный репозиторий corosync 3, используемый для обновления corosync на PVE 5 / Stretch, если это еще не сделано. Если вы выполнили указанные здесь действия, вы можете просто выполнить для этого следующую команду:
 rm /etc/apt/sources.list.d/corosync3.list
 
 для гиперконвергентного Ceph 
 Теперь вы должны обновить кластер Ceph до версии Nautilus, следуя статье Ceph Luminous to Nautilus.
 Проблемы с контрольным списком 
 пакет proxmox-ve слишком старый 
 Проверьте записи настроенного репозитория пакетов (см. Package_Repositories) и запустите
 подходящее обновление
 
, за которым следует
 apt dist-upgrade
 
, чтобы получить последние пакеты PVE 5.x  перед обновлением  до PVE 6.x
 Установлен
 corosync 2.x, необходимо обновление всего кластера до 3.x! 
 См. Раздел Обновление до corosync 3  первый 
 Известные проблемы при обновлении 
 Общие 
 Как дистрибутив на основе Debian, Proxmox VE подвержен большинству проблем и изменений, влияющих на Debian.Так что не забудьте прочитать конкретные вопросы по обновлению для buster
 В частности, версия OpenSSL по умолчанию и повышенный уровень безопасности (обычно проверяется инструментом pve5to6) и семантика для использования переменных среды для su изменены
 При обновлении требуется удалить пакет ‘proxmox-ve’ 
 Если вы установили Proxmox VE поверх Debian Stretch, возможно, вы установили пакет linux-image-amd64, который
 конфликтует с текущими настройками 6.x. Чтобы решить эту проблему, вам нужно удалить этот пакет с помощью
 apt удалить linux-image-amd64
 
 до dist-upgrade.
 Нет пароля root 
 Для учетной записи root должен быть установлен пароль (который вы помните).
 В противном случае пакет  sudo  будет удален во время обновления, и поэтому вы не сможете снова войти в систему как root, если для последнего не установлен пароль.
 Если вы использовали официальный установщик Proxmox VE или Debian и не удалили его после установки, все в порядке.
 Виртуальные машины Qemu загружаются с OVMF (EFI) 
 Проблема с дисками EFI была исправлена ​​в qemu-server 6.1-12.
 Диск EFI в хранилище, не допускающий небольших (128 КБ) образов (например: CEPH, ZFS, LVM (тонкий)), был неправильно сопоставлен с виртуальной машиной. Хотя сейчас это исправлено, такая существующая настройка требует ручного вмешательства.
 Вам не нужно ничего делать, если ваши диски EFI используют qcow2 или «raw» в файловом хранилище.
  Перед обновлением  убедитесь, что на вашем ESP загрузочный двоичный файл EFI существует по адресу  \ EFI \ BOOT \ BOOTX64.EFI  (резервный вариант загрузки EFI по умолчанию).
 Windows и некоторые виртуальные машины Linux, использующие systemd-boot, должны делать это автоматически
  Если вы уже обновили  и он не загружается, см. Раздел «Загрузочные записи OVMF / UEFI» о том, как воссоздать загрузочную запись через меню загрузки OVMF.
 Устранение неполадок 
 Неудачное обновление до «buster» 
 Убедитесь, что конфигурация репозитория для Buster верна.
 Если произошел сбой сети и обновление было выполнено частично, попробуйте исправить ситуацию с помощью
 apt -f установить
 
 Невозможно загрузиться из-за отказа grub 
 См. Восстановление после сбоя Grub
 Сервер OVH заблокирован 
 Если вы используете OVH и после обновления не можете получить доступ к вашему серверу (без графического интерфейса, без SSH), прочтите это руководство на форуме Proxmox VE.
 Внешние ссылки 
 Обновление с 5.x до 6.0 
 Proxmox VE 6.x представляет несколько новых основных функций. Тщательно спланируйте обновление, сделайте и проверьте резервные копии перед началом и тщательно протестируйте. В зависимости от существующей конфигурации может потребоваться несколько ручных действий, включая некоторое время простоя.
  Примечание:  Действительная и протестированная резервная копия — это , всегда необходимо  до начала процесса обновления. Заранее протестируйте резервную копию в тестовой лаборатории.
 В случае, если система настроена и / или использует дополнительные пакеты или любые другие сторонние репозитории / пакеты, убедитесь, что эти пакеты также обновлены и совместимы с Debian Buster.
 В общем, есть два способа обновить систему Proxmox VE 5.x до Proxmox VE 6.x:
 Новая установка на новом оборудовании (и восстановление виртуальных машин из резервной копии)
 Обновление на месте с помощью apt (шаг за шагом)
 В обоих случаях после обновления требуется очистка кеша браузера и перезагрузка страницы графического интерфейса.
 Резервное копирование всех виртуальных машин и контейнеров на внешнее хранилище (см. Резервное копирование и восстановление).
 Резервное копирование всех файлов в / etc (требуется :  файлов в / etc / pve, а также / etc / passwd, / etc / network / interfaces, /etc/resolv.conf, а также все, что отличается от установки по умолчанию )
 Установите Proxmox VE из ISO (это удалит все данные на существующем хосте).
 Восстановите кластер, если применимо.
 Восстановите файл / etc / pve / storage.cfg (это сделает доступным внешнее хранилище, используемое для резервного копирования).
 Восстановите конфигурации брандмауэра / etc / pve / firewall / и /etc/pve/nodes//host.fw (если применимо).
 Восстановить полные ВМ из резервных копий (см. Резервное копирование и восстановление).
 Администраторы, привыкшие к командной строке, могут выполнить процедуру Обход резервного копирования и восстановления при обновлении, если все виртуальные машины / CT находятся в одном общем хранилище.
 Обновления на месте выполняются с помощью apt. Чтобы продолжить работу с этим механизмом обновления, необходимо знать apt.
 Предпосылки 
 Обновите Proxmox VE 5.4 до последней версии.
 Надежный доступ ко всем настроенным хранилищам.
 Здоровый кластер.
 Действительная и проверенная резервная копия всех виртуальных машин и CT (на случай, если что-то пойдет не так).
 Правильная настройка репозитория.
 Не менее 1 ГБ свободного места на диске в корневой точке монтирования.
 Ceph: обновите кластер Ceph до Nautilus  после обновления : следуйте руководству Ceph Luminous до Nautilus
 Проверьте известные проблемы обновления
 Тестирование обновления 
 Тест обновления можно легко выполнить сначала с помощью автономного сервера.Установите Proxmox VE 5.4 ISO на тестовое оборудование; затем обновите эту установку до последней минорной версии Proxmox VE 5.4 (см. Репозитории пакетов). Чтобы максимально точно воспроизвести производственную настройку, скопируйте или создайте все соответствующие конфигурации на тестовой машине. Затем запустите обновление. Также можно установить Proxmox VE 5.4 на виртуальную машину и протестировать обновление в этой среде.
 Действия по шагам 
 Следующие действия необходимо выполнить в командной строке каждого узла Proxmox VE в вашем кластере (через консоль или ssh; желательно через консоль, чтобы избежать прерывания ssh-соединений).Помните: перед продолжением убедитесь, что создана действительная резервная копия всех виртуальных машин и CT.
 Постоянно использовать скрипт контрольного списка 
 pve5to6 
 Небольшая программа-список с именем  pve5to6  включена в последние пакеты Proxmox VE 5.4. Программа будет предоставлять подсказки и предупреждения о потенциальных проблемах до, во время и после процесса обновления. Его можно вызвать, выполнив:
 pve5to6
 
 Этот скрипт только  проверяет  и сообщает вещи.По умолчанию в систему не вносятся никакие изменения, поэтому ни одна из проблем не будет устранена автоматически.
 Следует иметь в виду, что Proxmox VE можно сильно настраивать, поэтому сценарий может не распознавать все возможные проблемы конкретной установки!
 Рекомендуется повторно запускать сценарий после каждой попытки исправить проблему. Это гарантирует, что предпринятые действия фактически устранили соответствующее предупреждение.
 Кластер
: всегда сначала обновляйте до Corosync 3 
 В Corosync 3 формат передачи данных изменился.Теперь он несовместим с Corosync 2.x, потому что он отключил базовый стек многоадресной рассылки UDP с помощью kronosnet.
 Файлы конфигурации, сгенерированные Proxmox VE с версией 5.2 или новее, уже совместимы с новым Corosync 3.x (по крайней мере, достаточно, чтобы выполнить обновление без каких-либо проблем).
  Важное примечание:  перед обновлением сначала остановите все службы управления высокой доступностью — независимо от того, какой способ вы выберете для обновления до Corosync 3. Остановка всех служб высокой доступности гарантирует, что ни один из узлов кластера не будет изолирован во время обновления.Это также означает, что на короткое время обновления Corosync не будут доступны какие-либо функции высокой доступности.
 Во-первых, убедитесь, что все предупреждения, сообщаемые сценарием контрольного списка и не относящиеся к Corosync, исправлены или определены как положительные / ложноотрицательные. Затем остановите локальный менеджер ресурсов «pve-ha-lrm» на каждом узле. Только после того, как они были остановлены, также остановите диспетчер ресурсов кластера «pve-ha-crm» на каждом узле; используйте графический интерфейс (узел -> службы) или интерфейс командной строки, выполнив следующую команду на каждом узле:
 systemctl stop pve-ha-lrm
 
 Только  после , описанное выше было выполнено для  всех узлов , запустите следующее на каждом узле:
 systemctl stop pve-ha-crm
 
 Затем добавьте репозиторий Proxmox Corosync 3 Stretch:
 echo "deb http: // download.proxmox.com/debian/corosync-3/ stretch main "> /etc/apt/sources.list.d/corosync3.list
 
 и запустить
 подходящее обновление
 
 Затем еще раз убедитесь, что только corosync, kronosnet и их библиотеки будут обновлены или установлены заново:
 Список
 apt - обновляемый
Объявление ... Готово
corosync / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcmap4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcorosync-common4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-пвэ1]
libcpg4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libqb0 / stable 1.0.5-1 ~ bpo9 + 2 amd64 [возможность обновления с: 1.0.3-1 ~ bpo9]
libquorum5 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libvotequorum8 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
 
 Есть два способа продолжить обновление Corosync:
 Обновляйте узлы по одному. Первоначально только что обновленные узлы не будут иметь квоты самостоятельно. После того, как хотя бы половина узлов плюс один будут обновлены, обновленный раздел станет кворум, а еще не обновленный раздел потеряет кворум.После того, как все узлы будут обновлены, они должны снова сформировать здоровый кластер с квотой.
 Обновите все узлы одновременно, например используя параллельный ssh ​​/ screen / tmux.
  Примечание:  изменения любой ВМ / CT или кластера в целом недопустимы на время обновления!
 Предварительно загрузите обновление до corosync-3 на всех узлах, например, с помощью:
 apt dist-upgrade - только загрузка
 
 Затем запустите фактическое обновление на всех узлах:
 apt dist-upgrade
 
 В любой момент этой процедуры локальное представление кворума кластера на узле можно проверить с помощью:
 pvecm статус
 
 После обновления Corosync 3.x выполняется  на всех узлах , перезапустите локальный диспетчер ресурсов и диспетчер ресурсов кластера на всех узлах:
 systemctl start pve-ha-lrm
 systemctl start pve-ha-crm
 
 Перемещение важных виртуальных машин и контейнеров 
 Если какие-либо виртуальные машины и CT должны продолжать работать на время обновления, перенесите их с узла, который в настоящее время обновляется. Миграция виртуальной машины или CT со старой версии Proxmox VE на более новую всегда будет работать. Миграция с более новой версии Proxmox VE на более старую может работать, но, как правило, не поддерживается.Помните об этом при планировании обновления кластера.
 Обновить настроенные репозитории APT 
 Сначала убедитесь, что система работает с использованием последних пакетов Proxmox VE 5.4:
 подходящее обновление
apt dist-upgrade
 
 Обновить все записи репозитория Debian до Buster.
 sed -i 's / stretch / buster / g' /etc/apt/sources.list
 
 Отключить все репозитории Proxmox VE 5.x. Сюда входят репозиторий pve-enterprise, репозиторий pve-no-subscription и репозиторий pvetest.
 Для этого добавьте символ #, чтобы закомментировать эти репозитории в файлах /etc/apt/sources.list.d/pve-enterprise.list и /etc/apt/sources.list.
 См. Package_Repositories
 Добавить репозиторий пакетов Proxmox VE 6 
 echo "deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise"> /etc/apt/sources.list.d/pve-enterprise.list
 
 Для репозитория без подписки см. Репозитории пакетов. Это может быть что-то вроде:
 sed -i -e 's / stretch / buster / g' / etc / apt / sources.list.d / pve-install-repo.list
 
  (только Ceph)  Замените репозитории ceph.com репозиториями ceph proxmox.com
 echo "deb http://download.proxmox.com/debian/ceph-luminous buster main"> /etc/apt/sources.list.d/ceph.list
 
 Если есть строка backports, удалите ее — в настоящее время обновление не тестировалось с установленными пакетами из репозитория backports.
 Обновить данные репозиториев:
 подходящее обновление
 
 Обновите систему до Debian Buster и Proxmox VE 6.0 
 Это действие может занять некоторое время в зависимости от производительности системы — до 60 минут и более. На высокопроизводительных серверах с SSD-хранилищем dist-upgrade можно завершить за 5 минут.
 Начните с этого шага, чтобы получить начальный набор обновленных пакетов:
 apt dist-upgrade
 
 Во время описанных выше шагов вас могут попросить утвердить некоторые из новых пакетов, заменяющих файлы конфигурации. Они не имеют отношения к обновлению Proxmox VE, поэтому вы можете выбирать, что хотите делать.
 Перезагрузите систему, чтобы использовать новое ядро ​​PVE.
 После обновления Proxmox VE 
 Для кластеров 
 удалите дополнительный репозиторий corosync 3, используемый для обновления corosync на PVE 5 / Stretch, если это еще не сделано. Если вы выполнили указанные здесь действия, вы можете просто выполнить для этого следующую команду:
 rm /etc/apt/sources.list.d/corosync3.list
 
 для гиперконвергентного Ceph 
 Теперь вы должны обновить кластер Ceph до версии Nautilus, следуя статье Ceph Luminous to Nautilus.
 Проблемы с контрольным списком 
 пакет proxmox-ve слишком старый 
 Проверьте записи настроенного репозитория пакетов (см. Package_Repositories) и запустите
 подходящее обновление
 
, за которым следует
 apt dist-upgrade
 
, чтобы получить последние пакеты PVE 5.x  перед обновлением  до PVE 6.x
 Установлен
 corosync 2.x, необходимо обновление всего кластера до 3.x! 
 См. Раздел Обновление до corosync 3  первый 
 Известные проблемы при обновлении 
 Общие 
 Как дистрибутив на основе Debian, Proxmox VE подвержен большинству проблем и изменений, влияющих на Debian.Так что не забудьте прочитать конкретные вопросы по обновлению для buster
 В частности, версия OpenSSL по умолчанию и повышенный уровень безопасности (обычно проверяется инструментом pve5to6) и семантика для использования переменных среды для su изменены
 При обновлении требуется удалить пакет ‘proxmox-ve’ 
 Если вы установили Proxmox VE поверх Debian Stretch, возможно, вы установили пакет linux-image-amd64, который
 конфликтует с текущими настройками 6.x. Чтобы решить эту проблему, вам нужно удалить этот пакет с помощью
 apt удалить linux-image-amd64
 
 до dist-upgrade.
 Нет пароля root 
 Для учетной записи root должен быть установлен пароль (который вы помните).
 В противном случае пакет  sudo  будет удален во время обновления, и поэтому вы не сможете снова войти в систему как root, если для последнего не установлен пароль.
 Если вы использовали официальный установщик Proxmox VE или Debian и не удалили его после установки, все в порядке.
 Виртуальные машины Qemu загружаются с OVMF (EFI) 
 Проблема с дисками EFI была исправлена ​​в qemu-server 6.1-12.
 Диск EFI в хранилище, не допускающий небольших (128 КБ) образов (например: CEPH, ZFS, LVM (тонкий)), был неправильно сопоставлен с виртуальной машиной. Хотя сейчас это исправлено, такая существующая настройка требует ручного вмешательства.
 Вам не нужно ничего делать, если ваши диски EFI используют qcow2 или «raw» в файловом хранилище.
  Перед обновлением  убедитесь, что на вашем ESP загрузочный двоичный файл EFI существует по адресу  \ EFI \ BOOT \ BOOTX64.EFI  (резервный вариант загрузки EFI по умолчанию).
 Windows и некоторые виртуальные машины Linux, использующие systemd-boot, должны делать это автоматически
  Если вы уже обновили  и он не загружается, см. Раздел «Загрузочные записи OVMF / UEFI» о том, как воссоздать загрузочную запись через меню загрузки OVMF.
 Устранение неполадок 
 Неудачное обновление до «buster» 
 Убедитесь, что конфигурация репозитория для Buster верна.
 Если произошел сбой сети и обновление было выполнено частично, попробуйте исправить ситуацию с помощью
 apt -f установить
 
 Невозможно загрузиться из-за отказа grub 
 См. Восстановление после сбоя Grub
 Сервер OVH заблокирован 
 Если вы используете OVH и после обновления не можете получить доступ к вашему серверу (без графического интерфейса, без SSH), прочтите это руководство на форуме Proxmox VE.
 Внешние ссылки 
 Обновление с 5.x до 6.0 
 Proxmox VE 6.x представляет несколько новых основных функций. Тщательно спланируйте обновление, сделайте и проверьте резервные копии перед началом и тщательно протестируйте. В зависимости от существующей конфигурации может потребоваться несколько ручных действий, включая некоторое время простоя.
  Примечание:  Действительная и протестированная резервная копия — это , всегда необходимо  до начала процесса обновления. Заранее протестируйте резервную копию в тестовой лаборатории.
 В случае, если система настроена и / или использует дополнительные пакеты или любые другие сторонние репозитории / пакеты, убедитесь, что эти пакеты также обновлены и совместимы с Debian Buster.
 В общем, есть два способа обновить систему Proxmox VE 5.x до Proxmox VE 6.x:
 Новая установка на новом оборудовании (и восстановление виртуальных машин из резервной копии)
 Обновление на месте с помощью apt (шаг за шагом)
 В обоих случаях после обновления требуется очистка кеша браузера и перезагрузка страницы графического интерфейса.
 Резервное копирование всех виртуальных машин и контейнеров на внешнее хранилище (см. Резервное копирование и восстановление).
 Резервное копирование всех файлов в / etc (требуется :  файлов в / etc / pve, а также / etc / passwd, / etc / network / interfaces, /etc/resolv.conf, а также все, что отличается от установки по умолчанию )
 Установите Proxmox VE из ISO (это удалит все данные на существующем хосте).
 Восстановите кластер, если применимо.
 Восстановите файл / etc / pve / storage.cfg (это сделает доступным внешнее хранилище, используемое для резервного копирования).
 Восстановите конфигурации брандмауэра / etc / pve / firewall / и /etc/pve/nodes//host.fw (если применимо).
 Восстановить полные ВМ из резервных копий (см. Резервное копирование и восстановление).
 Администраторы, привыкшие к командной строке, могут выполнить процедуру Обход резервного копирования и восстановления при обновлении, если все виртуальные машины / CT находятся в одном общем хранилище.
 Обновления на месте выполняются с помощью apt. Чтобы продолжить работу с этим механизмом обновления, необходимо знать apt.
 Предпосылки 
 Обновите Proxmox VE 5.4 до последней версии.
 Надежный доступ ко всем настроенным хранилищам.
 Здоровый кластер.
 Действительная и проверенная резервная копия всех виртуальных машин и CT (на случай, если что-то пойдет не так).
 Правильная настройка репозитория.
 Не менее 1 ГБ свободного места на диске в корневой точке монтирования.
 Ceph: обновите кластер Ceph до Nautilus  после обновления : следуйте руководству Ceph Luminous до Nautilus
 Проверьте известные проблемы обновления
 Тестирование обновления 
 Тест обновления можно легко выполнить сначала с помощью автономного сервера.Установите Proxmox VE 5.4 ISO на тестовое оборудование; затем обновите эту установку до последней минорной версии Proxmox VE 5.4 (см. Репозитории пакетов). Чтобы максимально точно воспроизвести производственную настройку, скопируйте или создайте все соответствующие конфигурации на тестовой машине. Затем запустите обновление. Также можно установить Proxmox VE 5.4 на виртуальную машину и протестировать обновление в этой среде.
 Действия по шагам 
 Следующие действия необходимо выполнить в командной строке каждого узла Proxmox VE в вашем кластере (через консоль или ssh; желательно через консоль, чтобы избежать прерывания ssh-соединений).Помните: перед продолжением убедитесь, что создана действительная резервная копия всех виртуальных машин и CT.
 Постоянно использовать скрипт контрольного списка 
 pve5to6 
 Небольшая программа-список с именем  pve5to6  включена в последние пакеты Proxmox VE 5.4. Программа будет предоставлять подсказки и предупреждения о потенциальных проблемах до, во время и после процесса обновления. Его можно вызвать, выполнив:
 pve5to6
 
 Этот скрипт только  проверяет  и сообщает вещи.По умолчанию в систему не вносятся никакие изменения, поэтому ни одна из проблем не будет устранена автоматически.
 Следует иметь в виду, что Proxmox VE можно сильно настраивать, поэтому сценарий может не распознавать все возможные проблемы конкретной установки!
 Рекомендуется повторно запускать сценарий после каждой попытки исправить проблему. Это гарантирует, что предпринятые действия фактически устранили соответствующее предупреждение.
 Кластер
: всегда сначала обновляйте до Corosync 3 
 В Corosync 3 формат передачи данных изменился.Теперь он несовместим с Corosync 2.x, потому что он отключил базовый стек многоадресной рассылки UDP с помощью kronosnet.
 Файлы конфигурации, сгенерированные Proxmox VE с версией 5.2 или новее, уже совместимы с новым Corosync 3.x (по крайней мере, достаточно, чтобы выполнить обновление без каких-либо проблем).
  Важное примечание:  перед обновлением сначала остановите все службы управления высокой доступностью — независимо от того, какой способ вы выберете для обновления до Corosync 3. Остановка всех служб высокой доступности гарантирует, что ни один из узлов кластера не будет изолирован во время обновления.Это также означает, что на короткое время обновления Corosync не будут доступны какие-либо функции высокой доступности.
 Во-первых, убедитесь, что все предупреждения, сообщаемые сценарием контрольного списка и не относящиеся к Corosync, исправлены или определены как положительные / ложноотрицательные. Затем остановите локальный менеджер ресурсов «pve-ha-lrm» на каждом узле. Только после того, как они были остановлены, также остановите диспетчер ресурсов кластера «pve-ha-crm» на каждом узле; используйте графический интерфейс (узел -> службы) или интерфейс командной строки, выполнив следующую команду на каждом узле:
 systemctl stop pve-ha-lrm
 
 Только  после , описанное выше было выполнено для  всех узлов , запустите следующее на каждом узле:
 systemctl stop pve-ha-crm
 
 Затем добавьте репозиторий Proxmox Corosync 3 Stretch:
 echo "deb http: // download.proxmox.com/debian/corosync-3/ stretch main "> /etc/apt/sources.list.d/corosync3.list
 
 и запустить
 подходящее обновление
 
 Затем еще раз убедитесь, что только corosync, kronosnet и их библиотеки будут обновлены или установлены заново:
 Список
 apt - обновляемый
Объявление ... Готово
corosync / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcmap4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcorosync-common4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-пвэ1]
libcpg4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libqb0 / stable 1.0.5-1 ~ bpo9 + 2 amd64 [возможность обновления с: 1.0.3-1 ~ bpo9]
libquorum5 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libvotequorum8 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
 
 Есть два способа продолжить обновление Corosync:
 Обновляйте узлы по одному. Первоначально только что обновленные узлы не будут иметь квоты самостоятельно. После того, как хотя бы половина узлов плюс один будут обновлены, обновленный раздел станет кворум, а еще не обновленный раздел потеряет кворум.После того, как все узлы будут обновлены, они должны снова сформировать здоровый кластер с квотой.
 Обновите все узлы одновременно, например используя параллельный ssh ​​/ screen / tmux.
  Примечание:  изменения любой ВМ / CT или кластера в целом недопустимы на время обновления!
 Предварительно загрузите обновление до corosync-3 на всех узлах, например, с помощью:
 apt dist-upgrade - только загрузка
 
 Затем запустите фактическое обновление на всех узлах:
 apt dist-upgrade
 
 В любой момент этой процедуры локальное представление кворума кластера на узле можно проверить с помощью:
 pvecm статус
 
 После обновления Corosync 3.x выполняется  на всех узлах , перезапустите локальный диспетчер ресурсов и диспетчер ресурсов кластера на всех узлах:
 systemctl start pve-ha-lrm
 systemctl start pve-ha-crm
 
 Перемещение важных виртуальных машин и контейнеров 
 Если какие-либо виртуальные машины и CT должны продолжать работать на время обновления, перенесите их с узла, который в настоящее время обновляется. Миграция виртуальной машины или CT со старой версии Proxmox VE на более новую всегда будет работать. Миграция с более новой версии Proxmox VE на более старую может работать, но, как правило, не поддерживается.Помните об этом при планировании обновления кластера.
 Обновить настроенные репозитории APT 
 Сначала убедитесь, что система работает с использованием последних пакетов Proxmox VE 5.4:
 подходящее обновление
apt dist-upgrade
 
 Обновить все записи репозитория Debian до Buster.
 sed -i 's / stretch / buster / g' /etc/apt/sources.list
 
 Отключить все репозитории Proxmox VE 5.x. Сюда входят репозиторий pve-enterprise, репозиторий pve-no-subscription и репозиторий pvetest.
 Для этого добавьте символ #, чтобы закомментировать эти репозитории в файлах /etc/apt/sources.list.d/pve-enterprise.list и /etc/apt/sources.list.
 См. Package_Repositories
 Добавить репозиторий пакетов Proxmox VE 6 
 echo "deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise"> /etc/apt/sources.list.d/pve-enterprise.list
 
 Для репозитория без подписки см. Репозитории пакетов. Это может быть что-то вроде:
 sed -i -e 's / stretch / buster / g' / etc / apt / sources.list.d / pve-install-repo.list
 
  (только Ceph)  Замените репозитории ceph.com репозиториями ceph proxmox.com
 echo "deb http://download.proxmox.com/debian/ceph-luminous buster main"> /etc/apt/sources.list.d/ceph.list
 
 Если есть строка backports, удалите ее — в настоящее время обновление не тестировалось с установленными пакетами из репозитория backports.
 Обновить данные репозиториев:
 подходящее обновление
 
 Обновите систему до Debian Buster и Proxmox VE 6.0 
 Это действие может занять некоторое время в зависимости от производительности системы — до 60 минут и более. На высокопроизводительных серверах с SSD-хранилищем dist-upgrade можно завершить за 5 минут.
 Начните с этого шага, чтобы получить начальный набор обновленных пакетов:
 apt dist-upgrade
 
 Во время описанных выше шагов вас могут попросить утвердить некоторые из новых пакетов, заменяющих файлы конфигурации. Они не имеют отношения к обновлению Proxmox VE, поэтому вы можете выбирать, что хотите делать.
 Перезагрузите систему, чтобы использовать новое ядро ​​PVE.
 После обновления Proxmox VE 
 Для кластеров 
 удалите дополнительный репозиторий corosync 3, используемый для обновления corosync на PVE 5 / Stretch, если это еще не сделано. Если вы выполнили указанные здесь действия, вы можете просто выполнить для этого следующую команду:
 rm /etc/apt/sources.list.d/corosync3.list
 
 для гиперконвергентного Ceph 
 Теперь вы должны обновить кластер Ceph до версии Nautilus, следуя статье Ceph Luminous to Nautilus.
 Проблемы с контрольным списком 
 пакет proxmox-ve слишком старый 
 Проверьте записи настроенного репозитория пакетов (см. Package_Repositories) и запустите
 подходящее обновление
 
, за которым следует
 apt dist-upgrade
 
, чтобы получить последние пакеты PVE 5.x  перед обновлением  до PVE 6.x
 Установлен
 corosync 2.x, необходимо обновление всего кластера до 3.x! 
 См. Раздел Обновление до corosync 3  первый 
 Известные проблемы при обновлении 
 Общие 
 Как дистрибутив на основе Debian, Proxmox VE подвержен большинству проблем и изменений, влияющих на Debian.Так что не забудьте прочитать конкретные вопросы по обновлению для buster
 В частности, версия OpenSSL по умолчанию и повышенный уровень безопасности (обычно проверяется инструментом pve5to6) и семантика для использования переменных среды для su изменены
 При обновлении требуется удалить пакет ‘proxmox-ve’ 
 Если вы установили Proxmox VE поверх Debian Stretch, возможно, вы установили пакет linux-image-amd64, который
 конфликтует с текущими настройками 6.x. Чтобы решить эту проблему, вам нужно удалить этот пакет с помощью
 apt удалить linux-image-amd64
 
 до dist-upgrade.
 Нет пароля root 
 Для учетной записи root должен быть установлен пароль (который вы помните).
 В противном случае пакет  sudo  будет удален во время обновления, и поэтому вы не сможете снова войти в систему как root, если для последнего не установлен пароль.
 Если вы использовали официальный установщик Proxmox VE или Debian и не удалили его после установки, все в порядке.
 Виртуальные машины Qemu загружаются с OVMF (EFI) 
 Проблема с дисками EFI была исправлена ​​в qemu-server 6.1-12.
 Диск EFI в хранилище, не допускающий небольших (128 КБ) образов (например: CEPH, ZFS, LVM (тонкий)), был неправильно сопоставлен с виртуальной машиной. Хотя сейчас это исправлено, такая существующая настройка требует ручного вмешательства.
 Вам не нужно ничего делать, если ваши диски EFI используют qcow2 или «raw» в файловом хранилище.
  Перед обновлением  убедитесь, что на вашем ESP загрузочный двоичный файл EFI существует по адресу  \ EFI \ BOOT \ BOOTX64.EFI  (резервный вариант загрузки EFI по умолчанию).
 Windows и некоторые виртуальные машины Linux, использующие systemd-boot, должны делать это автоматически
  Если вы уже обновили  и он не загружается, см. Раздел «Загрузочные записи OVMF / UEFI» о том, как воссоздать загрузочную запись через меню загрузки OVMF.
 Устранение неполадок 
 Неудачное обновление до «buster» 
 Убедитесь, что конфигурация репозитория для Buster верна.
 Если произошел сбой сети и обновление было выполнено частично, попробуйте исправить ситуацию с помощью
 apt -f установить
 
 Невозможно загрузиться из-за отказа grub 
 См. Восстановление после сбоя Grub
 Сервер OVH заблокирован 
 Если вы используете OVH и после обновления не можете получить доступ к вашему серверу (без графического интерфейса, без SSH), прочтите это руководство на форуме Proxmox VE.
 Внешние ссылки 
 Обновление с 5.x до 6.0 
 Proxmox VE 6.x представляет несколько новых основных функций. Тщательно спланируйте обновление, сделайте и проверьте резервные копии перед началом и тщательно протестируйте. В зависимости от существующей конфигурации может потребоваться несколько ручных действий, включая некоторое время простоя.
  Примечание:  Действительная и протестированная резервная копия — это , всегда необходимо  до начала процесса обновления. Заранее протестируйте резервную копию в тестовой лаборатории.
 В случае, если система настроена и / или использует дополнительные пакеты или любые другие сторонние репозитории / пакеты, убедитесь, что эти пакеты также обновлены и совместимы с Debian Buster.
 В общем, есть два способа обновить систему Proxmox VE 5.x до Proxmox VE 6.x:
 Новая установка на новом оборудовании (и восстановление виртуальных машин из резервной копии)
 Обновление на месте с помощью apt (шаг за шагом)
 В обоих случаях после обновления требуется очистка кеша браузера и перезагрузка страницы графического интерфейса.
 Резервное копирование всех виртуальных машин и контейнеров на внешнее хранилище (см. Резервное копирование и восстановление).
 Резервное копирование всех файлов в / etc (требуется :  файлов в / etc / pve, а также / etc / passwd, / etc / network / interfaces, /etc/resolv.conf, а также все, что отличается от установки по умолчанию )
 Установите Proxmox VE из ISO (это удалит все данные на существующем хосте).
 Восстановите кластер, если применимо.
 Восстановите файл / etc / pve / storage.cfg (это сделает доступным внешнее хранилище, используемое для резервного копирования).
 Восстановите конфигурации брандмауэра / etc / pve / firewall / и /etc/pve/nodes//host.fw (если применимо).
 Восстановить полные ВМ из резервных копий (см. Резервное копирование и восстановление).
 Администраторы, привыкшие к командной строке, могут выполнить процедуру Обход резервного копирования и восстановления при обновлении, если все виртуальные машины / CT находятся в одном общем хранилище.
 Обновления на месте выполняются с помощью apt. Чтобы продолжить работу с этим механизмом обновления, необходимо знать apt.
 Предпосылки 
 Обновите Proxmox VE 5.4 до последней версии.
 Надежный доступ ко всем настроенным хранилищам.
 Здоровый кластер.
 Действительная и проверенная резервная копия всех виртуальных машин и CT (на случай, если что-то пойдет не так).
 Правильная настройка репозитория.
 Не менее 1 ГБ свободного места на диске в корневой точке монтирования.
 Ceph: обновите кластер Ceph до Nautilus  после обновления : следуйте руководству Ceph Luminous до Nautilus
 Проверьте известные проблемы обновления
 Тестирование обновления 
 Тест обновления можно легко выполнить сначала с помощью автономного сервера.Установите Proxmox VE 5.4 ISO на тестовое оборудование; затем обновите эту установку до последней минорной версии Proxmox VE 5.4 (см. Репозитории пакетов). Чтобы максимально точно воспроизвести производственную настройку, скопируйте или создайте все соответствующие конфигурации на тестовой машине. Затем запустите обновление. Также можно установить Proxmox VE 5.4 на виртуальную машину и протестировать обновление в этой среде.
 Действия по шагам 
 Следующие действия необходимо выполнить в командной строке каждого узла Proxmox VE в вашем кластере (через консоль или ssh; желательно через консоль, чтобы избежать прерывания ssh-соединений).Помните: перед продолжением убедитесь, что создана действительная резервная копия всех виртуальных машин и CT.
 Постоянно использовать скрипт контрольного списка 
 pve5to6 
 Небольшая программа-список с именем  pve5to6  включена в последние пакеты Proxmox VE 5.4. Программа будет предоставлять подсказки и предупреждения о потенциальных проблемах до, во время и после процесса обновления. Его можно вызвать, выполнив:
 pve5to6
 
 Этот скрипт только  проверяет  и сообщает вещи.По умолчанию в систему не вносятся никакие изменения, поэтому ни одна из проблем не будет устранена автоматически.
 Следует иметь в виду, что Proxmox VE можно сильно настраивать, поэтому сценарий может не распознавать все возможные проблемы конкретной установки!
 Рекомендуется повторно запускать сценарий после каждой попытки исправить проблему. Это гарантирует, что предпринятые действия фактически устранили соответствующее предупреждение.
 Кластер
: всегда сначала обновляйте до Corosync 3 
 В Corosync 3 формат передачи данных изменился.Теперь он несовместим с Corosync 2.x, потому что он отключил базовый стек многоадресной рассылки UDP с помощью kronosnet.
 Файлы конфигурации, сгенерированные Proxmox VE с версией 5.2 или новее, уже совместимы с новым Corosync 3.x (по крайней мере, достаточно, чтобы выполнить обновление без каких-либо проблем).
  Важное примечание:  перед обновлением сначала остановите все службы управления высокой доступностью — независимо от того, какой способ вы выберете для обновления до Corosync 3. Остановка всех служб высокой доступности гарантирует, что ни один из узлов кластера не будет изолирован во время обновления.Это также означает, что на короткое время обновления Corosync не будут доступны какие-либо функции высокой доступности.
 Во-первых, убедитесь, что все предупреждения, сообщаемые сценарием контрольного списка и не относящиеся к Corosync, исправлены или определены как положительные / ложноотрицательные. Затем остановите локальный менеджер ресурсов «pve-ha-lrm» на каждом узле. Только после того, как они были остановлены, также остановите диспетчер ресурсов кластера «pve-ha-crm» на каждом узле; используйте графический интерфейс (узел -> службы) или интерфейс командной строки, выполнив следующую команду на каждом узле:
 systemctl stop pve-ha-lrm
 
 Только  после , описанное выше было выполнено для  всех узлов , запустите следующее на каждом узле:
 systemctl stop pve-ha-crm
 
 Затем добавьте репозиторий Proxmox Corosync 3 Stretch:
 echo "deb http: // download.proxmox.com/debian/corosync-3/ stretch main "> /etc/apt/sources.list.d/corosync3.list
 
 и запустить
 подходящее обновление
 
 Затем еще раз убедитесь, что только corosync, kronosnet и их библиотеки будут обновлены или установлены заново:
 Список
 apt - обновляемый
Объявление ... Готово
corosync / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcmap4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcorosync-common4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-пвэ1]
libcpg4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libqb0 / stable 1.0.5-1 ~ bpo9 + 2 amd64 [возможность обновления с: 1.0.3-1 ~ bpo9]
libquorum5 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libvotequorum8 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
 
 Есть два способа продолжить обновление Corosync:
 Обновляйте узлы по одному. Первоначально только что обновленные узлы не будут иметь квоты самостоятельно. После того, как хотя бы половина узлов плюс один будут обновлены, обновленный раздел станет кворум, а еще не обновленный раздел потеряет кворум.После того, как все узлы будут обновлены, они должны снова сформировать здоровый кластер с квотой.
 Обновите все узлы одновременно, например используя параллельный ssh ​​/ screen / tmux.
  Примечание:  изменения любой ВМ / CT или кластера в целом недопустимы на время обновления!
 Предварительно загрузите обновление до corosync-3 на всех узлах, например, с помощью:
 apt dist-upgrade - только загрузка
 
 Затем запустите фактическое обновление на всех узлах:
 apt dist-upgrade
 
 В любой момент этой процедуры локальное представление кворума кластера на узле можно проверить с помощью:
 pvecm статус
 
 После обновления Corosync 3.x выполняется  на всех узлах , перезапустите локальный диспетчер ресурсов и диспетчер ресурсов кластера на всех узлах:
 systemctl start pve-ha-lrm
 systemctl start pve-ha-crm
 
 Перемещение важных виртуальных машин и контейнеров 
 Если какие-либо виртуальные машины и CT должны продолжать работать на время обновления, перенесите их с узла, который в настоящее время обновляется. Миграция виртуальной машины или CT со старой версии Proxmox VE на более новую всегда будет работать. Миграция с более новой версии Proxmox VE на более старую может работать, но, как правило, не поддерживается.Помните об этом при планировании обновления кластера.
 Обновить настроенные репозитории APT 
 Сначала убедитесь, что система работает с использованием последних пакетов Proxmox VE 5.4:
 подходящее обновление
apt dist-upgrade
 
 Обновить все записи репозитория Debian до Buster.
 sed -i 's / stretch / buster / g' /etc/apt/sources.list
 
 Отключить все репозитории Proxmox VE 5.x. Сюда входят репозиторий pve-enterprise, репозиторий pve-no-subscription и репозиторий pvetest.
 Для этого добавьте символ #, чтобы закомментировать эти репозитории в файлах /etc/apt/sources.list.d/pve-enterprise.list и /etc/apt/sources.list.
 См. Package_Repositories
 Добавить репозиторий пакетов Proxmox VE 6 
 echo "deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise"> /etc/apt/sources.list.d/pve-enterprise.list
 
 Для репозитория без подписки см. Репозитории пакетов. Это может быть что-то вроде:
 sed -i -e 's / stretch / buster / g' / etc / apt / sources.list.d / pve-install-repo.list
 
  (только Ceph)  Замените репозитории ceph.com репозиториями ceph proxmox.com
 echo "deb http://download.proxmox.com/debian/ceph-luminous buster main"> /etc/apt/sources.list.d/ceph.list
 
 Если есть строка backports, удалите ее — в настоящее время обновление не тестировалось с установленными пакетами из репозитория backports.
 Обновить данные репозиториев:
 подходящее обновление
 
 Обновите систему до Debian Buster и Proxmox VE 6.0 
 Это действие может занять некоторое время в зависимости от производительности системы — до 60 минут и более. На высокопроизводительных серверах с SSD-хранилищем dist-upgrade можно завершить за 5 минут.
 Начните с этого шага, чтобы получить начальный набор обновленных пакетов:
 apt dist-upgrade
 
 Во время описанных выше шагов вас могут попросить утвердить некоторые из новых пакетов, заменяющих файлы конфигурации. Они не имеют отношения к обновлению Proxmox VE, поэтому вы можете выбирать, что хотите делать.
 Перезагрузите систему, чтобы использовать новое ядро ​​PVE.
 После обновления Proxmox VE 
 Для кластеров 
 удалите дополнительный репозиторий corosync 3, используемый для обновления corosync на PVE 5 / Stretch, если это еще не сделано. Если вы выполнили указанные здесь действия, вы можете просто выполнить для этого следующую команду:
 rm /etc/apt/sources.list.d/corosync3.list
 
 для гиперконвергентного Ceph 
 Теперь вы должны обновить кластер Ceph до версии Nautilus, следуя статье Ceph Luminous to Nautilus.
 Проблемы с контрольным списком 
 пакет proxmox-ve слишком старый 
 Проверьте записи настроенного репозитория пакетов (см. Package_Repositories) и запустите
 подходящее обновление
 
, за которым следует
 apt dist-upgrade
 
, чтобы получить последние пакеты PVE 5.x  перед обновлением  до PVE 6.x
 Установлен
 corosync 2.x, необходимо обновление всего кластера до 3.x! 
 См. Раздел Обновление до corosync 3  первый 
 Известные проблемы при обновлении 
 Общие 
 Как дистрибутив на основе Debian, Proxmox VE подвержен большинству проблем и изменений, влияющих на Debian.Так что не забудьте прочитать конкретные вопросы по обновлению для buster
 В частности, версия OpenSSL по умолчанию и повышенный уровень безопасности (обычно проверяется инструментом pve5to6) и семантика для использования переменных среды для su изменены
 При обновлении требуется удалить пакет ‘proxmox-ve’ 
 Если вы установили Proxmox VE поверх Debian Stretch, возможно, вы установили пакет linux-image-amd64, который
 конфликтует с текущими настройками 6.x. Чтобы решить эту проблему, вам нужно удалить этот пакет с помощью
 apt удалить linux-image-amd64
 
 до dist-upgrade.
 Нет пароля root 
 Для учетной записи root должен быть установлен пароль (который вы помните).
 В противном случае пакет  sudo  будет удален во время обновления, и поэтому вы не сможете снова войти в систему как root, если для последнего не установлен пароль.
 Если вы использовали официальный установщик Proxmox VE или Debian и не удалили его после установки, все в порядке.
 Виртуальные машины Qemu загружаются с OVMF (EFI) 
 Проблема с дисками EFI была исправлена ​​в qemu-server 6.1-12.
 Диск EFI в хранилище, не допускающий небольших (128 КБ) образов (например: CEPH, ZFS, LVM (тонкий)), был неправильно сопоставлен с виртуальной машиной. Хотя сейчас это исправлено, такая существующая настройка требует ручного вмешательства.
 Вам не нужно ничего делать, если ваши диски EFI используют qcow2 или «raw» в файловом хранилище.
  Перед обновлением  убедитесь, что на вашем ESP загрузочный двоичный файл EFI существует по адресу  \ EFI \ BOOT \ BOOTX64.EFI  (резервный вариант загрузки EFI по умолчанию).
 Windows и некоторые виртуальные машины Linux, использующие systemd-boot, должны делать это автоматически
  Если вы уже обновили  и он не загружается, см. Раздел «Загрузочные записи OVMF / UEFI» о том, как воссоздать загрузочную запись через меню загрузки OVMF.
 Устранение неполадок 
 Неудачное обновление до «buster» 
 Убедитесь, что конфигурация репозитория для Buster верна.
 Если произошел сбой сети и обновление было выполнено частично, попробуйте исправить ситуацию с помощью
 apt -f установить
 
 Невозможно загрузиться из-за отказа grub 
 См. Восстановление после сбоя Grub
 Сервер OVH заблокирован 
 Если вы используете OVH и после обновления не можете получить доступ к вашему серверу (без графического интерфейса, без SSH), прочтите это руководство на форуме Proxmox VE.
 Внешние ссылки 
 Обновление с 5.x до 6.0 
 Proxmox VE 6.x представляет несколько новых основных функций. Тщательно спланируйте обновление, сделайте и проверьте резервные копии перед началом и тщательно протестируйте. В зависимости от существующей конфигурации может потребоваться несколько ручных действий, включая некоторое время простоя.
  Примечание:  Действительная и протестированная резервная копия — это , всегда необходимо  до начала процесса обновления. Заранее протестируйте резервную копию в тестовой лаборатории.
 В случае, если система настроена и / или использует дополнительные пакеты или любые другие сторонние репозитории / пакеты, убедитесь, что эти пакеты также обновлены и совместимы с Debian Buster.
 В общем, есть два способа обновить систему Proxmox VE 5.x до Proxmox VE 6.x:
 Новая установка на новом оборудовании (и восстановление виртуальных машин из резервной копии)
 Обновление на месте с помощью apt (шаг за шагом)
 В обоих случаях после обновления требуется очистка кеша браузера и перезагрузка страницы графического интерфейса.
 Резервное копирование всех виртуальных машин и контейнеров на внешнее хранилище (см. Резервное копирование и восстановление).
 Резервное копирование всех файлов в / etc (требуется :  файлов в / etc / pve, а также / etc / passwd, / etc / network / interfaces, /etc/resolv.conf, а также все, что отличается от установки по умолчанию )
 Установите Proxmox VE из ISO (это удалит все данные на существующем хосте).
 Восстановите кластер, если применимо.
 Восстановите файл / etc / pve / storage.cfg (это сделает доступным внешнее хранилище, используемое для резервного копирования).
 Восстановите конфигурации брандмауэра / etc / pve / firewall / и /etc/pve/nodes//host.fw (если применимо).
 Восстановить полные ВМ из резервных копий (см. Резервное копирование и восстановление).
 Администраторы, привыкшие к командной строке, могут выполнить процедуру Обход резервного копирования и восстановления при обновлении, если все виртуальные машины / CT находятся в одном общем хранилище.
 Обновления на месте выполняются с помощью apt. Чтобы продолжить работу с этим механизмом обновления, необходимо знать apt.
 Предпосылки 
 Обновите Proxmox VE 5.4 до последней версии.
 Надежный доступ ко всем настроенным хранилищам.
 Здоровый кластер.
 Действительная и проверенная резервная копия всех виртуальных машин и CT (на случай, если что-то пойдет не так).
 Правильная настройка репозитория.
 Не менее 1 ГБ свободного места на диске в корневой точке монтирования.
 Ceph: обновите кластер Ceph до Nautilus  после обновления : следуйте руководству Ceph Luminous до Nautilus
 Проверьте известные проблемы обновления
 Тестирование обновления 
 Тест обновления можно легко выполнить сначала с помощью автономного сервера.Установите Proxmox VE 5.4 ISO на тестовое оборудование; затем обновите эту установку до последней минорной версии Proxmox VE 5.4 (см. Репозитории пакетов). Чтобы максимально точно воспроизвести производственную настройку, скопируйте или создайте все соответствующие конфигурации на тестовой машине. Затем запустите обновление. Также можно установить Proxmox VE 5.4 на виртуальную машину и протестировать обновление в этой среде.
 Действия по шагам 
 Следующие действия необходимо выполнить в командной строке каждого узла Proxmox VE в вашем кластере (через консоль или ssh; желательно через консоль, чтобы избежать прерывания ssh-соединений).Помните: перед продолжением убедитесь, что создана действительная резервная копия всех виртуальных машин и CT.
 Постоянно использовать скрипт контрольного списка 
 pve5to6 
 Небольшая программа-список с именем  pve5to6  включена в последние пакеты Proxmox VE 5.4. Программа будет предоставлять подсказки и предупреждения о потенциальных проблемах до, во время и после процесса обновления. Его можно вызвать, выполнив:
 pve5to6
 
 Этот скрипт только  проверяет  и сообщает вещи.По умолчанию в систему не вносятся никакие изменения, поэтому ни одна из проблем не будет устранена автоматически.
 Следует иметь в виду, что Proxmox VE можно сильно настраивать, поэтому сценарий может не распознавать все возможные проблемы конкретной установки!
 Рекомендуется повторно запускать сценарий после каждой попытки исправить проблему. Это гарантирует, что предпринятые действия фактически устранили соответствующее предупреждение.
 Кластер
: всегда сначала обновляйте до Corosync 3 
 В Corosync 3 формат передачи данных изменился.Теперь он несовместим с Corosync 2.x, потому что он отключил базовый стек многоадресной рассылки UDP с помощью kronosnet.
 Файлы конфигурации, сгенерированные Proxmox VE с версией 5.2 или новее, уже совместимы с новым Corosync 3.x (по крайней мере, достаточно, чтобы выполнить обновление без каких-либо проблем).
  Важное примечание:  перед обновлением сначала остановите все службы управления высокой доступностью — независимо от того, какой способ вы выберете для обновления до Corosync 3. Остановка всех служб высокой доступности гарантирует, что ни один из узлов кластера не будет изолирован во время обновления.Это также означает, что на короткое время обновления Corosync не будут доступны какие-либо функции высокой доступности.
 Во-первых, убедитесь, что все предупреждения, сообщаемые сценарием контрольного списка и не относящиеся к Corosync, исправлены или определены как положительные / ложноотрицательные. Затем остановите локальный менеджер ресурсов «pve-ha-lrm» на каждом узле. Только после того, как они были остановлены, также остановите диспетчер ресурсов кластера «pve-ha-crm» на каждом узле; используйте графический интерфейс (узел -> службы) или интерфейс командной строки, выполнив следующую команду на каждом узле:
 systemctl stop pve-ha-lrm
 
 Только  после , описанное выше было выполнено для  всех узлов , запустите следующее на каждом узле:
 systemctl stop pve-ha-crm
 
 Затем добавьте репозиторий Proxmox Corosync 3 Stretch:
 echo "deb http: // download.proxmox.com/debian/corosync-3/ stretch main "> /etc/apt/sources.list.d/corosync3.list
 
 и запустить
 подходящее обновление
 
 Затем еще раз убедитесь, что только corosync, kronosnet и их библиотеки будут обновлены или установлены заново:
 Список
 apt - обновляемый
Объявление ... Готово
corosync / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcmap4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libcorosync-common4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-пвэ1]
libcpg4 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libqb0 / stable 1.0.5-1 ~ bpo9 + 2 amd64 [возможность обновления с: 1.0.3-1 ~ bpo9]
libquorum5 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
libvotequorum8 / stable 3.0.2-pve2 ~ bpo9 amd64 [возможность обновления с: 2.4.4-pve1]
 
 Есть два способа продолжить обновление Corosync:
 Обновляйте узлы по одному. Первоначально только что обновленные узлы не будут иметь квоты самостоятельно. После того, как хотя бы половина узлов плюс один будут обновлены, обновленный раздел станет кворум, а еще не обновленный раздел потеряет кворум.После того, как все узлы будут обновлены, они должны снова сформировать здоровый кластер с квотой.
 Обновите все узлы одновременно, например используя параллельный ssh ​​/ screen / tmux.
  Примечание:  изменения любой ВМ / CT или кластера в целом недопустимы на время обновления!
 Предварительно загрузите обновление до corosync-3 на всех узлах, например, с помощью:
 apt dist-upgrade - только загрузка
 
 Затем запустите фактическое обновление на всех узлах:
 apt dist-upgrade
 
 В любой момент этой процедуры локальное представление кворума кластера на узле можно проверить с помощью:
 pvecm статус
 
 После обновления Corosync 3.x выполняется  на всех узлах , перезапустите локальный диспетчер ресурсов и диспетчер ресурсов кластера на всех узлах:
 systemctl start pve-ha-lrm
 systemctl start pve-ha-crm
 
 Перемещение важных виртуальных машин и контейнеров 
 Если какие-либо виртуальные машины и CT должны продолжать работать на время обновления, перенесите их с узла, который в настоящее время обновляется. Миграция виртуальной машины или CT со старой версии Proxmox VE на более новую всегда будет работать. Миграция с более новой версии Proxmox VE на более старую может работать, но, как правило, не поддерживается.Помните об этом при планировании обновления кластера.
 Обновить настроенные репозитории APT 
 Сначала убедитесь, что система работает с использованием последних пакетов Proxmox VE 5.4:
 подходящее обновление
apt dist-upgrade
 
 Обновить все записи репозитория Debian до Buster.
 sed -i 's / stretch / buster / g' /etc/apt/sources.list
 
 Отключить все репозитории Proxmox VE 5.x. Сюда входят репозиторий pve-enterprise, репозиторий pve-no-subscription и репозиторий pvetest.
 Для этого добавьте символ #, чтобы закомментировать эти репозитории в файлах /etc/apt/sources.list.d/pve-enterprise.list и /etc/apt/sources.list.
 См. Package_Repositories
 Добавить репозиторий пакетов Proxmox VE 6 
 echo "deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise"> /etc/apt/sources.list.d/pve-enterprise.list
 
 Для репозитория без подписки см. Репозитории пакетов. Это может быть что-то вроде:
 sed -i -e 's / stretch / buster / g' / etc / apt / sources.list.d / pve-install-repo.list
 
  (только Ceph)  Замените репозитории ceph.com репозиториями ceph proxmox.com
 echo "deb http://download.proxmox.com/debian/ceph-luminous buster main"> /etc/apt/sources.list.d/ceph.list
 
 Если есть строка backports, удалите ее — в настоящее время обновление не тестировалось с установленными пакетами из репозитория backports.
 Обновить данные репозиториев:
 подходящее обновление
 
 Обновите систему до Debian Buster и Proxmox VE 6.0 
 Это действие может занять некоторое время в зависимости от производительности системы — до 60 минут и более. На высокопроизводительных серверах с SSD-хранилищем dist-upgrade можно завершить за 5 минут.
 Начните с этого шага, чтобы получить начальный набор обновленных пакетов:
 apt dist-upgrade
 
 Во время описанных выше шагов вас могут попросить утвердить некоторые из новых пакетов, заменяющих файлы конфигурации. Они не имеют отношения к обновлению Proxmox VE, поэтому вы можете выбирать, что хотите делать.
 Перезагрузите систему, чтобы использовать новое ядро ​​PVE.
 После обновления Proxmox VE 
 Для кластеров 
 удалите дополнительный репозиторий corosync 3, используемый для обновления corosync на PVE 5 / Stretch, если это еще не сделано. Если вы выполнили указанные здесь действия, вы можете просто выполнить для этого следующую команду:
 rm /etc/apt/sources.list.d/corosync3.list
 
 для гиперконвергентного Ceph 
 Теперь вы должны обновить кластер Ceph до версии Nautilus, следуя статье Ceph Luminous to Nautilus.
 Проблемы с контрольным списком 
 пакет proxmox-ve слишком старый 
 Проверьте записи настроенного репозитория пакетов (см. Package_Repositories) и запустите
 подходящее обновление
 
, за которым следует
 apt dist-upgrade
 
, чтобы получить последние пакеты PVE 5.x  перед обновлением  до PVE 6.x
 Установлен
 corosync 2.x, необходимо обновление всего кластера до 3.x! 
 См. Раздел Обновление до corosync 3  первый 
 Известные проблемы при обновлении 
 Общие 
 Как дистрибутив на основе Debian, Proxmox VE подвержен большинству проблем и изменений, влияющих на Debian.Так что не забудьте прочитать конкретные вопросы по обновлению для buster
 В частности, версия OpenSSL по умолчанию и повышенный уровень безопасности (обычно проверяется инструментом pve5to6) и семантика для использования переменных среды для su изменены
 При обновлении требуется удалить пакет ‘proxmox-ve’ 
 Если вы установили Proxmox VE поверх Debian Stretch, возможно, вы установили пакет linux-image-amd64, который
 конфликтует с текущими настройками 6.x. Чтобы решить эту проблему, вам нужно удалить этот пакет с помощью
 apt удалить linux-image-amd64
 
 до dist-upgrade.
 Нет пароля root 
 Для учетной записи root должен быть установлен пароль (который вы помните).
 В противном случае пакет  sudo  будет удален во время обновления, и поэтому вы не сможете снова войти в систему как root, если для последнего не установлен пароль.
 Если вы использовали официальный установщик Proxmox VE или Debian и не удалили его после установки, все в порядке.
 Виртуальные машины Qemu загружаются с OVMF (EFI) 
 Проблема с дисками EFI была исправлена ​​в qemu-server 6.1-12.
 Диск EFI в хранилище, не допускающий небольших (128 КБ) образов (например: CEPH, ZFS, LVM (тонкий)), был неправильно сопоставлен с виртуальной машиной. Хотя сейчас это исправлено, такая существующая настройка требует ручного вмешательства.
 Вам не нужно ничего делать, если ваши диски EFI используют qcow2 или «raw» в файловом хранилище.
  Перед обновлением  убедитесь, что на вашем ESP загрузочный двоичный файл EFI существует по адресу  \ EFI \ BOOT \ BOOTX64.EFI  (резервный вариант загрузки EFI по умолчанию).
 Windows и некоторые виртуальные машины Linux, использующие systemd-boot, должны делать это автоматически
  Если вы уже обновили  и он не загружается, см. Раздел «Загрузочные записи OVMF / UEFI» о том, как воссоздать загрузочную запись через меню загрузки OVMF.
 Устранение неполадок 
 Неудачное обновление до «buster» 
 Убедитесь, что конфигурация репозитория для Buster верна.
 Если произошел сбой сети и обновление было выполнено частично, попробуйте исправить ситуацию с помощью
 apt -f установить
 
 Невозможно загрузиться из-за отказа grub 
 См. Восстановление после сбоя Grub
 Сервер OVH заблокирован 
 Если вы используете OVH и после обновления не можете получить доступ к вашему серверу (без графического интерфейса, без SSH), прочтите это руководство на форуме Proxmox VE.
 Внешние ссылки 
 Proxmox VE 
  Сегодня, 1 апреля 2021 года, доступно 223 статьи. 
  Proxmox Virtual Environment  — это решение для управления виртуализацией серверов с открытым исходным кодом, основанное на QEMU / KVM и LXC. Вы можете управлять виртуальными машинами, контейнерами, высокодоступными кластерами, хранилищами и сетями с помощью интегрированного, простого в использовании веб-интерфейса или через интерфейс командной строки. Код Proxmox VE находится под лицензией GNU Affero General Public License, версия 3.Проект разработан и поддерживается Proxmox Server Solutions GmbH.
 Обзор основных функций Proxmox VE см. На веб-сайте Proxmox.
 Загрузите наш последний образ ISO.
 Вы можете установить Proxmox VE на свое оборудование с USB или CD-ROM, используя наш ISO-образ, или же поверх существующей установки Debian.
 Подробнее>
 Эта вики включает полную справочную документацию по Proxmox VE.
 Если вы новичок в Proxmox VE, следующие главы помогут вам начать:
 Виртуальные машины Qemu / KVM и контейнер Linux — это два типа технологий виртуализации, поддерживаемые Proxmox VE
 Администрация системы хоста
 подробно описывает все задачи, которые обычно выполняются на хосте Proxmox VE, такие как настройка репозиториев пакетов, конфигурация сети, обновления системного программного обеспечения, внешний сервер метрик, мониторинг состояния диска, диспетчер логических томов (LVM), ZFS в Linux
 Cluster Manager объяснит вам, как сгруппировать хосты Proxmox VE в кластеры.
 После настройки кластера вы можете настроить высокую доступность для своих виртуальных машин и контейнеров.
 Storage предоставит вам обзор всех поддерживаемых хранилищ в Proxmox VE: GlusterFS, пользовательский режим iSCSI, iSCSI, LVM, тонкий LVM, NFS, RBD, ZFS, ZFS через iSCSI и Proxmox Backup Server
 Настроить гиперконвергентную инфраструктуру с развертыванием кластера Ceph.
No related posts.
 Share :
 
Добавить комментарий Отменить ответ
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Комментарий *
Имя * 
Email * 
Сайт