Dell PowerEdge под Proxmox: диски, контроллер и память без лишних трат

В PowerEdge R640 можно поставить десять NVMe, но последние два накопителя займут отдельный слот PCIe. Если для расчётной нагрузки хватает восьми дисков, доплата за десятидисковую конфигурацию отнимет слот и ничего не ускорит.

Задача — собрать узел Proxmox так, чтобы ZFS видел накопители напрямую, виртуальные машины не спорили за ввод-вывод, а следующий апгрейд памяти не потребовал менять весь комплект DIMM. Разберём конфигурацию для 20 виртуальных машин, 6 ТБ полезных данных и двух копий.

Это расчётный пример, а не минимальные требования Proxmox. Для другой нагрузки подставьте свои значения в те же формулы.

Сначала схема хранения, потом PERC #

Контроллер выбирают после решения о хранилище. Обратный порядок часто оставляет администратора с PERC, который оплачен, занимает место, но мешает ZFS работать с физическими дисками.

Для пула из SAS или SATA базовый выбор — HBA330 Mini. Он отдаёт диски операционной системе по отдельности, без аппаратного RAID между ZFS и накопителями.

PERC H730 Mini тоже умеет HBA mode и показывает Proxmox отдельные диски. Но практический разбор владельца R730xd на форуме ServeTheHome указывает на меньшую глубину очереди и падение скорости под нагрузкой. Это опыт одного сообщества, а не спецификация Dell, поэтому окончательный ответ даст только fio на Вашей конфигурации. Закладывать H730 в новую сборку ZFS без причины я бы не стал.

С NVMe проще: PERC в их тракте не участвует. По справочнику Dell NVMe and I/O Topologies for Dell EMC PowerEdge Servers, восемь NVMe в R640 подключаются напрямую к CPU2. В десятидисковой версии последние два накопителя идут через extender-карту в слот 1 CPU1 — этот слот больше нельзя отдать сетевой карте или другому устройству.

У R740xd своя развилка. Конфигурация на 12 NVMe использует прямые линии PCIe обоих процессоров и extender-карты в слотах 1, 4 и 8. Вариант на 24 NVMe подключает накопители через PCIe-коммутаторы: по 12 устройств на процессор.

Поэтому строка «R740xd, 24 × 2,5 дюйма» ещё не описывает сервер. До заказа нужно сверить backplane, extender-карты и занятые слоты. Отдельно этот разбор приведён в материале о том, как связаны корзина, PERC и число работающих дисков.

Восемь NVMe закрывают расчёт на 6 ТБ #

Допустим, виртуальным машинам нужно 6 ТБ полезного пространства, а данные хранятся в двух копиях:

6 ТБ × 2 = 12 ТБ сырой ёмкости

Восемь Dell SM1715 по 1,6 ТБ дают:

8 × 1,6 ТБ = 12,8 ТБ

Такой комплект помещается в восьмидисковую NVMe-конфигурацию R640. Десятидисковый вариант здесь не нужен: два дополнительных отсека не участвуют в расчёте, зато их подключение занимает слот ввода-вывода.

Запас между 12 и 12,8 ТБ нельзя считать свободным местом для виртуальных машин. Служебные данные, резерв пула и правила заполнения ZFS уменьшают доступный объём. Если приложению действительно требуются все 6 ТБ, проверьте расчёт на принятом у Вас пределе заполнения.

При трёх копиях потребуется уже 18 ТБ сырой ёмкости:

6 ТБ × 3 = 18 ТБ

Восемь накопителей по 1,6 ТБ не закрывают такой объём. Придётся взять диски большей ёмкости либо перейти на R740xd с 12 NVMe. Число копий меняет платформу сильнее, чем паспортная скорость одного SSD.

Паспортные 700 000 IOPS не равны скорости пула #

В спецификации Dell для SM1715 указано до 700 000 IOPS на случайном чтении и до 175 000 IOPS на случайной записи. Ресурс — 10 полных перезаписей накопителя в сутки, или 29,2 ПБ для модели на 1,6 ТБ.

Эти числа описывают один SSD в условиях теста производителя. Они не обещают такую же скорость ZFS-пула с работающими виртуальными машинами.

Руководство Proxmox Benchmarking Storage предлагает описывать нагрузку тремя параметрами: операцией чтения или записи, последовательным либо случайным доступом и размером блока. Для ZFS ZVOL в руководстве приведён блок 8 КБ.

Если узлу требуется 20 000 IOPS при блоке 8 КБ, расчётная пропускная способность составит:

20 000 × 8 КБ = 160 000 КБ/с ≈ 156 МиБ/с

По линейной скорости даже один SM1715 выглядит избыточным: спецификация Dell обещает до 3 ГБ/с при последовательном чтении. Но виртуализация редко создаёт один длинный поток. Задержки, случайная запись, синхронные операции и конкуренция виртуальных машин меняют результат.

После сборки установите fio командой apt install fio и прогоните 60-секундный тест. В руководстве Proxmox тесты запускаются с --runtime=60 и --time_based. Задайте блок 8 КБ, нужное соотношение чтения и записи, случайный или последовательный доступ и глубину очереди, похожую на рабочую. Тест последовательного чтения с блоком 1 МБ не отвечает на вопрос, как поведёт себя ZVOL с блоком 8 КБ.

Если выбираете между SAS, SATA и NVMe, начните с разбора дисков, PERC и RAID для PowerEdge. Он поможет не смешать требования к ёмкости, отказоустойчивости и скорости в одну строку спецификации.

Для 20 виртуальных машин нужно 192 ГБ RAM #

Память считаем от нагрузки, а не от числа свободных слотов:

число ВМ × память одной ВМ + резерв узла

Для 20 виртуальных машин по 8 ГБ и резерва 32 ГБ под Proxmox получается:

20 × 8 ГБ + 32 ГБ = 192 ГБ

Если число машин вырастет до 30 при прежнем профиле:

30 × 8 ГБ + 32 ГБ = 272 ГБ

В расчёт не входят кэш ZFS, резерв на миграцию и неодинаковый профиль ВМ. Если часть машин получает 16 или 32 ГБ, складывайте их фактические лимиты, а не умножайте среднее значение.

Для двухпроцессорного R740 Dell требует одинаково распределять память между CPU по объёму и позициям. RDIMM и LRDIMM смешивать нельзя, а в одной конфигурации допустимы модули только двух объёмов.

Из этого следует практическое ограничение: не забивайте слоты дешёвыми DIMM малой ёмкости, если через год планируете удвоить RAM. Цена покупки выглядит ниже, но расширение может потребовать снять уже оплаченные модули.

Например, для 192 ГБ можно собрать симметричный комплект из модулей одинаковой ёмкости, оставив одинаковые свободные позиции у обоих процессоров. Точную раскладку нужно сверить с руководством Dell по памяти для выбранной модели и процессоров. Общие различия и ограничения разобраны в руководстве о том, как выбрать RDIMM или LRDIMM для PowerEdge.

Спецификация для расчётного узла #

Для 20 ВМ по 8 ГБ, резерва узла 32 ГБ, 6 ТБ полезных данных и двух копий я бы заложил такую основу:

Позиция	Что указать в заявке	Почему
Сервер	Dell PowerEdge R640	Вмещает расчётные восемь NVMe в 1U
Корзина	Конфигурация на восемь NVMe	Диски подключаются напрямую к CPU2, дополнительный слот ввода-вывода не занят
Накопители	8 × Dell SM1715 1,6 ТБ	12,8 ТБ сырой ёмкости при расчётной потребности 12 ТБ
Контроллер пула	Не требуется	PERC не участвует в тракте NVMe
Память	192 ГБ по симметричной схеме	20 × 8 ГБ для ВМ плюс 32 ГБ для узла
Проверка	fio, 60 секунд, блок 8 КБ	Сопоставляет сборку с профилем ZFS ZVOL

У этой конфигурации есть граница. Она не подходит, если нужны три копии 6 ТБ данных, больше восьми накопителей или отдельная карта, несовместимая с выбранной разводкой PCIe. Тогда переходите к R740xd и заново проверяйте топологию, а не переносите список комплектующих строка в строку.

Для SAS или SATA с ZFS меняется одна принципиальная позиция: вместо NVMe-топологии понадобится корзина нужного формата и HBA330. H730 Mini в режиме HBA оставляйте только после теста, который подтвердил приемлемую задержку и глубину очереди.

Общие требования к процессору, сети, кластеру и Ceph выходят за рамки этой спецификации. Их можно добавить по руководству о выборе сервера для Proxmox VE.

Как согласовать бюджет без выдуманной цены #

Текущих цен на шасси, SM1715, HBA и DIMM в исходных данных нет. Ставить в смету случайную сумму в рублях означало бы подменить расчёт догадкой.

Запросите предложения в ₽ с НДС четырьмя отдельными строками:

• шасси с конкретным NVMe-backplane и комплектом extender-карт;
• восемь накопителей по 1,6 ТБ;
• симметричный комплект DIMM на 192 ГБ;
• гарантия и срок поставки каждой позиции.

Для варианта SAS или SATA добавится HBA330. При переходе на R740xd изменятся шасси, backplane и состав extender-карт. Так согласующий бюджет увидит не одну общую сумму, а цену каждого технического решения.

Перед оплатой проверьте карту подключения накопителей и занятые PCIe-слоты по справочнику Dell. После сборки прогоните fio с рабочим профилем. Если тест не держит нужные 20 000 IOPS при блоке 8 КБ, менять сервер целиком рано: сначала ищите ограничение в настройках ZFS, синхронной записи, глубине очереди и конкретных накопителях.