Серверное охлаждение: типы систем и расчёт тепловыделения

Каждый ватт электроэнергии, потребляемой серверным оборудованием, превращается в тепло. Если не отводить его эффективно, температура процессоров, памяти и дисков растёт — и оборудование начинает троттлить производительность или выходит из строя. Производители серверов указывают максимальную температуру на входе (обычно 27-35°C), но реальные условия в стойке часто жёстче.

Правильный расчёт системы охлаждения начинается с оценки тепловыделения всего оборудования в стойке или серверной комнате. Потом выбираете тип охлаждения — воздушное, жидкостное или гибридное. В этой статье разберём методы расчёта, покажем формулы и сравним популярные системы охлаждения для типовых конфигураций.

Откуда берётся тепло в серверной стойке

Серверы, СХД, сетевое оборудование и блоки питания выделяют тепло пропорционально потребляемой мощности. Для грубой оценки используйте правило: тепловыделение в BTU/час ≈ мощность в ваттах × 3,412. Один ватт равен 3,412 BTU/час.

Пример: стойка с двумя серверами Dell PowerEdge R740 (по 750 Вт каждый), коммутатором (50 Вт) и патч-панелью. Суммарное потребление: 750 + 750 + 50 = 1550 Вт. Тепловыделение: 1550 × 3,412 = 5289 BTU/час. Это базовая цифра для подбора системы охлаждения.

В реальности серверы редко работают на 100% нагрузки постоянно. Используйте коэффициент загрузки 0,6-0,8 для типичных корпоративных задач и 0,9-1,0 для высоконагруженных систем (базы данных, виртуализация с высокой плотностью VM).

Как рассчитать тепловыделение для всей серверной комнаты

Для расчёта охлаждения помещения учитывайте не только оборудование, но и другие источники тепла:

Серверы и сетевое оборудование — основной источник (70-85% от общей тепловой нагрузки).
Освещение — светодиодные светильники дают 10-15 Вт/м², лампы накаливания 50-100 Вт/м².
Люди — один человек выделяет около 100 Вт (340 BTU/час). Для серверной с редким присутствием персонала учитывайте 1-2 человека.
ИБП — КПД современных ИБП 92-96%, потери уходят в тепло. Для ИБП на 10 кВт с КПД 94% потери составят 10000 × 0,06 = 600 Вт.
Теплопритоки через ограждающие конструкции — зависят от разницы температур внутри и снаружи, площади стен, типа изоляции. Для помещений с хорошей теплоизоляцией в умеренном климате добавляйте 5-10% к общей нагрузке.

Формула расчёта суммарной тепловой нагрузки:

Q_total = (P_серверы × k_загрузки + P_ИБП × (1 - КПД) + P_освещение + N_людей × 100) × 3,412 + Q_ограждения

Где:

P — мощность в ваттах,
k_загрузки — коэффициент загрузки (0,6-1,0),
Q_ограждения — теплопритоки через стены и потолок в BTU/час,
результат Q_total — общая тепловая нагрузка в BTU/час.

Пример расчёта для небольшой серверной (20 м², 3 стойки):

Источник тепла	Мощность, Вт	Тепловыделение, BTU/час
6 серверов (по 750 Вт, загрузка 70%)	3150	10750
Сетевое оборудование	200	682
ИБП 10 кВт (потери 6%)	600	2047
Освещение (LED, 200 Вт)	200	682
1 человек (периодически)	100	341
Итого (оборудование)	4250	14502
Теплопритоки через конструкции (10%)	—	1450
ВСЕГО	—	15952

Для перевода в тонны холода (RT): 12000 BTU/час = 1 RT. В нашем примере: 15952 / 12000 ≈ 1,33 RT. Потребуется кондиционер на 1,5-2 тонны с запасом 15-20% на пиковые нагрузки и деградацию оборудования.

Воздушное охлаждение: как работает и когда достаточно

Воздушное охлаждение — самый распространённый метод для серверных стоек. Холодный воздух подаётся к передним панелям серверов, проходит через корпус, охлаждает компоненты и выходит горячим с задней стороны. Эффективность зависит от организации воздушных потоков и производительности вентиляторов.

Организация горячего и холодного коридоров

В правильно спроектированном ЦОД стойки стоят рядами с чередованием направления серверов. Холодные коридоры (Cold Aisle) — перед лицевыми панелями, горячие (Hot Aisle) — за задними. Кондиционеры подают холодный воздух в холодные коридоры, горячий забирается из горячих и возвращается на охлаждение.

Без разделения потоков холодный и горячий воздух смешиваются — температура на входе в серверы растёт, и система охлаждения работает неэффективно. Для изоляции используйте:

Панели Cold Aisle Containment (CACS) — закрывают холодный коридор сверху и с боков.
Панели Hot Aisle Containment (HACS) — изолируют горячий коридор.
Заглушки для пустых слотов в стойках — предотвращают рециркуляцию воздуха внутри стойки.

Изоляция снижает энергопотребление систем охлаждения на 20-40% и позволяет поднять температуру подаваемого воздуха до 24-27°C без риска перегрева оборудования.

Расчёт необходимого воздухообмена (CFM)

Для отвода тепла нужен определённый объём воздуха. Производительность систем вентиляции измеряется в CFM (cubic feet per minute, кубических футах в минуту) или м³/час.

Формула расчёта CFM:

CFM = (Q_BTU/час) / (1,08 × ΔT)

Где:

Q_BTU/час — тепловая нагрузка,
ΔT — разница температур воздуха на входе и выходе из стойки в °F (обычно 15-20°F или 8-11°C),
1,08 — константа для учёта плотности воздуха.

Пример: стойка выделяет 5000 BTU/час, разница температур 18°F (10°C). Нужный воздухообмен: 5000 / (1,08 × 18) ≈ 257 CFM. Для перевода в м³/час умножайте CFM на 1,7: 257 × 1,7 ≈ 437 м³/час.

Вентиляторы современных серверов обеспечивают 100-300 CFM на 1U. Например, вентиляторы Dell PowerEdge регулируют обороты в зависимости от температуры — под нагрузкой могут выдавать до 80% от максимальной производительности. Если серверов несколько, их суммарный воздушный поток обычно достаточен для самоохлаждения при правильной организации коридоров.

Системы охлаждения серверных шкафов: встроенные решения

Когда плотность размещения оборудования высокая (более 5-7 кВт на стойку), стандартного воздушного охлаждения помещения недостаточно. Используйте встроенные в стойку системы охлаждения.

Потолочные вентиляторные модули (Fan Tray)

Устанавливаются в верхней части стойки (обычно 1-2U). Принудительно вытягивают горячий воздух из шкафа и выбрасывают его в горячий коридор. Производительность 500-1500 CFM, мощность 50-150 Вт. Подходят для стоек с тепловыделением до 3-4 кВт.

Преимущества: недорого, легко установить, не требуют водопровода. Недостатки: шумные на максимальных оборотах, малоэффективны при плотности выше 5 кВт/стойку.

Дверные теплообменники (Rear Door Heat Exchanger, RDHx)

Заменяют стандартную заднюю дверь стойки. Внутри — теплообменник с вентиляторами, через который проходит горячий воздух от серверов. Теплообменник охлаждается водой (10-18°C) из чиллера. Отводят до 20-30 кВт тепла на стойку без выброса горячего воздуха в помещение.

Преимущества: высокая эффективность, низкий уровень шума. Недостатки: требуют водяного контура, дороже воздушных систем.

Внутристоечные кондиционеры

Монтируются внутри стойки (занимают 6-12U) и работают как автономные кондиционеры. Охлаждают воздух внутри шкафа, конденсатор выбрасывает тепло наружу или подключается к водяному контуру. Мощность охлаждения 2-5 кВт, подходят для удалённых площадок или отдельных стоек с критичным оборудованием.

Преимущества: автономность, точный контроль температуры. Недостатки: занимают полезное пространство в стойке, дороги в обслуживании.

Жидкостное охлаждение: прямое и непрямое

При плотности более 15-20 кВт на стойку воздушное охлаждение перестаёт справляться физически. Жидкость отводит тепло эффективнее воздуха в 1000-3000 раз (по теплоёмкости). Существует два типа жидкостного охлаждения.

Непрямое жидкостное охлаждение (Cold Plate Cooling)

На процессоры, чипсеты, модули памяти устанавливаются охлаждающие пластины (cold plates) с микроканалами. Через них циркулирует хладагент (вода с добавками или диэлектрическая жидкость). Тепло отводится к внешнему теплообменнику, где охлаждается водой из чиллера.

Эффективность: отводит 60-80% тепла от процессоров и памяти. Остальные компоненты (диски, блоки питания) охлаждаются воздухом — нужна гибридная система. Серверы требуют специальных модификаций, но некоторые модели Dell PowerEdge (например, под HPC-задачи) поддерживают жидкостное охлаждение опционально.

Иммерсионное охлаждение

Серверы полностью погружаются в диэлектрическую жидкость (например, 3M Novec или минеральное масло). Жидкость напрямую контактирует с компонентами, отводя тепло. Затем нагретая жидкость прокачивается через внешний теплообменник.

Преимущества: отводит 100% тепла, бесшумная работа, не нужны вентиляторы. Недостатки: дорого, сложно обслуживать (замена компонентов требует извлечения из жидкости), подходит только для специализированных задач (майнинг, HPC).

Когда выбирать жидкостное охлаждение

Плотность размещения более 15 кВт на стойку.
Ограничения по площади помещения — нужно максимум вычислительной мощности на минимальной площади.
Работа с процессорами высокой мощности (AMD EPYC 9004, Intel Xeon Platinum с TDP 300+ Вт).
Высокие требования к энергоэффективности (PUE ниже 1,1).

Для типичных корпоративных задач на серверах Dell PowerEdge T-серии или стандартных rack-конфигурациях достаточно воздушного охлаждения с правильной организацией потоков.

Таблица сравнения систем охлаждения

Тип системы	Тепловая нагрузка, кВт/стойку	Стоимость внедрения	Сложность обслуживания	Применение
Воздушное (естественное)	до 3-4	Низкая	Минимальная	Небольшие офисные серверные, филиалы
Воздушное + Fan Tray	до 5-7	Низкая	Низкая	Стандартные корпоративные стойки
Дверные теплообменники (RDHx)	до 20-30	Средняя	Средняя	Плотные стойки, ЦОД среднего масштаба
Жидкостное (cold plates)	до 40-60	Высокая	Высокая	HPC, AI/ML, суперкомпьютеры
Иммерсионное	до 100+	Очень высокая	Очень высокая	Майнинг, HPC с экстремальной плотностью

Расчёт охлаждения для типовой конфигурации

Разберём пример расчёта для компании, разворачивающей виртуализацию на 4 серверах в одной стойке 42U.

Исходные данные:

4 сервера Dell PowerEdge R660 (2 процессора Intel Xeon, 512 ГБ RAM каждый).
Мощность одного сервера под нагрузкой: 650 Вт (указана в спецификации PSU).
Средняя загрузка виртуализации: 75%.
Сетевой коммутатор: 80 Вт.
Патч-панель и кабели: не выделяют значимого тепла.

Расчёт тепловыделения:

P_серверы = 4 × 650 × 0,75 = 1950 Вт
P_коммутатор = 80 Вт
Итого: 1950 + 80 = 2030 Вт
Тепловыделение: 2030 × 3,412 = 6926 BTU/час

Выбор системы охлаждения:

Тепловая нагрузка 2 кВт на стойку — достаточно воздушного охлаждения помещения с организацией холодного коридора. Если стойка стоит отдельно, добавьте потолочный вентиляторный модуль (Fan Tray) на 800-1000 CFM для принудительного вывода горячего воздуха.

Проверка воздухообмена:

Примем разницу температур ΔT = 18°F (10°C). Необходимый CFM:
CFM = 6926 / (1,08 × 18) ≈ 357 CFM

Четыре сервера R660 с вентиляторами, работающими на 60-70% от максимальной производительности, обеспечат 400-500 CFM суммарно. Дополнительный Fan Tray не обязателен, но рекомендуется для снижения шума серверных вентиляторов (они смогут работать на меньших оборотах).

Частые ошибки при проектировании охлаждения

Недооценка реальной тепловой нагрузки

Часто считают только номинальную мощность серверов по блокам питания, не учитывая сетевое оборудование, ИБП, освещение и теплопритоки через стены. В итоге система охлаждения работает на пределе, температура ползёт вверх, и приходится экстренно докупать кондиционеры.

Закладывайте запас 15-20% от расчётной нагрузки. Оборудование со временем загрязняется, фильтры забиваются, эффективность падает.

Отсутствие изоляции воздушных потоков

Без разделения холодного и горячего коридоров воздух смешивается, температура на входе в серверы растёт. Кондиционеры работают мощнее, тратят больше электричества, но не справляются. Установка заглушек на пустые слоты стоек и простых панелей для изоляции коридоров решает проблему без больших затрат.

Игнорирование высоты размещения серверов

Горячий воздух поднимается вверх. Если серверы стоят в нижней части стойки, а верхняя половина пустая, горячий воздух скапливается вверху и плохо выводится. Размещайте серверы равномерно по высоте или используйте заглушки для закрытия пустых секций.

Использование слишком холодного воздуха

Снижать температуру подаваемого воздуха ниже 18-20°C нецелесообразно. Серверы рассчитаны на работу при температуре на входе до 27°C (по стандарту ASHRAE A2). Чем холоднее воздух, тем больше энергии тратят кондиционеры. Современные серверы Dell управляют оборотами вентиляторов автоматически — при повышении температуры на входе вентиляторы раскручиваются сильнее и эффективно отводят тепло.

Мониторинг и контроль температуры

Установите датчики температуры в нескольких точках:

На входе холодного воздуха (перед лицевыми панелями серверов) — целевая температура 20-24°C.
На выходе горячего воздуха (за серверами) — 35-45°C при нормальной работе.
Внутри серверов — через iDRAC или аналогичные системы мониторинга.

Если разница между температурой на входе и выходе меньше 10°C, система охлаждения избыточна или воздушные потоки организованы неправильно (воздух рециркулирует). Если разница больше 20°C, оборудование работает на пределе — нужно улучшать охлаждение.

Серверы Dell PowerEdge передают данные о температуре компонентов в iDRAC. Настройте уведомления при превышении пороговых значений (обычно 75-80°C для процессоров, 85°C для чипсета). Постоянная работа при температурах выше 70°C сокращает срок службы оборудования.

Энергоэффективность систем охлаждения (PUE)

Power Usage Effectiveness (PUE) — отношение полной мощности, потребляемой ЦОД, к мощности IT-оборудования. PUE = 2,0 означает, что на каждый ватт серверов тратится ещё один ватт на инфраструктуру (охлаждение, освещение, ИБП).

Современные ЦОД достигают PUE 1,2-1,3. Для этого используют:

Изоляцию горячего и холодного коридоров — снижает нагрузку на кондиционеры на 20-30%.
Повышение температуры подаваемого воздуха до 24-27°C — экономия до 4% электричества на каждый градус.
Частотное регулирование вентиляторов и компрессоров кондиционеров — подстройка под текущую нагрузку.
Использование free cooling (холодного наружного воздуха зимой) — при температуре ниже +5°C можно отключать компрессоры и охлаждать помещение уличным воздухом.

В небольших серверных (3-5 стоек) добиться PUE ниже 1,5 сложно, но оптимизация воздушных потоков и правильный выбор кондиционера снижают энергопотребление на 15-25%.

Как подобрать кондиционер для серверной комнаты

После расчёта тепловой нагрузки в BTU/час выбирайте кондиционер с запасом 20-30%. Серверные кондиционеры (precision air conditioning) отличаются от бытовых:

Работают круглосуточно без перерывов.
Поддерживают точную температуру (±1°C) и влажность (45-55%).
Имеют резервирование (N+1) — при выходе одного из строя второй продолжает работать.
Дистанционный мониторинг через SNMP или Modbus.

Для нашего примера с тепловой нагрузкой 15952 BTU/час (1,33 RT) выбираем кондиционер на 2 RT (24000 BTU/час) или два на 1 RT каждый в режиме N+1. Второй вариант надёжнее: если один сломается, второй удержит температуру до ремонта.

Типы кондиционеров:

Настенные сплит-системы — до 12000 BTU/час, подходят для мини-серверных (1-2 стойки).
Прецизионные кондиционеры — от 2 до 20 RT, монтируются на пол или в стойку, используются в профессиональных ЦОД.
Чиллеры с фанкойлами — для крупных ЦОД (от 50 кВт охлаждения), центральная холодильная машина подаёт холодную воду к теплообменникам в серверных помещениях.

Практические рекомендации по выбору системы охлаждения

Для офисной серверной (1-2 стойки, до 3 кВт)

Установите стандартный настенный кондиционер на 9000-12000 BTU/час (2,5-3,5 кВт холода).
Закройте пустые слоты в стойках заглушками.
Расположите кондиционер так, чтобы поток холодного воздуха шёл к передним панелям серверов.
Настройте температуру 22-24°C.
Установите датчик температуры у задней стенки стойки — если там больше 40°C, усильте вентиляцию.

Для небольшого ЦОД (3-10 стоек, 10-30 кВт)

Организуйте холодный и горячий коридоры, установите изолирующие панели.
Установите два прецизионных кондиционера в режиме N+1 (каждый на 60-70% от общей нагрузки).
Добавьте потолочные вентиляторные модули в стойки с нагрузкой выше 5 кВт.
Подключите систему мониторинга температуры (датчики в холодном и горячем коридорах, внутри серверов через iDRAC).
Настройте уведомления при превышении 28°C на входе и 50°C на выходе.

Для плотных стоек (10-20 кВт на стойку)

Используйте дверные теплообменники (RDHx) с водяным охлаждением.
Подключите водяной контур от чиллера (температура воды 10-15°C).
Установите датчики расхода воды и температуры на входе/выходе теплообменника.
Рассчитайте необходимый расход воды: для отвода 10 кВт тепла при ΔT = 5°C нужно около 30 литров в минуту.
Настройте автоматическое регулирование расхода в зависимости от нагрузки.

Обслуживание систем охлаждения

Регулярное обслуживание продлевает срок службы оборудования и предотвращает аварии:

Раз в 3 месяца: чистите или меняйте воздушные фильтры в кондиционерах и серверах. Забитые фильтры снижают воздушный поток на 20-40%.
Раз в 6 месяцев: проверяйте работу всех вентиляторов в серверах через iDRAC. Заменяйте неисправные модули — серверы Dell поддерживают hot-swap для вентиляторов.
Раз в год: проводите техобслуживание кондиционеров — проверку хладагента, чистку теплообменников, калибровку датчиков.
Постоянно: мониторьте температуру через системы управления. Резкий рост температуры — сигнал о проблеме (отказ вентилятора, утечка хладагента, перегрузка).

Планируйте замену термопасты на процессорах каждые 3-5 лет. Высохшая термопаста увеличивает температуру процессора на 10-15°C и снижает стабильность системы.

Вопросы и ответы

Можно ли использовать обычный бытовой кондиционер для серверной?

Да, для небольших серверных (1-2 стойки, до 3 кВт тепла) бытовой кондиционер справится. Но учтите: бытовые модели не рассчитаны на круглосуточную работу 365 дней в году, ресурс компрессора меньше. Выбирайте инверторные модели с запасом по мощности 30-40%. Для более крупных серверных нужны прецизионные кондиционеры — они точнее держат температуру и имеют встроенный мониторинг.

Какая оптимальная температура для серверной комнаты?

По стандарту ASHRAE TC 9.9 (класс A2) серверы работают при температуре на входе 18-27°C. Оптимум для энергоэффективности — 22-24°C. При температуре ниже 18°C растут затраты на охлаждение, выше 27°C — вентиляторы серверов работают на максимальных оборотах (шумно) и сокращается срок службы компонентов. Влажность поддерживайте в диапазоне 40-60% — ниже увеличивается риск статического электричества, выше — конденсата.

Как часто нужно менять воздушные фильтры в серверной?

В кондиционерах — раз в 1-3 месяца, в зависимости от запылённости помещения. Фильтры в самих серверах обычно не требуют замены (их нет или они рассчитаны на весь срок службы оборудования), но нужно чистить воздухозаборники от пыли раз в 6-12 месяцев. Если серверы стоят в производственном помещении или рядом с улицей, чистите чаще. Признак забитого фильтра — рост температуры внутри сервера при той же нагрузке и увеличение оборотов вентиляторов.

Стоит ли использовать жидкостное охлаждение для офисного сервера?

Нет. Жидкостное охлаждение оправдано только при плотности свыше 15 кВт на стойку или для специализированных задач (HPC, AI). Для офисных серверов — лишние затраты и сложность. Современные серверы Dell PowerEdge эффективно охлаждаются воздухом при правильной организации воздушных потоков. Даже плотная виртуализация на четырёх серверах в одной стойке (5-8 кВт) справляется с воздушным охлаждением и потолочными вентиляторами.