Как работают разные системы кондиционирования и хладагенты
Выбираем тип системы кондиционирования и хладагент
ЦОД – это больше, чем просто высокая концентрация IT-оборудования на одной площади. Насколько стабильно будет работать вычислительная техника, как быстро ее выведут из эксплуатации, зависит от выбранной системы кондиционирования. Рассмотрим, какое охлаждение и какие хладагенты используют в современных дата-центрах.
Требования к охлаждению в серверных комнатах постепенно менялись с развитием IT-индустрии. Если лет 10–15 назад инженеры настаивали на поддержании в машзалах +18 °C, то сегодня соглашаются на +23 °C и даже +25 °C, потому что изменились подходы к изготовлению серверов и СХД.
Теперь в ASHRAE рекомендуют, чтобы температура воздуха для охлаждения вычислительного оборудования не превышала +27 °C. С другой стороны, появилось несколько категорий дата-центров с разными подходами и требованиями к охлаждению. Например, клиенты ЦОД, которые предоставляют колокейшн-услуги, обычно предъявляют самые высокие требования к соблюдению температурного режима.
Перед владельцами дата-центров стоят две задачи: обеспечить вычислительному оборудованию подходящую температуру и прийти к оптимальному значению PUE (Power usage effectiveness) – коэффициенту эффективности использования электрической энергии, поступающей в ЦОД. В поиске компромисса им приходится выбирать из нескольких представленных на рынке систем кондиционирования и хладагентов.
Фреон
Фреон – производная метана и этана, которая широко используется в качестве хладагента. Вещество может находиться в двух агрегатных состояниях (жидкость и газ), и как раз переход из одного состояния в другое вызывает эффект охлаждения.
Промышленные кондиционеры на фреоне производят охлажденный воздух, который подается по «холодному коридору» под фальшполом к серверному оборудованию. Нагретый воздух, наоборот, отводится от оборудования, причем другими путями (по «горячему коридору»), и снова попадает в теплообменник кондиционера.
Плюсы фреона
- Доступный по стоимости, по установке в любых дата-центрах, прост в обслуживании.
- На охлаждении с фреоном можно организовать ЦОД любого уровня надежности и получить сертификат Uptime Institute.
Минусы фреона
- Критично высокое значение коэффициента PUE – больше 1,5. А так как в машзале нужно увлажнять воздух (системы кондиционирования с фреоном сушат воздух), PUE вырастает еще на несколько десятых за счет установки дополнительного электрооборудования.
- Чувствительность к качеству электропитания. В случае сбоя подача охлажденного воздуха прекратится и, если его запасов недостаточно, вычислительное оборудование перегреется.
- Низкая эффективность при высоких нагрузках, часто выходят из строя компрессоры.
- При резком изменении нагрузки в любую сторону компрессор не успеет включиться и подготовить необходимый объем охлажденного воздуха, пока температура вычислительного оборудования будет стремительно расти.
- Ограничения на использование фреонового охлаждения в северных регионах. Для функционирования при −30 °C нужно подключать ресиверы, клапаны и другое оборудование. Одни комплекты не справятся с работой при низких температурах, другие сложны в монтаже и настройке (плюс возникает проблема поиска специалистов).
Фреон с фрикулингом
Здесь используется тот же фреон, но в конструкции системы кондиционирования появляется теплообменник с раствором этилена и используется естественное охлаждение (free cooling). Фрикулинг основывается на том, что фреон нагнетают в теплообменник холодильного контура циркуляционные насосы, а компрессоры при этом выключаются. Фрикулинг запускается в работу плавно, по мере понижения температуры воздуха за пределами ЦОД.
Плюсы фреона с фрикулингом
- Коэффициент PUE ниже, чем у систем на фреоне.
- В северных регионах можно обойтись без низкотемпературных комплектов.
Минусы фреона с фрикулингом
- Сильные колебания эффективности в разное время года. Летом могут возникнуть проблемы с бесперебойным питанием, которые придется решать за счет ИБП.
- Из-за дополнительных компонентов конструкция, а значит, ее монтаж и ремонт более сложные и дорогие.
- Увеличивается потребность в дополнительном свободном пространстве для установки внешних блоков.
Чиллеры
Чиллер представляет собой выносной наружный теплообменник – устройство, которое охлаждает хладагент и поддерживает его температуру на заданном уровне. В качестве хладагента используется гликолевый раствор – всегда стабильный и не переходящий из жидкого агрегатного состояния в газообразное. Его циркуляцию обеспечивают насосы, которые перегоняют раствор через кондиционер в серверных комнатах. Обратно хладагент возвращается уже нагретым горячим радиатором кондиционера и снова попадает в чиллер.
Сам гликолевый раствор охлаждается за счет прохладного наружного воздуха и компрессорно-конденсаторного блока. Чиллеры в ЦОД используются для подачи воздуха через «горячие» и «холодные» коридоры, что повышает эффективность кондиционирования и снижает затраты на электроэнергию.
Плюсы чиллера
- Беспроблемное функционирование при любых нагрузках и их перепадах.
- Легко организовать бесперебойную работу чиллерной системы: нужно подключить циркуляционные насосы через источники бесперебойного питания (дополнительный плюс, если насосы оснащены частотными регуляторами).
Минусы чиллера
- Производительность и функциональность сильно зависят от выбранной конфигурации.
- Стоимость выше, чем у систем на фреоне и фреоне с фрикулингом.
- Для охлаждения крупного ЦОД нужно два разных контура – с гликолевым раствором (захватывает улицу) и водой (циркулирует внутри здания).
- Низкое значение PUE на фоне фреоновых систем с фрикулингом за счет дополнительных энергопотребителей.
- Чиллерная система капризна в работе, обслуживать ее должны специалисты с соответствующими компетенциями.
Чиллер с фрикулингом
Это чиллерная система с драйкулерами, которые включаются в работу, когда всю потребность в охлаждении можно полностью закрыть фрикулингом.
Плюсы чиллеров с фрикулингом
- Простая реализация.
- При низкой температуре воздуха ЦОД можно охлаждать только за счет фрикулинга, при этом работать будут только два вида энергопотребителей – насосы и вентиляторы.
- Во всех регионах, кроме южных, можно добиться оптимальных значений коэффициента PUE.
Минусы чиллеров с фрикулингом
- Охлаждение вычислительного оборудования обходится дороже, чем при использовании систем с фреоном или чиллеров без фрикулинга.
Роторный теплообменник
Это разновидность систем воздушного фрикулинга, где воздух циркулирует по внутреннему контуру ЦОД. Нагретый воздух медленно проходит через вращающуюся конструкцию (ротор) и в охлажденном состоянии попадает в серверные комнаты. В свою очередь, холодный воздух с улицы поступает на вторую часть конструкции, нагревается и выходит за пределы здания. В жарком климате на выходе из внутреннего контура устанавливают испаритель, а на выходе внешнего – конденсатор.
Плюсы роторного теплообменника
- Хорошее значение коэффициента PUE.
- Редко требуется дополнительное увлажнение воздуха в серверных комнатах.
- Фреоновый контур можно использовать только, когда на улице держится высокая температура воздуха.
Минусы роторного теплообменника
- Нагретый и охлажденный воздух могут смешиваться из-за негерметичности стыков в теплообменной конструкции.
- Возможны ошибки в работе температурных датчиков.
- Высокая стоимость реализации системы охлаждения.
Открытый воздушный контур
Конструктивно простая система: в ней есть только вентиляторы и две управляемые заслонки, которые или пропускают воздух, или запирают его.
Плюсы открытого воздушного контура
- Низкая стоимость и минимальные затраты на обслуживание.
- Хорошее значение коэффициента PUE.
- Подходит для охлаждения контейнерных и модульных ЦОД.
Минусы открытого воздушного контура
- Необходимо постоянно контролировать уровень температуры и влажности.
- Требуется фреоновая система охлаждения аналогичной мощности на случай, если температура вне помещения превысит рекомендованную для машзалов.
- В засушливых регионах нужны мощные увлажнители воздуха.
Закрытый воздушный контур
Здесь используется теплообменник вида «воздух-воздух». Воздух, который поступает во внутренний контур, охлаждается воздухом, который система забирает из внешнего контура.
Плюсы закрытого воздушного контура
- Горячий и холодный воздух не смешиваются, как в роторном теплообменнике.
- Минимальные затраты на дополнительное увлажнение воздуха в машзалах (если сравнивать с открытым воздушным контуром и роторным теплообменником).
- Стабильно работает, даже если вне ЦОД начнется пожар и сильное задымление.
Минус закрытого воздушного контура
- В теплое время года дополнительно потребуется фреоновое охлаждение.
Фрикулинг с адиабатикой
Эта система оперативно реагирует на повышение температуры вне здания и включает адиабатическое охлаждение. Оно работает по принципу распыления мельчайших частиц воды по ходу движения воздушного потока. Вода испаряется и охлаждает воздух, причем на это тратится совсем немного электроэнергии. А за счет минимальных размеров капель воды жидкость не выходит за пределы воздуховодов.
Плюсы фрикулинга с адиабатикой
- В закрытых контурах потребуется фреоновая система (до 15–20 % общей мощности основного охлаждения).
- Фрикулинг с адиабатикой позволяет снизить PUE до отметки 1,1 в большинстве регионов России.
Минусы фрикулинга с адиабатикой
- При повышении температуры воздуха вне помещения до +14 °C и выше стремительно увеличивается расход воды, необходимой для работы адиабатической системы.
- В дата-центрах уровня Tier III нужен постоянный большой запас воды, который обеспечит непрерывную работу дизель-генераторной установки на протяжении 24–36 часов. Также нужны насосы для подкачки воды.
Прямое водяное охлаждение
В таких системах предварительно охлажденная вода постоянно циркулирует в контуре, подведенном к элементам вычислительных систем, которые нагреваются сильнее всего: серверным процессорам и оперативной памяти. Так как вода не диэлектрик, она не может напрямую контактировать с электрическими схемами, поэтому прямым такое охлаждение можно назвать лишь условно.
Плюс прямого водяного охлаждения
- Низкий уровень шума в серверных помещениях.
Минусы прямого водяного охлаждения
- Возможны протечки из-за большого количества мелких элементов, сочлененных друг с другом.
- Выход воды за пределы контура угрожает работе оборудования, которое находится под напряжением.
- Необходимо тщательно изучать материалы, из которых изготовлены элементы системы охлаждения.
- Недопустимо использовать воду в чистом виде – она должна быть дистиллированной, с антикоррозийными или другими добавками, а они повышают стоимость хладагента.
Погружные системы с масляным охлаждением
Плюсы погружных масляных систем
- Можно не использовать чиллеры.
- Занимают минимум места в серверных помещениях.
- Изолированы от окружающей среды, потому проще выполнить требования к чистоте и влажности помещения серверной.
Минусы погружных масляных систем
- Из-за способности масла легко воспламеняться нужно внимательно относиться к проектированию противопожарной сигнализации и пожаротушения.
- Пластиковые элементы могут утратить первоначальные свойства после контакта с маслом.
- Обеспечение циркуляции вязкого масла в системе – энергозатратный процесс.
- Нужен теплообменник и внешний контур, в котором циркулирует гликолевый раствор.
- Высокая стоимость, сопоставимая с чиллерной системой.
Погружная система с кипением/конденсацией
Здесь охлаждение происходит за счет испарения специальной жидкости с температурой кипения от 60 °C, которая не причиняет вреда платам вычислительного оборудования. Это повышает интенсивность теплообмена и позволяет уменьшить размеры серверных.
Плюсы погружных систем с кипением и конденсаций
- Безопасны для оборудования и для обслуживающего персонала.
- Стандартная пожарная безопасность (без крайностей, как в случае с масляными системами).
Минусы погружных систем с кипением и конденсацией
- Рабочие жидкости покупают напрямую у производителя или авторизованных дилеров.
- Конструкция и ее монтаж стоят дорого и медленно окупаются.
Какое охлаждение выбрать для ЦОД
Универсального решения для охлаждения дата-центров не существует – слишком много «если» приходится учитывать: размеры ЦОД, уровень его надежности, средние и предельные температуры в разные сезоны, ожидаемые затраты на покупку, монтаж и обслуживание системы.
Будьте готовы к тому, что при относительной дешевизне хладагента и самой системы может вырасти PUE, т. е. вы все равно понесете затраты. В относительно небольших серверных хорошо зарекомендовали себя классические фреоновые системы, но по мере увеличения машинного зала появляется проблема с размещением наружных блоков кондиционеров и одновременно появляются ограничения на длину трассы. Чтобы обойти их, можно использовать дополнительные контуры с промежуточными хладагентами или более современные системы охлаждения.
