Бесплатный звонок по России:

8 800-250-33-99

Ваша компания:

Ваша компания — -?

Бесплатный звонок по России:

Инженерные центры

Инженерный центр Темпесто
(г. Санкт-Петербург):

Yakovlev@tempesto.ru

Например, система бесперебойного питания

Выбираем тип системы кондиционирования и хладагент

ЦОД – это больше, чем просто высокая концентрация IT-оборудования на одной площади. Насколько стабильно будет работать вычислительная техника, как быстро ее выведут из эксплуатации, зависит от выбранной системы кондиционирования. Рассмотрим, какое охлаждение и какие хладагенты используют в современных дата-центрах.

Требования к охлаждению в серверных комнатах постепенно менялись с развитием IT-индустрии. Если лет 10–15 назад инженеры настаивали на поддержании в машзалах +18 °C, то сегодня соглашаются на +23 °C и даже +25 °C, потому что изменились подходы к изготовлению серверов и СХД.

Теперь в ASHRAE рекомендуют, чтобы температура воздуха для охлаждения вычислительного оборудования не превышала +27 °C. С другой стороны, появилось несколько категорий дата-центров с разными подходами и требованиями к охлаждению. Например, клиенты ЦОД, которые предоставляют колокейшн-услуги, обычно предъявляют самые высокие требования к соблюдению температурного режима. 

На рисунке – охлаждение ЦОД

Перед владельцами дата-центров стоят две задачи: обеспечить вычислительному оборудованию подходящую температуру и прийти к оптимальному значению PUE (Power usage effectiveness) – коэффициенту эффективности использования электрической энергии, поступающей в ЦОД. В поиске компромисса им приходится выбирать из нескольких представленных на рынке систем кондиционирования и хладагентов.

Фреон

Фреон – производная метана и этана, которая широко используется в качестве хладагента. Вещество может находиться в двух агрегатных состояниях (жидкость и газ), и как раз переход из одного состояния в другое вызывает эффект охлаждения. 

Промышленные кондиционеры на фреоне производят охлажденный воздух, который подается по «холодному коридору» под фальшполом к серверному оборудованию. Нагретый воздух, наоборот, отводится от оборудования, причем другими путями (по «горячему коридору»), и снова попадает в теплообменник кондиционера. 

Плюсы фреона

  • Доступный по стоимости, по установке в любых дата-центрах, прост в обслуживании.
  • На охлаждении с фреоном можно организовать ЦОД любого уровня надежности и получить сертификат Uptime Institute.

Минусы фреона

  • Критично высокое значение коэффициента PUE – больше 1,5. А так как в машзале нужно увлажнять воздух (системы кондиционирования с фреоном сушат воздух), PUE вырастает еще на несколько десятых за счет установки дополнительного электрооборудования.
  • Чувствительность к качеству электропитания. В случае сбоя подача охлажденного воздуха прекратится и, если его запасов недостаточно, вычислительное оборудование перегреется.
  • Низкая эффективность при высоких нагрузках, часто выходят из строя компрессоры.
  • При резком изменении нагрузки в любую сторону компрессор не успеет включиться и подготовить необходимый объем охлажденного воздуха, пока температура вычислительного оборудования будет стремительно расти.
  • Ограничения на использование фреонового охлаждения в северных регионах. Для функционирования при −30 °C нужно подключать ресиверы, клапаны и другое оборудование. Одни комплекты не справятся с работой при низких температурах, другие сложны в монтаже и настройке (плюс возникает проблема поиска специалистов).

Фреон с фрикулингом

Здесь используется тот же фреон, но в конструкции системы кондиционирования появляется теплообменник с раствором этилена и используется естественное охлаждение (free cooling). Фрикулинг основывается на том, что фреон нагнетают в теплообменник холодильного контура циркуляционные насосы, а компрессоры при этом выключаются. Фрикулинг запускается в работу плавно, по мере понижения температуры воздуха за пределами ЦОД.

Плюсы фреона с фрикулингом

  • Коэффициент PUE ниже, чем у систем на фреоне.
  • В северных регионах можно обойтись без низкотемпературных комплектов.

Минусы фреона с фрикулингом

  • Сильные колебания эффективности в разное время года. Летом могут возникнуть проблемы с бесперебойным питанием, которые придется решать за счет ИБП.
  • Из-за дополнительных компонентов конструкция, а значит, ее монтаж и ремонт более сложные и дорогие.
  • Увеличивается потребность в дополнительном свободном пространстве для установки внешних блоков.

Чиллеры

Чиллер представляет собой выносной наружный теплообменник – устройство, которое охлаждает хладагент и поддерживает его температуру на заданном уровне. В качестве хладагента используется гликолевый раствор – всегда стабильный и не переходящий из жидкого агрегатного состояния в газообразное. Его циркуляцию обеспечивают насосы, которые перегоняют раствор через кондиционер в серверных комнатах. Обратно хладагент возвращается уже нагретым горячим радиатором кондиционера и снова попадает в чиллер. 

Сам гликолевый раствор охлаждается за счет прохладного наружного воздуха и компрессорно-конденсаторного блока. Чиллеры в ЦОД используются для подачи воздуха через «горячие» и «холодные» коридоры, что повышает эффективность кондиционирования и снижает затраты на электроэнергию.

Плюсы чиллера

  • Беспроблемное функционирование при любых нагрузках и их перепадах.
  • Легко организовать бесперебойную работу чиллерной системы: нужно подключить циркуляционные насосы через источники бесперебойного питания (дополнительный плюс, если насосы оснащены частотными регуляторами).

Минусы чиллера

  • Производительность и функциональность сильно зависят от выбранной конфигурации.
  • Стоимость выше, чем у систем на фреоне и фреоне с фрикулингом.
  • Для охлаждения крупного ЦОД нужно два разных контура – с гликолевым раствором (захватывает улицу) и водой (циркулирует внутри здания).
  • Низкое значение PUE на фоне фреоновых систем с фрикулингом за счет дополнительных энергопотребителей.
  • Чиллерная система капризна в работе, обслуживать ее должны специалисты с соответствующими компетенциями.

Чиллер с фрикулингом

Это чиллерная система с драйкулерами, которые включаются в работу, когда всю потребность в охлаждении можно полностью закрыть фрикулингом. 

Плюсы чиллеров с фрикулингом

  • Простая реализация.
  • При низкой температуре воздуха ЦОД можно охлаждать только за счет фрикулинга, при этом работать будут только два вида энергопотребителей – насосы и вентиляторы.
  • Во всех регионах, кроме южных, можно добиться оптимальных значений коэффициента PUE.

Минусы чиллеров с фрикулингом

  • Охлаждение вычислительного оборудования обходится дороже, чем при использовании систем с фреоном или чиллеров без фрикулинга.

Роторный теплообменник

Это разновидность систем воздушного фрикулинга, где воздух циркулирует по внутреннему контуру ЦОД. Нагретый воздух медленно проходит через вращающуюся конструкцию (ротор) и в охлажденном состоянии попадает в серверные комнаты. В свою очередь, холодный воздух с улицы поступает на вторую часть конструкции, нагревается и выходит за пределы здания. В жарком климате на выходе из внутреннего контура устанавливают испаритель, а на выходе внешнего – конденсатор. 

Плюсы роторного теплообменника

  • Хорошее значение коэффициента PUE.
  • Редко требуется дополнительное увлажнение воздуха в серверных комнатах.
  • Фреоновый контур можно использовать только, когда на улице держится высокая температура воздуха.

Минусы роторного теплообменника

  • Нагретый и охлажденный воздух могут смешиваться из-за негерметичности стыков в теплообменной конструкции.
  • Возможны ошибки в работе температурных датчиков.
  • Высокая стоимость реализации системы охлаждения.


Открытый воздушный контур

Конструктивно простая система: в ней есть только вентиляторы и две управляемые заслонки, которые или пропускают воздух, или запирают его.

Плюсы открытого воздушного контура

  • Низкая стоимость и минимальные затраты на обслуживание.
  • Хорошее значение коэффициента PUE.
  • Подходит для охлаждения контейнерных и модульных ЦОД.

Минусы открытого воздушного контура

  • Необходимо постоянно контролировать уровень температуры и влажности.
  • Требуется фреоновая система охлаждения аналогичной мощности на случай, если температура вне помещения превысит рекомендованную для машзалов.
  • В засушливых регионах нужны мощные увлажнители воздуха.

На фото – ЦОД Facebook

Закрытый воздушный контур

Здесь используется теплообменник вида «воздух-воздух». Воздух, который поступает во внутренний контур, охлаждается воздухом, который система забирает из внешнего контура. 

Плюсы закрытого воздушного контура

  • Горячий и холодный воздух не смешиваются, как в роторном теплообменнике.
  • Минимальные затраты на дополнительное увлажнение воздуха в машзалах (если сравнивать с открытым воздушным контуром и роторным теплообменником).
  • Стабильно работает, даже если вне ЦОД начнется пожар и сильное задымление.

Минус закрытого воздушного контура

  • В теплое время года дополнительно потребуется фреоновое охлаждение.

Фрикулинг с адиабатикой

Эта система оперативно реагирует на повышение температуры вне здания и включает адиабатическое охлаждение. Оно работает по принципу распыления мельчайших частиц воды по ходу движения воздушного потока. Вода испаряется и охлаждает воздух, причем на это тратится совсем немного электроэнергии. А за счет минимальных размеров капель воды жидкость не выходит за пределы воздуховодов.

Плюсы фрикулинга с адиабатикой

  • В закрытых контурах потребуется фреоновая система (до 15–20 % общей мощности основного охлаждения).
  • Фрикулинг с адиабатикой позволяет снизить PUE до отметки 1,1 в большинстве регионов России.

Минусы фрикулинга с адиабатикой

  • При повышении температуры воздуха вне помещения до +14 °C и выше стремительно увеличивается расход воды, необходимой для работы адиабатической системы.
  • В дата-центрах уровня Tier III нужен постоянный большой запас воды, который обеспечит непрерывную работу дизель-генераторной установки на протяжении 24–36 часов. Также нужны насосы для подкачки воды.


Прямое водяное охлаждение

В таких системах предварительно охлажденная вода постоянно циркулирует в контуре, подведенном к элементам вычислительных систем, которые нагреваются сильнее всего: серверным процессорам и оперативной памяти. Так как вода не диэлектрик, она не может напрямую контактировать с электрическими схемами, поэтому прямым такое охлаждение можно назвать лишь условно.

Плюс прямого водяного охлаждения

  • Низкий уровень шума в серверных помещениях.

Минусы прямого водяного охлаждения

  • Возможны протечки из-за большого количества мелких элементов, сочлененных друг с другом.
  • Выход воды за пределы контура угрожает работе оборудования, которое находится под напряжением.
  • Необходимо тщательно изучать материалы, из которых изготовлены элементы системы охлаждения.
  • Недопустимо использовать воду в чистом виде – она должна быть дистиллированной, с антикоррозийными или другими добавками, а они повышают стоимость хладагента.
На фото – система прямого водяного охлаждения

Погружные системы с масляным охлаждением

Плюсы погружных масляных систем

  • Можно не использовать чиллеры.
  • Занимают минимум места в серверных помещениях.
  • Изолированы от окружающей среды, потому проще выполнить требования к чистоте и влажности помещения серверной.

Минусы погружных масляных систем

  • Из-за способности масла легко воспламеняться нужно внимательно относиться к проектированию противопожарной сигнализации и пожаротушения.
  • Пластиковые элементы могут утратить первоначальные свойства после контакта с маслом.
  • Обеспечение циркуляции вязкого масла в системе – энергозатратный процесс.
  • Нужен теплообменник и внешний контур, в котором циркулирует гликолевый раствор.
  • Высокая стоимость, сопоставимая с чиллерной системой.

Погружная система с кипением/конденсацией

Здесь охлаждение происходит за счет испарения специальной жидкости с температурой кипения от 60 °C, которая не причиняет вреда платам вычислительного оборудования. Это повышает интенсивность теплообмена и позволяет уменьшить размеры серверных. 

Плюсы погружных систем с кипением и конденсаций

  • Безопасны для оборудования и для обслуживающего персонала.
  • Стандартная пожарная безопасность (без крайностей, как в случае с масляными системами).

Минусы погружных систем с кипением и конденсацией

  • Рабочие жидкости покупают напрямую у производителя или авторизованных дилеров.
  • Конструкция и ее монтаж стоят дорого и медленно окупаются.

Какое охлаждение выбрать для ЦОД

Универсального решения для охлаждения дата-центров не существует – слишком много «если» приходится учитывать: размеры ЦОД, уровень его надежности, средние и предельные температуры в разные сезоны, ожидаемые затраты на покупку, монтаж и обслуживание системы

Будьте готовы к тому, что при относительной дешевизне хладагента и самой системы может вырасти PUE, т. е. вы все равно понесете затраты. В относительно небольших серверных хорошо зарекомендовали себя классические фреоновые системы, но по мере увеличения машинного зала появляется проблема с размещением наружных блоков кондиционеров и одновременно появляются ограничения на длину трассы. Чтобы обойти их, можно использовать дополнительные контуры с промежуточными хладагентами или более современные системы охлаждения.

Возврат к списку