Какую температуру необходимо поддерживать в серверных ЦОД

Слишком высокая температура в серверной – это всегда риски для дата-центра. Он может потерять данные, клиентские сервисы какое-то время будут недоступны, один или несколько серверов преждевременно выйдут из строя и придется искать им замену. А это снова простои, потерянное время и деньги. Но какая температура в машинном зале будет считаться приемлемой, а какая – оптимальной для работы оборудования?

В машинном зале непрерывно циркулируют теплые и холодные потоки. Охлажденный воздух генерируют кондиционеры и другие устройства в системе охлаждения, горячий – выталкивают серверные вентиляторы. Когда сохраняется оптимальный баланс между потоками разной температуры, оборудование в дата-центре стабильно работает. Если становится слишком жарко, возникают риски отказа, техника преждевременно выходит из строя, теряются критично важные данные и останавливаются сервисы.

Движение горячих и холодных воздушных потоков в машинном зале дата-центра

Рассмотрим, что влияет на температуру в машинном зале центра обработки данных.

• Физические параметры помещения: площадь зала и материалы, из которых изготовлены стены, потолок, перекрытия. Чем выше теплоизоляционные характеристики материалов и чем меньше площадь помещения, тем выше температура.
• Расположение стен в серверной: они выходят на улицу (южная/северная сторона) или примыкают к соседнему помещению. В первом случае при естественном нагреве здания в солнечный день температура в серверной может повышаться на 1–2 °C.
• Плотность размещения IT-оборудования и объем электроэнергии, который оно суммарно потребляет. Чем ближе серверные стойки расположены друг к другу и чем больше вычислительная плотность, тем выше шансы на перегрев.
• Срок эксплуатации сетевого и другого оборудования: устаревшие модели техники часто работают неэффективно, не соответствуют современным требованиям и чаще перегреваются.
• Насколько производительность системы кондиционирования отвечает реальным потребностям серверной. В каком режиме кондиционеры работают в ночное время и в периоды минимальной нагрузки на вычислительное оборудование.

На онлайн-портале статистики Statista можно найти данные о том, что в 2019 году 25 % дата-центров теряли от 300 до 400 тысяч долларов США всего за один час простоя серверов. Одной из частых причин остановки было как раз критичное повышение температуры.

Когда необходимо выяснить рекомендованную и разрешенную температуру для вычислительного оборудования и серверных комнат в частности, принято обращаться к рекомендациям Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE). 15 лет назад ASHRAE называла температуру от 68 до 75 °F (или от 20 до 24 °C) оптимальной для помещений дата-центра. Считалось, что она позволяет гарантировать безотказную работу инженерного оборудования и не оказывает негативного влияния на его срок службы – другими словами, не приводит к преждевременному выходу из строя.

Однако пару лет назад в ASHRAE в очередной раз пересмотрели свои рекомендации, учли появление новых стандартов вычислительного оборудования, и теперь называют приемлемым диапазон рабочих температур от 64 до 81 °F (или от 18 до 27 °C). Допуски увеличились, и теперь температуры, которые ранее считались критичными для серверов и СХД, находятся в пределах нормы.

Контрольные измерения температуры в серверных комнатах делают при включенном активном оборудовании на высоте 1,5 метра от пола.

До этого мы говорили о рекомендованной температуре. А как быть с разрешенной, которую еще называют допустимой? Это температура, при которой оборудование может работать непродолжительное время при нагрузке менее 50 %. Международная организация по стандартизации ISO называет таким пределом температуру 32 °C по верхней границе и 15 °C по нижней. В повседневной работе дата-центра таких значений температуры в серверных рекомендуется избегать; в противном случае это чревато высокими рисками для вычислительного оборудования.

Последние рекомендации ASHRAE расширили диапазон на целых 7 °C, но это не означает, что температура на граничных отметках перестала быть поводом для беспокойства. С одной стороны, владельцы ЦОД могут тратить меньше средств на охлаждение серверных помещений. С другой – на граничных отметках температуры им придется оперативно предпринимать какие-то меры, чтобы не допустить ее критичного повышения, особенно когда температура растет слишком быстро. В таком случае у дата-центра остается мало времени на то, чтобы отреагировать на инцидент и не допустить остановки своих или клиентских сервисов.

Так разница температуры в разны частях ЦОД выглядит на тепловой карте

Получается, что новые рекомендации ASHRAE ослабляют требования к температурному режиму в серверных и при этом неявно указывают на то, что дата-центру следует не только контролировать температуру, но и использовать средства мониторинга, которые помогут быстро снизить ее в критической ситуации.

Обычно это делают с помощью многочисленных цифровых датчиков, которые отправляют оповещения сразу же, как только температура достигнет предела по верхней (чаще) или нижней (в разы реже) границе. Размещать такие датчики необходимо на расстоянии не менее 7,5 метров друг от друга или еще ближе, если в ЦОД есть стойки с блейд-серверами, которые генерируют больше тепла, чем классические.

Аналогичные датчики используют для замеров влажности в машинном зале. Оптимально, если она будет составлять около 50 % с отклонением до 10 % в большую или меньшую сторону. В рекомендациях ASHRAE указывается диапазон от 20 % до 80 % включительно.

У любого оборудования есть оптимальный температурный диапазон. Это заявленная производителем температура окружающей среды, при которой техника не просто функционирует, а бесперебойно работает в течение всего гарантийного срока. Однако работа при максимально возможной температуре не означает, что системы и механизмы будут функционировать так же долго, как при более низких ее значениях.

Контролировать температуру, влажность и другие параметры, критичные для работы-оборудования, помогают специальные системы мониторинга

Повышение температуры в серверных влияет не только на вычислительное оборудование, но и на системы бесперебойного питания.

ИБП сильно зависимы от температуры окружающей среды. Обычно допустимая температура эксплуатации ИБП – от 0 до +40 °C, но нужно учесть то, что оптимальная температура эксплуатации аккумуляторных батарей – от +15 до +25 °C. При температурах выше +25 °C срок службы аккумуляторных батарей сокращается. При повышении до 40 °C прогнозируемый срок службы аккумуляторных батарей сокращается на два–три года, а при 50 °C они выйдут из строя в ближайшие несколько месяцев.

Если в помещении какое-то время держится температура от 30 °C и выше, способность к удержанию заряда снижается на 20 %, а когда температура достигает 45 °C – на 50 %. Эти цифры могут незначительно отличаться у разных производителей АКБ и ИБП, но тенденция к уменьшению срока службы и потеря заряда сохраняется абсолютно у всех.

Слабый компонент вычислительного оборудования – накопители. Если современные микропроцессоры и пассивные компоненты (сегодня это чаще всего твердотельные конденсаторы) безболезненно переносят температуру до 45 °C, с традиционными HDD иная ситуация. Чем больше лет накопителю, тем выше риски того, что температура за пределами рекомендованного диапазона быстрее выведет его из строя.

Чуть лучше обстоят дела с твердотельными накопителями, но и у них есть «узкое место». Ячейки MLC под воздействием высоких температур теряют способность сохранять заряд в оксиде кремния, из-за чего срок эксплуатации SSD тоже сокращается.