Питание и охлаждение ЦОД с повышенной плотностью мощности
Высокая плотность мощности в дата-центре – это сколько? В первых ЦОД плотность измеряли в киловаттах на квадратный фут. Со временем эта единица измерения утратила актуальность, потому что ничего не говорила о том, сколько стоек или шкафов располагается на объекте. Постепенно весь мир начал считать плотность мощности в киловаттах на стойку.
По оценке компании Colocation America, в 2008 году средняя плотность мощности на одну стойку составляла всего 6 кВт. В 2016 году она удвоилась и достигла 12 кВт, а к 2020-му эксперты ожидают покорения новой отметки – 16,5 кВт. Но это всего лишь «средняя температура по больнице». В реальности в отдельных ЦОД встречается плотность, в несколько раз превосходящая эти значения. Например, компания Intel владеет «зеленым» дата-центром, в котором плотность мощности на стойку 43 кВт!
Почему нужно увеличивать плотность мощности
Главным драйвером изменений в IT снова стал бизнес. Это ему понадобилось быстрее и эффективнее решать задачи клиентов, а значит больше нагружать дата-центры. Компании предлагают больше сервисов и стремятся обеспечить им круглосуточную доступность, а в результате растет количество серверов.
В ответ на потребность разместить больше оборудования на той же площади нашлось очевидное решение: уменьшить габариты сервера и повысить плотность мощности. На этой волне появились серверы в малом форм-факторе, блейды, стала развиваться гипермасштабируемая и компонуемая инфраструктура.
Как нарастить мощность ЦОД
Чтобы нарастить мощность ЦОД, у бизнеса есть два пути. Первый (будем называть его экстенсивным) – увеличить площадь традиционного дата-центра.
Аналитики из Ponemon Institute стоимость владения ЦОД делят на четыре составляющих:
- физическую площадку;
- ИТ-активы;
- операционные расходы;
- электроэнергию.
На первые две категории уходит 15–20 % всех расходов компании. При этом наблюдается интересная закономерность: чем больше площадь ЦОД, тем ниже стоимость одного киловатта электроэнергии.
Идти по пути увеличения площади дата-центра может позволить себе только средний и крупный бизнес. Но даже он чаще выбирает второй путь – интенсивный, когда общая мощность ЦОД растет за счет повышения плотности. Такой подход применяется в модульной инфраструктуре. Он дает больше гибкости и позволяет подготовиться к росту нагрузки в будущем.
Здесь ИТ-инфраструктура разделена на отдельные модули, которые взаимосвязаны друг с другом, но работают как автономные единицы и отвечают за определенные задачи. В виде модулей реализованы серверные стойки, системы горячих и холодных коридоров, кабинеты распределения питания и ИБП, решения для мониторинга и управления инфраструктурой.
Какой путь выбрать?
Чтобы оставаться в потоке, бизнесу приходится выбирать интенсивный путь. Модульная концепция обеспечивает увеличение плотности мощности и дает возможность компании соответствовать ожиданиям клиентов. Это и гибкое масштабирование, и высокое качество модулей благодаря их стандартизации, и быстрый ввод в эксплуатацию новых мощностей.
Стандартная модульная стойка содержит серверное и сопутствующее оборудование, средства для поддержания комфортной температуры, устройства распределения питания, кабельную разводку и многое другое. За счет стандартизации модулей плотность монтажа повышается, а потребление электроэнергии снижается почти на треть с сохранением прежних значений КПД.
Использование в ЦОД модульной концепции позволяет увеличивать значение плотности мощности на стойку на 20 кВт и более и параллельно снижать стоимость 1 кВт потребляемой электроэнергии.
Какие задачи придется решать с увеличением плотности
Основных задач две.
- Обеспечить оптимальный температурный режим.
- Повысить надежность и энергоэффективность дата-центра.
Бесперебойное снабжение и резервирование
Обеспечить бесперебойное электроснабжение традиционными методами в ЦОД с высокой плотностью мощности не получится. Если ИБП и системы охлаждения зарезервированы по схеме N+1, им придется беспрерывно работать на пределе возможностей, а это рано или поздно приведет к вынужденным простоям. Чтобы не допустить такого развития событий, устанавливают ИБП со схемой резервирования N+X или даже 2N (с двойной шиной).
Оптимизировать энергопотребление
Чем больше плотность мощности сервера, тем выше его энергопотребление. С повышением плотности мощности необходимо менять традиционные ИБП на модульные. Если использовать ИБП 8–10-летней давности, будет большой расход электроэнергии, так как КПД таких источников обычно не превышает 85 %. В модульных значение КПД в режиме преобразования AC-AC намного выше – от 95 % до 96,5 %. Соответственно затраты на электроэнергию ниже.
Организовать эффективное охлаждение
Для ИТ-оборудования каждый дополнительный потребляемый киловатт – это новая порция тепла, которое уходит в окружающую среду. Чем выше плотность мощности на стойку, тем сложнее поддерживать рекомендуемые 20–25 °C. И больше электроэнергии и денег уходит на охлаждение ЦОД. Решения высокой плотности позволяют эффективно использовать доступную площадь, но при этом сокращают время реакции на отказ.
Если прекратится подача питания на систему охлаждения, будет сложно отвести тепло, которое выделяет ИТ-оборудование, и оно через какое-то время тоже отключится. Добавляем еще один фактор: в современных ЦОД с высокой плотностью мощности рабочие нагрузки распределяются неравномерно из-за динамического перемещения виртуальных машин и приходится искать новые подходы к охлаждению.
Для охлаждения горячих участков подходят внутрирядные прецизионные кондиционеры Delta RowCool. Они находятся вблизи нагруженных участков и исключают потери при подаче воздуха под фальшполом. Бесщеточные вентиляторы постоянного тока поддерживают плавное регулирование скорости вращения в зависимости от текущей рабочей нагрузки, что экономит электроэнергию. А модульная конструкция RowCool обеспечивает высокую надежность и поддерживает горячую замену источников питания и вентиляторов. Это сокращает время ремонта и простоя системы охлаждения.
Еще один способ поддерживать оптимальную температуру – использовать внешние датчики контроля холодного воздуха, поступающего к серверам, в системах распределения питания. Есть и новые решения – зеленые технологии – естественное охлаждение за счет солнечной или ветровой энергии, жидкостное охлаждение.
Но самая важная задача – спроектировать систему охлаждения соответствующую IT-нагрузкам в стойках с высокой плотностью мощности, на начальном этапе.
Есть ли предел увеличения плотности мощности?
Риторический вопрос. С развитием технологий уменьшаются размеры оборудования и становится проще увеличивать плотность мощности на стойку. Цифры в начале статьи говорят о том, что этому показателю есть куда расти – по крайней мере с отметки в 16,5 кВт на стойку (ожидается в 2020 году) до 40 и даже 50+ кВт (реальный опыт Intel и инновационные модульные решения Delta).
Но нужно учитывать, что ЦОД будут и дальше сталкиваться с проблемами, вызванными увеличением плотности мощности. А появятся или нет рациональные инструменты для их решения – загадка даже для экспертов рынка.
