Как проектируется система бесперебойного электроснабжения в ЦОД
Особенности проектирования электроснабжения ЦОД
Рассказываем об особенностях проектирования СБЭ в ЦОДах: телекоммуникационный стандарт, основные схемы проектирования и резервирования системы.
Система электроснабжения – важнейший компонент инженерной инфраструктуры ЦОДа. Серверное, сетевое оборудование и все обслуживающие системы работают от электроэнергии, а без нее ЦОД превращается в строение с грудой бесполезного железа.
Рассказываем, какие требования предъявляются к электрообеспечению ЦОДов и как на практике осуществляется проектирование системы бесперебойного электроснабжения (СБЭ).

ЦОДы потребляют до 3 % мировой электроэнергии, вырабатываемой человечеством
Немного теории: телекоммуникационный стандарт
Система электроснабжения ЦОДа должна отвечать главным требованиям – непрерывности, качеству, надежности. Как обеспечить соблюдение этих требований, изложено в стандарте TIA/EIA-942, на котором основаны российские нормы СН 512-78.
Минимальные требования для ЦОДов:
- min рабочая нагрузка розеточной группы – 2,5 кВт;
- min число розеток – двойной блок на каждые 4 метра;
- наличие системы резервного питания (ИБП и дизель-генераторы);
- единые нормы надежности электропитания для машинных залов и помещений с внешними коммуникациями.
В Приложении G.5 этого стандарта определены требования к электрооборудованию и организации системы электроснабжения. Основные моменты:
- ЦОД должен иметь два независимых ввода от городской сети (с отдельными трассами от разных подстанций) и устройство автоматического ввода резерва (АВР);
- рекомендуется установка разрядника, подавляющего высоковольтные импульсы;
- необходимо оснащение ЦОДа резервной ДГУ и системой хранения топлива;
- генераторы должны подавать синусоидальный ток, нужный ИБП и нагрузкам в машинном зале;
- ИБП – важнейший компонент электроснабжения, можно использовать единичные и модульные устройства.
Для обеспечения отказоустойчивости к системе ИБП предъявляются следующие требования:
- наличие индивидуального средства отключения каждого модуля;
- наличие байпаса;
- применение нескольких «линеек» аккумуляторов;
- избыточность ИБП – запас не менее 20 % свыше требуемой удельной мощности.
Мощные ИБП структуры on-line с двойным преобразованием напряжения – базовый элемент архитектуры СБЭ современных дата-центров. Они создают оптимальные условия для работы подключенного к ним ИТ-оборудования в штатном режиме, а при отключении электропитания от города, обеспечивают автономное питание от аккумуляторов.
Основные схемы проектирования СБЭ
Система бесперебойного электроснабжения может быть:
- централизованной;
- распределенной;
- комбинированной (двухуровневой).
В каждой схеме построения СБЭ центральным элементом выступает ИБП, который выполняет не только защитную функцию, но и является связующим звеном между разными компонентами системы.
Централизованная система строится на базе трехфазного ИБП большой мощности (группы ИБП), к которому через коммутаторы и распределители питания подключаются все нагрузки ЦОДа.
Упрощенно схема централизованной системы выглядит так:

Централизованная система СБЭП
Плюс централизованной системы состоит в концентрации запаса мощности и емкости батарей. Такая система устойчива к локальным перегрузкам. Достичь увеличения времени автономной работы можно путем отключения второстепенных нагрузок.
Минус заключается в высокой вероятности отказа из-за выхода из строя ИБП, возникновения неисправностей или короткого замыкания в разветвленной сети.
Распределенная система предполагает защиту каждой нагрузки или группы однотипных нагрузок отдельным ИБП, который работает независимо.
В общем виде разветвленную схему СБЭ можно представить так:

Распределенная система СБЭП
Главным плюсом распределенной системы является простота масштабирования и изменения конфигурации системы.
К минусам можно отнести разную нагрузку на разные ИБП, что является причиной неэффективного использования мощности устройств и неравномерного расхода ресурса аккумуляторов. Отслеживать функционирование и управлять разветвленной системой сложнее, чем централизованной.
Для устранения минусов этих схем и оптимизации управления чаще всего используется комбинированная система. Ее называют двухуровневой, потому что в схеме присутствует центральный ИБП I уровня и устройства II уровня, обслуживающие критические нагрузки.
В общем виде схема комбинированной СБЭ выглядит так:

Комбинированная система СБЭП
Стоит отметить, что на I уровне устанавливается трехфазный ИБП большой мощности, а на втором – могут использоваться однофазные устройства меньшей мощности.
Резервирование в СБЭ
Для повышения надежности СБЭ основные элементы системы дублируются. Резервирование ИБП предполагает совместное использование двух и более компонентов с дальнейшим подключением к нагрузке. Суммарная мощность ИБП должна превосходить мощность нагрузки. Кроме того, важно обеспечить равномерную загруженность устройств.
На практике используются следующие схемы резервирования:
- N+1 – один запасной элемент. То есть для нагрузки 600 кВА устанавливаются три ИБП по 300 кВА, если один выйдет из строя, оставшиеся два покроют потребности. Аналогично строятся резервы N+2, N+3 и т. д.
- 2N – два запасных, параллельно работающих элемента. Для 600 кВА организуются две линии на 600 кВА (четыре ИБП по 300 кВА). Аналогично строятся резервы 3N, 4N и т. д
- 2 (N+1) – два запасных элемента, дополнительно зарезервированных по схеме N+1. Для 600 кВА организуются две линии с тремя ИБП на 300 кВА. В общей сложности в СБЭ задействованы шесть ИБП.
- 3/2N – схема, предполагающая загрузку системы на 2/3. Используется редко из-за сложности организации, в частности настройки коммутации между компонентами системы.

Уровни надежности ЦОДов: Tier I – резервирования нет, Tier II – схема N+1, Tier III – схема 2N, Tier IV (максимальная отказоустойчивость) – схемы 2 (N+1) или 3/2N
Какую роль в СБЭ играют ДГУ
«Грязное» городское электричество с нестабильным напряжением не подходит для питания критических нагрузок ЦОДа. Поэтому оно обязательно пропускается через ИБП, который выравнивает напряжение до нужного значения.
Но если городское электроснабжение пропадает, бразды правления по снабжению ЦОДа электричеством передаются ДГУ. Происходит это по следующему алгоритму:
- ИБП фиксирует отсутствие электроэнергии на входе и автоматически переключается на питание от аккумуляторов.
- Одновременно сбой отмечает АВР, ждет восстановления питания 5 секунд, после чего подает команду на запуск ДГУ. Для старта требуется 15–30 секунд.
- После запуска генераторов АВР перекрывает основную линию и запускает резервную. На это уходит около 10 секунд, с этого момента электроснабжение ЦОДа осуществляется от ДГУ.
- Питание восстанавливается, и ИБП переходят в штатный режим работы.
Когда городское электроснабжение возобновляется, ЦОД снова возвращается к классической схеме питания:
- АВР отмечает наличие электричества и через 5 секунд отключается от ДГУ.
- ИБП переключаются на питание от аккумуляторов.
- АВР запускает основную линию и через 60 секунд подает команду на остановку ДГУ.
Система бесперебойного электроснабжения ответственна за жизнеспособность ЦОДа, поэтому ее финансирование нужно производить не по остаточному принципу, а по принципу достаточности. Экономить на компонентах СБЭ, особенно на ИБП, нельзя – следует выбирать качественное оборудование от надежных поставщиков.