Залог стабильной ИТ-инфраструктуры: как обеспечить комфортный микроклимат в ЦОД

Выбираем производителя

Дата-центры и серверные представляют собой узкоспециализированные «умные здания», способные обеспечить штатные условия для функционирования серверного оборудования. За контроль микроклимата в таких локациях отвечают специализированные системы кондиционирования воздуха, к которым сегодня предъявляют весьма жесткие требования.

«Промышленные системы должны работать в режиме 24 часа в сутки, 7 дней в неделю, 365 дней в году», — напоминает Александр Ежов, руководитель направления комплексных инженерных решений в компании C3 Solutions. Кроме того, такие системы должны быть прецизионными, то есть обеспечивать поддержание микроклимата с высокой точностью, тратя на это по возможности минимум энергии.

В настоящее время на российском рынке доступна продукция около четырех десятков вендоров, поставляющих компоненты для систем поддержания микроклимата в ЦОД. Глобальные вендоры с национального рынка ушли, но их продукция доступна по каналам «параллельного импорта», присутствуют китайские производители и, наконец, активно развиваются российские компании, наладившие собственное производство рассматриваемых компонентов.

Оборудование отечественных вендоров для операторов российских ЦОД предпочтительнее по причине санкционной устойчивости: эти производители с национального рынка не уйдут ни под влиянием прямых санкций, ни под угрозами вторичных. Также важным фактором является наличие запасных частей и сервиса. У российских вендоров за редким исключением выпуском высокотехнологичной продукции занимаются китайские фабрики по классической схеме OEM-производства. А некоторые компании, например C3 Solutions, используют модель ОDM: когда завод не просто переклеивает шильдики на готовой продукции, а выпускает модели по эксклюзивной разработке. Многие компании сейчас прорабатывают вопрос локализации производства на территории России с целью уменьшения сроков и минимизации логистических рисков.

«Системы под маркой C3 Solutions собирают на ведущих китайских заводах по нашим спецификациям и техническому заданию», — подчеркивает Александр Ежов.

Заметим, что C3 Solutions поставляет как оборудование собственного бренда, так и, по желанию заказчиков, компоненты других производителей. По понятным причинам — технологичность, доступность, санкционная устойчивость, наличие технической поддержки и мощная экспертиза — продукция российского производства быстро увеличивает занимаемую долю рынка.

«При разработке технического задания на производство мы ориентировались на национальные нормы безопасности, опыт сервиса, эксплуатации и требования российских заказчиков, стремясь оптимально удовлетворить их потребности в ИТ-кондиционерах», — говорит Андрей Штонда, директор департамента развития продуктов C3 Solutions. Особенностью C3 Solutions является предложение широкого спектра товаров для создания ЦОД — кроме компонентов для кондиционирования воздуха в номенклатуре компании есть ИБП, БРП, СКВ, МикроЦОД, серверные шкафы, системы изоляции коридоров и другие элементы.

Выбираем компоненты

Построение системы для поддержания микроклимата в каждом отдельном случае является сложной инженерной задачей. Разумеется, многое зависит от количества серверного оборудования, размещаемого на площадке, и его тепловыделения, однако, важны и другие детали. Результирующую систему проектируют с учетом ряда факторов, в частности, особенностей помещения дата-центра, максимальной тепловой нагрузки с одной стойки, наличия/отсутствия фальш-конструкций, планов по масштабированию, модернизации и т.д. Только с учетом всех этих особенностей можно подобрать необходимый тип кондиционеров для построения системы с оптимальной циркуляцией воздушных потоков, обеспечивающих равномерное и стабильное отведение излишков тепла от работающего серверного оборудования.

С одной стороны, размещение инженерного оборудования и серверных стоек должно исключать наличие зон с недостаточной циркуляцией воздуха, так как это может привести к перегреву вычислительного оборудования. С другой стороны, зоны с переохлажденным воздухом тоже нужно исключить — их наличие приводит к избыточным тратам на электроэнергию и негативно влияет на коэффициент PUE.

При создании подсистемы охлаждения нужно учитывать заданный уровень резервирования оборудования. Желает ли заказчик «N+1» или «2N» — в любом случае комплекс устройств должен обеспечивать нормальную циркуляцию и требуемые температурно-влажностные параметры воздуха в ЦОД в случае отключения одного или нескольких кондиционеров (например, для профилактического обслуживания, ремонта и т.д.).

Какие бывают кондиционеры

На сегодняшний день наиболее распространены четыре типа исполнения прецизионных кондиционеров для ЦОД, серверных и EDGE-решений.

«Мы выпускаем кондиционеры воздуха во всех форм-факторах, — отмечает Александр Ежов, — на оборудовании C3 Solutions можно построить оптимальную систему контроля микроклимата для дата-центров различной конфигурации и мощности».

В настоящее время кондиционерами собственной линейки, представленными прошлой осенью, C3 Solutions закрывает до 98% заказов от российских клиентов.

Наиболее распространенные запросы — на «шкафы», точнее, «кондиционеры воздуха шкафного типа». Обычно такие решения размещаются по периметру ЦОД и направляют потоки воздуха на ряды серверных стоек через пространство фальшпола. Такие решения обладают высокой холодильной мощностью (она может превышать 180 кВт), просты в размещении, но имеют ряд ограничений.

Например, при наличии в ЦОД большого количества рядов со стойками, в центральной части помещения образуется зона, куда потоки охлажденного воздуха добираются в меньшем объеме или, уже смешавшись с окружающим воздухом, а поэтому не могут обеспечить нужный уровень отведения тепла от оборудования. Кроме того, особенности подачи воздуха через объем фальш-конструкций и напольные решетки приводит к ограничению теплосъема с одной стойки до 8-9 кВт.

Системы воздуховодов и активные плитки увеличивают это значение до 10-11 кВт, но приводят и к увеличению энергопотребления. Это также накладывает ограничение на будущее обновление парка вычислительно техники, так как увеличение тепловой нагрузки на стойку скорее всего приведет к локальному перегреву. Можно увеличить зону холодного коридора и количество перфорированных плиток, но с учетом больших габаритов самих «шкафников», это приводит к потере драгоценной площади. Тем не менее, для помещений ИБП и АКБ, периметральные кондиционеры остаются незаменимыми.

Описанные выше проблемы можно эффективно решить применением внутрирядных кондиционеров. По сути, это те же шкафы, но более компактные и предназначенные для размещения в одном ряду с серверными стойками. Близкое размещение позволяет вести более эффективное охлаждение — потоки холодного воздуха попадают в серверные стойки минуя фальш-конструкции и длинные расстояния. Холодильная мощность таких решений по понятным причинам меньше, чем доступна шкафному типу: в линейке C3 Solutions — до 62,7 кВт. Но с учетом малой площади такого кондиционера, его использование значительно эффективнее: три кондиционера по 62кВт займут гораздо меньше площади, чем один шкафной на 180кВт. А с учетом маленькой зоны обслуживания и более высокой энергоэффективности — они становятся значительно более привлекательным решением для заказчика.

Третий вариант — кондиционеры встроенного типа. Они компактны, что позволяет установить их в ту же стойку, где размещены подлежащие охлаждению сервера. Это еще больше поднимает эффективность, но в силу компактности такие решения обладают ограниченной холодильной мощностью (до полутора десятков кВт).

Как выглядит развитие систем кондиционирования

Вендоры активно работают над повышением энергоэффективности систем охлаждения. Конечно, основными потребителями электричества в ЦОД являются серверы, но оптимизация систем охлаждения позволяет заметно влиять на РUЕ, а также уменьшать затраты на эксплуатацию дата-центра.

В российских условиях, где температура окружающей среды полгода близка к нулю или заметно ниже, одним из наиболее эффективных является фрикулинг. Принцип прост: охлаждение объекта реализуют без применения компрессоров и другого энергоёмкого оборудования за счёт окружающей среды. Например, когда температура воздуха на улице становится ниже +3 градусов, система фреонового фрикулинга позволяет использовать холодильный контур для отведения тепла без использования компрессора, говорит Александр Ежов. В таком режиме работы вместо компрессора включается встроенный насос высокого давления, который потребляет не более 600Вт при холодильной мощности контура до 60кВт. То есть система фреонового фрикулинга позволяет сэкономить на энергопотреблении кондиционеров до 72%, отмечает Андрей Штонда.

По желанию заказчика также доступны системы водяного фрикулинга и адиабатического охлаждения. Однако, как считают в C3 Solutions, многие заказчики бояться проводить воду и ее растворы рядом с вычислительным комплексом, а адиабатика весьма капризна, особенно в условиях меняющегося климата. В этом плане, фреоновый фрикулинг в российских условиях оказывается более актуальным, в развитии собственной линейки кондиционеров компания делает ставку именно на эту технологию.

Есть и другие инженерные решения, также направленные на оптимизацию энергопотребления, но реализуемые в ходе проектирования системы охлаждения в конкретном дата-центре. Например, кондиционеры могут работать как в открытых системах охлаждения, так и в закрытых. Последний вариант исключает взаимодействие пространства с охлаждаемыми стойками с внешним объемом ЦОД, что повышает эффективность работы систем кондиционирования. Для таких проектов как раз используются встроенные в стойку кондиционеры воздуха и модернизированные внутрирядные.

Вместо заключения

Решения российского производства будут становиться все популярней. Причина — в улучшенном соответствии требованиям заказчиков, инженерных решениях, позволяющих системам превосходить как изделия китайских компаний, так в ряде случаев и продукцию глобальных производителей.

«Использование фреонового фрикулинга позволяет нашим решением достигать энергоэффективности, превосходящей доступную продукции глобальных компаний», — говорит Александр Ежов.

В перспективе — на горизонте двух-трех лет — компания планирует локализовать производство кондиционеров на мощностях российских предприятий. Это добавит санкционной устойчивости оборудованию, а также упростит логистику поставок оборудования. В этом направлении C3 Solutions уже работает, но деталей пока не раскрывает.