Погружение в жидкость как способ охлаждения ЦОД: аргументы за и против.

Современный центр обработки данных – система, потребляющая значительное количество энергии. Энергозатраты обусловлены как работой ИТ-оборудования, так и функционированием систем, поддерживающих его температурный режим.

Существуют оценки, согласно которым ЦОДы в глобальном масштабе потребляют около 3% всей производимой в мире электроэнергии, и эта доля имеет тенденцию к увеличению. Параллельно с развитием высокопроизводительных вычислительных систем растет и тепловыделение серверов. На сегодняшний день системы охлаждения в ЦОД могут потреблять от 30% до 50% всей потребляемой центром энергии.

Высказывается мнение, что традиционные воздушные системы охлаждения скоро не смогут эффективно отводить тепло от серверов. Иными словами, воздух не будет успевать забирать тепло от нагревающихся компонентов так же быстро, как эти компоненты его генерируют. Отсутствие эффективных решений в области охлаждения приведет к перегреву, снижению производительности и, как следствие, к отказам оборудования.

Экономический фактор также важен. В ряде случаев переход на альтернативные методы охлаждения позволяет значительно сократить капитальные и операционные затраты. Именно поэтому операторы ЦОД проявляют интерес к альтернативным технологиям охлаждения оборудования, что стимулирует развитие новых разработок и исследований. Крупные компании, такие как Microsoft, активно проводят собственные исследования в этой области.

Сегодня мы поговорим об иммерсионном охлаждении – интересной концепции, известной давно, но так и не получившей широкого распространения в индустрии охлаждения вычислительных систем.

Что же это такое?

Само слово "иммерсия" указывает на суть технологии – погружение. Иммерсионное охлаждение предполагает размещение сервера или его компонентов (материнской платы, процессора, видеокарты, дисков, блока питания и т.д.) в теплопроводящей диэлектрической жидкости. Эта жидкость отводит тепло от устройства, не нарушая работу электроники благодаря своим изоляционным свойствам.

В последние годы жидкостное охлаждение серверов и ПК становится все более популярным. Например, на некоторые серверы установлены CPU-водоблоки. Многие геймеры также используют жидкостное охлаждение в своих игровых компьютерах.

Обычным пользователям такая система, как правило, не нужна, но для высокопроизводительных машин вода, обладающая большей теплоемкостью, чем воздух, обеспечивает более эффективный отвод тепла, поддерживая работоспособность системы. Однако жидкостное охлаждение не обязательно реализуется через установку водоблоков, трубок, помпы и циркулирующей жидкости.

Иммерсионное охлаждение использует другой подход. Это разновидность жидкостного охлаждения, но она не требует герметичного контура для хладагента, что упрощает конструкцию. Кроме того, при таком подходе охлаждается весь сервер, а не только отдельные узлы.

Стоит отметить, что иммерсионное охлаждение началось не с серверов. Еще в XIX веке трансформаторы охлаждали, погружая их в масляную ванну. Эта практика используется до сих пор, а трансформаторное масло является отдельным видом минеральных масел со своим ГОСТом. Кстати, трансформаторные масла применяются и в качестве охлаждающих жидкостей для иммерсионных ванн.

Рассмотрим подробнее.

Сервер помещается в ванну, заполненную диэлектрической жидкостью. Предварительная подготовка сервера обычно не требуется, за исключением, возможно, демонтажа корпуса (частично или полностью), радиаторов и вентиляторов воздушного охлаждения. Жидкость, контактирующая с нагревающимися компонентами сервера, отводит тепло и затем охлаждается в чиллере или другом теплообменнике.

Диэлектрические жидкости, используемые в иммерсионных системах, можно разделить на две категории:

• Масла: минеральные, синтетические, силиконовые. Примеры: STE Oil Crystal Plus 70T или Блюмид.
• Фторуглероды: 3M Novec и Fluorinert.

Также диэлектрические жидкости делятся на двухфазные и однофазные:

• Двухфазные жидкости: в процессе охлаждения жидкость испаряется, превращаясь в газ. Пар охлаждается конденсатором (змеевиками с проточной водой в верхней части иммерсионной ванны). Конденсируясь, жидкость возвращается обратно в ванну. Такие жидкости имеют низкую точку кипения (около 60 градусов Цельсия) и используются только в герметичных резервуарах.
• Однофазные жидкости: жидкость остается в одном агрегатном состоянии. Для охлаждения используется циркуляция жидкости в резервуаре с помощью насосов или естественной конвекции. Жидкость не доводится до кипения и прокачивается через теплообменник. Однофазные жидкости характеризуются высокой точкой кипения. Резервуар для однофазной жидкости может быть открытым.

Преимущества иммерсионного охлаждения:

• Жидкость, обладая большей теплоемкостью, позволяет отводить больше тепла от устройства. Это позволяет использовать более мощные CPU/GPU, выделяющие большое количество тепла, без риска перегрева и отказа, а также более плотно размещать оборудование, экономя пространство.
• Иммерсионное охлаждение исключает локальный перегрев, так как охлаждает всю поверхность устройства равномерно, в отличие от воздушного или непрямого жидкостного охлаждения (через водоблоки). Это увеличивает срок службы оборудования.
• Снижение затрат на электроэнергию за счет отказа от инфраструктуры воздушного охлаждения. Коэффициент PUE приближается к единице.
• Повышение вычислительной мощности. Эффективное охлаждение позволяет разгонять устройства до максимума без риска перегрева.
• Исключение попадания пыли и грязи. Вентиляторы воздушной системы переносят частицы, которые могут вызвать сбои в работе оборудования. Иммерсионный подход решает эту проблему, повышая надежность устройств.
• Отсутствие необходимости в сложных системах пожаротушения при использовании негорючих диэлектрических жидкостей.
• Отсутствие шума.

Список преимуществ выглядит внушительно. Обычно сторонники иммерсионного охлаждения ЦОД после перечисления этих достоинств начинают говорить о "принципиально новом подходе" и "технологическом прорыве". Однако, если отбросить маркетинговую составляющую, становится очевидно, что иммерсионные решения практически не используются в ЦОД. Большинство операторов ЦОД в России и мире используют воздушное охлаждение, а иммерсионный подход применяется в основном в майнинге и в небольшом количестве экспериментальных проектов. Почему?

Чтобы ответить на этот вопрос, нужно проанализировать перечисленные выше преимущества.

Недостатки иммерсионного охлаждения:

Список достоинств, приведенный выше, можно найти на любом сайте производителя иммерсионных жидкостей, оборудования или решений для майнинга и ЦОД. Он в целом правдив и объективен, однако количество вопросов, возникающих при переходе на иммерсионное охлаждение, перевешивает плюсы, особенно если рассматривать их с практической точки зрения, находясь в работающем дата-центре.

• Утилизация тепла. Иммерсионная жидкость, отводя тепло более эффективно и в больших количествах, позволяет размещать сверхвысоконагруженные стойки (до 100 кВт на стойку против 12-15 кВт при воздушном охлаждении). Но отвод тепла от серверов – это только половина задачи. Главный вопрос – утилизация этого тепла. В любом случае придется использовать теплообменники, более производительные и дорогие, чем в системах с воздушным охлаждением. Это снижает экономию на электроэнергии.
• Гарантия на оборудование. Серверы изначально разрабатываются под воздушное охлаждение, поэтому производитель по умолчанию не предоставляет гарантию на оборудование, используемое с иммерсионными системами. 

Кроме того, некоторые типы жестких дисков невозможно использовать в жидкостной среде – шпиндель перестает вращаться из-за более плотной среды. В иммерсионных ваннах можно использовать только герметичные гелиевые HDD или твердотельные накопители.

• Обслуживание и "горячая" замена оборудования. Под вопросом остается возможность оперативной замены дисков и перезагрузки серверов без их остановки. В обычном ЦОДе инженер легко получает доступ к стойке, но в случае иммерсионного охлаждения потребуется извлечение сервера и ожидание, пока стечет жидкость. Двухфазные системы охлаждения усложняют задачу из-за повышенных требований к герметичности. Даже если "горячая" замена будет возможна, скорость ее выполнения значительно уступит традиционным решениям.

В целом, обслуживание серверов в иммерсионных системах потребует больше времени на извлечение и подготовку, что скажется на времени простоя.

Сомнительна и реальная выгода от преимуществ, часто декларируемых поставщиками иммерсионных решений:

• Отсутствие шума. Внедрение иммерсионного охлаждения исключительно ради тишины маловероятно. Бесшумность важна для домашнего майнинга, но в ЦОДе она не критична: снаружи шум не слышен, а внутри сотрудники используют средства защиты.
• Экономия пространства. Сверхплотное размещение серверов, обеспечиваемое иммерсионным охлаждением, должно быть экономически обосновано, а не просто являться технической возможностью.

Например, высокая стоимость земли может быть таким обоснованием: при цене квадратного метра в $10000 экономия площади становится существенным фактором.

Другой причиной может быть дефицит пространства, например, при майнинге в квартире или гараже, когда требуется значительно увеличить мощность фермы. В этом случае иммерсионное охлаждение хэш-плат будет оправданным решением.

Для дата-центров ограничение пространства встречается реже. Размещение больших мощностей на малой площади офиса может быть вызвано политиками безопасности, но такие случаи нетипичны.

Важно отметить, что при строительстве ЦОДа основной проблемой является не поиск подходящей площади, а обеспечение электропитанием. Получить 10 МВт для традиционного ЦОДа сложнее, чем найти площадку под него, особенно в городских условиях.

• Увеличение срока службы оборудования. Эффективный отвод тепла действительно снижает нагрев и продлевает срок службы серверов. Однако в традиционных ЦОДах оборудование устаревает быстрее, чем выходит из строя. Нет необходимости в "вечных" серверах, так как стандартный срок службы в 5 лет позволяет заменить его на более производительную модель.
• Защита от пыли и грязи. Это потенциальная проблема, легко решаемая регулярной уборкой. Влажная уборка проводится ежедневно, вход в машинный зал осуществляется в бахилах, а стойки и серверы регулярно очищаются.

Утверждения о пользе демонтажа серверных кулеров перед погружением в жидкость, якобы из-за их частых поломок, кажутся сомнительными. За время работы в дата-центре не было зафиксировано ни одного отказа вентилятора.

Вывод: системы иммерсионного охлаждения, по причинам, описанным выше, вряд ли заменят традиционные системы в центрах обработки данных в ближайшем будущем. Целесообразно их точечное применение для решения специфических задач: в высокопроизводительных вычислениях, при необходимости сверхплотного размещения оборудования или для исследовательских целей.

Развитие мощных процессоров может способствовать более широкому распространению иммерсионного охлаждения, если другие системы окажутся неспособными эффективно отводить тепло от таких систем.