由制冷系统的演进浅谈数据中心基础设施整体解决方案的发展

随着云计算、大数据的迅猛发展，数据连接一切成为未来趋势，数据中心作为信息传递的物理载体，在各行各业发挥着越来越重要的核心作用。数据中心布置着大量的服务器、交换机等IT设备，为保障IT设备的稳定运行，需要一套环境控制系统，提供一个稳定的运行环境，以保证数据中心的温度、湿度、洁净度等保持在较小范围内波动。

1、数据中心为什么需要制冷

数据中心大量使用服务器等IT设备，其核心器件为半导体器件，发热量很大，以主要的计算芯片CPU为例，其发展速度遵循著名的摩尔定律，即半导体芯片上的晶体管数（密度）大约每两年就翻一番。除CPU外，计算机的其他处理芯片，如总线、内存、I/O等，均是高发热器件。当前，1U高（约44.4mm）的双核服务器的发热量可达1000W左右，放满刀片式服务器的机柜满负荷运转，发热量可达20KW以上。以服务器为例，其功率密度在过去的10年中增长了10倍，这个数据基本意味着单位面积的发热量也增加了10倍。IT设备持续运行发热，需要制冷设备保证环境的稳定。随着数据中心的发展及单位面积功率的提升，数据中心制冷方式也不断演进与发展。

2、环境对数据中心IT设备的影响

（1）温度过高：有资料表明，环境温度每提高10℃，元器件寿命降低约30%~50%，对于某些电路来说，可靠性几乎完全取决于热环境。

（2）温度过低：低温同样导致IT设备运行、绝缘材料、电池等问题。机房温度过低，部分IT设备将无法正常运行。

（3）湿度过高：数据中心湿度过高容易造成“导电小路”或者飞弧，会严重降低电路可靠性。

（4）湿度过低：在空气环境湿度过低时，非常容易产生静电，IT类设备由众多芯片、元器件组成，这些元器件对静电都很敏感，根据Intel公司公布的资料显示，在引起计算机故障的诸多因素中，静电放电是最大的隐患，将近一半的计算机故障都是由静电放电引起的。静电放电对计算机的破坏作用具有隐蔽性、潜在性、随机性、 复杂性等特点。

（5）灰尘洁净度：除温湿度外，数据中心小颗粒污染物具有腐蚀电路板、降低绝缘性能、影响散热等危害，灰尘对IT类设备是更厉害的杀手。

3、传统数据中心制冷方式的选择

传统数据中心采用房间级制冷，所谓房间级制冷，就是空调机组与整个机房相关联，并行工作来处理机房的总体热负荷，通常见到的布置如下图1及图2所示：

图1自然送风方式

图2地板下送风方式

传统数据中心机房，设备量较少，功率较低，布置较分散，没有做任何气流组织管理和设计，空调直接布置在机房内部，通常机房气流较为紊乱（如图3），容易存在局部热点和局部冷点，但是鉴于传统数据中心功率密度较低，一般情况下，通过增大空调的配置，机房也能长期稳定运行，但是造成了极大的能源浪费。

图3 传统机房气流云图

此阶段，通常数据中心送回风方式为空调下部送风及地板下送风，上回风的方式。这种送回风方式很多情况下无法充分利用空调的全部制冷容量，当空调机组送风时，很大一部分冷空气绕过 IT 负载，直接返回空调时，就会发生这一现象，同时自然送风方式没有做任何的气流组织的规划和设计，冷热气流极易容易混合，这些绕过空调的气流和混合的气流对负载的冷却没有帮助，实际上降低了总制冷容量，导致空调利用率和制冷效率都比较低。随着数据中心功率密度的提升，传统数据中心送回风方式（如图1）变得不能满足发热设备散热需求。

在传统的“房间级”制冷方案中，为减少冷热混合及提高空调制冷利用率，经常用到的解决方案为在数据中心机房内铺设静电地板，静电地板高度为20-100cm，有些甚至高达2m，将机房专用空调的冷风送到静电地板下方，形成一个很大的静压箱体（如图2），静压箱可减少送风系统动压、增加静压、稳定气流、减少气流振动等，再通过通风地板（如图4）将冷空气送到服务器机架上，回风可通过机房内地板上空间或专用回风道回风。

图4 地板下送风图示

为了避免地板下送风阻塞问题反生，有两个方法：一是保障合理的地板高度，很多机房已经将地板高度由原来的300mm调整到400mm乃至600-1000mm，附之以合理的风量、风压配置，以及合理的地板下走线方式，可以保证良好的空调系统效率；二是采用地板下送风与走线架上走线方式。

这种气流组织管理使送风效果及机房整体建设相较于自然送风模式有了进一步改善和提高。但是仍然会存在混风问题，也会限制单机柜的功率密度布置。

4、数据中心封闭冷通道制冷方式的选择

随着数据中心功率密度的增加，房间级制冷采用冷（热）通道气流遏制对气流组织进行管理，以防止冷气流不经过服务器而直接返回到空调等问题的发生。热通道与冷通道都能减少数据中心的气流混合，但建议采用冷通道气流遏制，因为实施起来比较简便。

冷通道封闭技术：冷通道封闭技术是在机柜间构建专门限于机柜设备制冷用的通道，并将冷通道与机房环境热气完全隔离，从而将冷空气限制在机柜中，避免了冷热空气混合、改善了冷空气利用率、提高了机房空调制冷效率和制冷效果，从而实现PUE的降低和能源的节约。如下图所示：

图5 封闭热通道

图6封闭冷通道

图7封闭冷通道气流云图

封闭冷通道特点：

（1）封闭冷通道技术将冷空气局限在机柜小环境中，冷空气必须通过机柜才能释放到机房、实现空气循环，有利于机柜中所有设备散热，可彻底解决机柜中局部过热问题。

（2）封闭冷通道技术将冷热气体完全隔离，提高了回风温度，解决了机房环境温度过低、机柜设备温度过高等困境，避免了空调无效工作，提高了制冷效率和制冷效果。

（3）封闭冷通道技术可有效降低机房能源消耗率P U E 数值，提高数据中心效率，可增加机柜设备存放密度，提高数据中心的IT设备功率密度。

图8 易事特封闭冷通道解决方案

图9 河源电子政务冷通道数据中心（易事特冷通道解决方案）

5、数据中心行间制冷方式的选择

行级制冷：采用行级制冷配置时，空调机组与机柜行相关联，在设计上，它们被认为是专用于某机柜行。

与传统无气流遏制房间级制冷相比，其气流路径较短，且专用度更加明确。此外，气流的可预测性较高，能够充分利用空调的全部额定制冷容量，并可以实现更高功率密度。

图10行间级制冷气流云图

行级制冷特点：

（1）行级制冷对静电地板无要求，甚至不需要静电地板。

（2）空调接近热源，送风路径最短，冷风压最大，冷风利用率及制冷效率最高。

（3）支持高密度制冷，单机架可布置服务器功率数最高。

在云计算和大数据应用促进下，数据中心建设迎来了一个新的建设高潮，建造功率密度更大，传统的数据中心部署缓慢，密度低，扩展很难，且牵一发而动全身。到后期，随着业务的发展、应用的增加，使得数据中心系统需要更多的管理软件，系统也愈发冗余，配电、制冷都已经不能满足需求，这时不得不对整体系统进行重新设计，进行扩展。

这种情况下，运用行级制冷的数据中心整体解决方案（微模块）应运而生，即把整个数据中心分为若干个独立区域，每个区域的规模、功率负载、配置等均按照统一标准进行设计。真正意义的微模块数据中心，制冷、供电及管理系统都应实现区域化、微模块，互不干扰，可以独立运行，无共享部分。

图11  易事特微模块数据中心基础设施解决方案

图12广州百度数据中心（易事特微模块解决方案）

6、结论

在以往的空调系统设计中，多采取“房间级”制冷系统，属于集中制冷模式，将空调房间考虑成一个均匀空间，按现场最大需求量来考虑，但是这种模式忽视了空间各部分的需要，缺少考虑制冷效率、制冷成本的意识。随着数据中心数据量的增加，发热功率直线上升，需要更大的制冷量及制冷效率才能满足需求，这个时候各个数据中心厂家推出气流遏制等解决方案。

目前，随着科学技术的发展以及高密度大型数据中心的建设需求，人们逐渐认识到集中制冷的弊端和按需制冷的必要性，按需制冷就是按机房内各部分热源的即时需要，将冷媒送到最贴近热源的地方，这个阶段典型的制冷解决方案就是行级制冷、水冷空调及冷冻水空调的应用，其最大的特点是制冷方式的定量化和精准化，从“房间级”制冷转变为“行级”制冷，随着数据中心的大发展，最后到“机柜级”以及“芯片级”制冷。