数据中心机房供电配电及能效管理系统设计

 本文部分内容引用微信公众号：数据中心运维管理，《浅谈数据中心机房供电配电系统设计》

摘要：现代的数据中心中都包括大量的计算机，对于这种场所的电力供应，都要求供电系统需要在所有的时间都有效，这就不同于一般建筑的供配电系统，它是一个交叉的系统，涉及到市电供电、防雷接地、防静电、UPS不间断供电、柴油发电机等，每个系统互相交叉，互有影响，这就使我们在设计时需要考虑多方面的因素。本文从数据中心的高压供电系统到末端精密配电系统介绍数据中心供配电及能效管理系统的设计。

系统概述

现代的数据中心机房中都包括大量的计算机，对于这种场所的电力供应，都要求供电系统需要在所有的时间都有效，扩容容易，维护简便，容错力强，*重要的是性价比高。数据中心机房是现代信息化建设的基础工程，为各个业务提供稳定、安全的工作环境，而机房的供配电系统就是这基础工程的心脏和大动脉，供配电系统的稳定，能够保障其它系统发挥作用和核心业务正常运行。系统不同于一般建筑的供配电系统，它是一个交叉的系统，涉及到市电供电、防雷接地、防静电、UPS不间断供电、柴油发电机等，各个系统互相交叉，互有影响，这就使我们在设计时需要考虑多方面的因素。

设计标准

数据中心有专门的设计标准，数据中心电信基础标TIA-942《数据中心电信基础设施标准》，是2005年4月由美国电信产业协会(TIA)、TIA技术工程委员会(TR42)和美国国家标准学会(ANSI)批准的。国内的相关规范和标准也是综合国外标准以及国内数据中心建设发展情况做出的，数据中心设计规范GB50174—2008《电子信息系统机房设计规范》也于2008年l1月12日发布，2009年6月1日开始实施。

设计一个数据中心首先需要根据用户重要性和业主对数据中心可靠性、安全性等的具体需求，确定机房等级．再按照相应等级确定适合的供配电系统。国内的数据中心首先需要满足国内规范的要求。GB 50174—2008中关于数据中心的分级规定如下：电子信息系统机房应划分为A、B、C三级。设计时应根据机房的使用性质、管理要求及其在经济和社会中的重要性质确定所属级别。

设计原则

数据中心供配电系统设计应执行或参照执行国家和行业相关标准、规范，并可参考国外相关标准、规范，结合考虑数据中心用电负荷密度高、供电可靠性要求高等特性采取适当的技术措施。同时，应满足项目建设单位的企业标准、规范的要求。

数据中心供配电系统设计应遵循分区、分级的原则，同一功能区域内的各类设备的供电可靠性，应能保证所有设备能够按照该区域标准的要求运行，并将供配电系统局部故障的影响面控制在尽可能小的范围。

数据中心用电负荷密度高、总量大，其供配电系统设计中应充分运用成熟有效的节能措施，降低供配电系统的损耗。

数据中心机房供配电系统需求分析

随着信息技术的迅速发展和互联网的普及，社会各界对信息系统的应用越来越广泛，信息和数据量呈几何级增长，由此对数据中心的需求日益增加，对数据中心的要求也不断提高，信息设备功能越来越强，功率密度越来越高。数据中心设备机柜用电负荷由以前的2kVA/台，提高到3kVA/台、4kVA/台，甚至更高。机房单位面积的平均用电负荷也由1kVA每平方，提高到1.5kVA每平方、2kVA每平方，甚至更高。

数据中心用电负荷的统计应分为两个层次，即：UPS供电系统负荷(输出)和市电供电系统负荷。市电供电系统负荷(输出)的统计主要包括：UPS供电系统(输入)、机房精密空调系统、机房照明及建筑电气设备等。UPS供电系统负荷(输入)＝供电负荷+充电负荷。机房精密空调系统负荷＝N台主用空调机组额定负荷容量×负荷率。UPS供电系统负荷(输出)的统计主要包括：计算机设备、服务器、存储、网络设备、小型机等，在负荷设备明确时，按设备数据统计，具体负荷设备不明确时，按设备机柜平均负荷统计。设备机柜数量也不明确时，可按机房面积平均负荷估计。

在发热量较大的情况下，如果柴油发电机未能及时启动而导致精密空调失电停止工作超过3分钟，机柜内服务器温度将会急剧升高而宕机，因此在可靠性要求比较高的情况下精密空调也可由UPS提供不间断电源，在柴油发电机启动前利用剩余冷冻水继续保持机柜气流循环散热，直到发电机全部启动。

数据中心机房供配电系统设计

5.1 供配电系统的布置 

数据中心机房供配电系统主要设备有：UPS、电池、配电柜和柴油发电机等。这些设备单位占地面积、重量大，对于这些设备的摆放位置既要考虑功能上的需求，又要考虑空间和承重的需要，还要考虑对外界的危害。

数据中心机房供电系统应有独立的配电间、变配电所，UPS 电源机房应靠近设备机房(负荷中心)布置，这样能保证从UPS输出到用电设备之间的压降和损耗尽可能的小。UPS 电源主机、配电柜与蓄电池组是否需要分隔，按照数据中心等级的要求决定，另外还需要考虑到UPS属于大型设备，重量比较大，噪声大，需要摆放在一个承重比较好，并且不影响办公和休息环境的地方。配电柜位置的选择，主要考虑功能上的需求，配电柜应在满足功能分区的基础上，尽可能靠近供电负载。发电机房宜设置在地面一层，当发电机房设置于地下层时，应特别注意进、出风通道能否满足要求，应注意发电机组储油装置（日用油箱、储油罐）的消防要求。

变配电所、发电机房、UPS电源机房均应留有足够的面积，可与设备机房同步发展，应对设备机房面积扩展或设备机房功率密度上升引起的供电需求。于非专门设计用于数据中心的建筑，应注意其是否满足设备安装和线路敷设的要求，包括楼面荷载、净高、抗震等级、耐火等级等方面。

下图为典型数据中心的供配电系统示意图，采用双路110kV进线，配置10kV柴油发电机作为自备应急电源，UPS采用冗余供电方式，末端精密配电柜和精密空调均采用UPS供电，提高数据中心运行稳定性，见图1。

图1 数据中心典型供配电系统示意图

5.2 供配电系统设计 
5.2.1 市电动力配电系统设计

为了提高数据中心供电可靠性，减少电网故障的干扰，大型数据中心一般采用110kV甚至更高电压等级市电电源，根据当地供电条件确定。市电动力配电主要用于供给机房精密空调设备、普通照明和给排风、维修插座、一般动力、UPS设备等。市电动力配电一般由大楼总配电柜馈出的动力供配电系统，采用50Hz交电，380/220V三相五线电源，TN-S接地方式，零线和地线分开设置且零地线之间电压小于1V。

一般可靠性要求数据中心宜引入两路市电电源，条件受限制时也可引入一路市电电源。引入两路市电电源时，宜为冗余关系，也可作为供电容量扩展关系。

每一路市电电源的供电容量应能满足全部一、二级负荷的需求，包括UPS电源系统、机房精密空调、机房照明、蓄电池充电及建筑设备中的一、二级负荷。两路市电电源的供电容量应为全冗余，正常时应同时供电运行，两路电源在负荷设备输入端自动切换。

图2 110kV变电站或10kV开闭所保护测控装置配置示意图

市电动力配电柜一般采用放射式配电直接配至各用电设备或电箱，机房内所有动力配电线缆需要设计桥架或钢管敷设，市电动力配电柜具有火警联动保护功能，出现火警时可与消防系统联动及时切断电源，动力配电柜、照明箱内的开关和主要元器件应设置有效的防雷措施。

表1 110/10kV变电站和10kV开闭所、变电所保护测控装置选型表

图3 0.4kV配电柜测控装置配置示意图

表2 0.4kV配电柜测控装置选型表

5.2.2自备应急电源系统设计  

数据中心一般采用柴油发电机组作为自备应急电源，对于大型、高等级数据中心也可以选择可靠性高、输出电源品质好、带非线性负载能力强、体积小、重量轻的大功率燃气轮机发电机组。一般可靠性要求的数据中心宜配置一路自备应急电源，供电容量应能满足全部一、二级负荷的需求，包括UPS电源系统、机房空调、机房照明、蓄电池充电及建筑设备中的一、二级负荷。当数据中心条件受限制，且市电电源具有较高可靠性时，也可以部分或全部采用移动式发电机组作为自备应急电源。发电机组燃料储备量应根据数据中心等级的要求，结合市电电源可靠性、供油可靠性、消防要求综合决定，一般不宜少于发电机组满负荷运行8小时的用油量。

图4 10kV柴油发电机室保护测控装置配置示意图

表3 10kV柴油发电机保护测控装置选型表

5.2.3 UPS供配电系统设计  
　　UPS配电主要用于计算机设备、服务器、小型机、存储、网络设备、保安监控设备等。UPS 电源系统输出一般采用三级配电方式：系统输出配电柜－机房配电柜－机柜配电单元。

UPS电源系统蓄电池组容量的计算方法有以下两种：

(1) 按负荷电流计算；

(2) 按负荷功率计算；

按负荷电流计算的结果是蓄电池组的总容量，然后再选择单组蓄电池的容量和组数。按负荷功率计算的结果是选定容量规格的蓄电池组数。两种计算方法的结果可互相校验。

对于单电源输入设备，即使已采用双单元冗余UPS 电源系统，也宜将其连接在其中一个单元上。对于双单元冗余UPS电源系统，可将其每个单元中的部分容量视为并联冗余性质。对于需要双回路供电的单电源输入设备，宜在其输入端设置静态转换开关STS。静态转换开关STS 的性能应能满足其要求，一般转换时间小于5～10ms。

当负荷设备对零－地电压要求较高时，可在机房配电柜设置隔离变压器。有时候为保证UPS故障旁路后输出高质量电源，往往在UPS旁路输出端设置隔离变压器。

数据中心UPS供配电系统一般采用冗余方式供电，很少采用单机供电。冗余方式供电能在一台UPS设备故障时，仍然能够满足机房内重要设备的用电需求，这是单机供电所不能达到的。从冗余式配置方案来看，常用的有以下几种方式：

热备份式冗余UPS供电方式 

主机带负载，备机空载或带非重要负载，备机接入主机的BYPASS(旁路)输入端。这种方式布置比较灵活，不需要两台UPS同品牌，而且不要增加额外辅助电路，不增加购置成本。如果UPS主机发生了故障，那么UPS备机需要接替全部负载，这也就意味着设计时需要计算好UPS主机故障时，UPS备机所需承担的总负载。此方式的缺陷在于UPS备机得具有阶跃性负载承载能力，无法对电源系统进行扩容，两台容量不同的UPS相联，只能按*小的UPS容量输出。

直接并机冗余UPS供电方式 

为克服热备份式冗余供电系统的弱点，随着UPS控制技术的进步，具有相同额定输出功率的UPS可直接并联而形成冗余供电系统，为保证高质量的并机系统，各电源间需要保持同频、同相、且各机均流。此供电方式瞬间过载能力强，能够自动均分功率，系统互为主备，提高供电可靠性，电源系统扩容方便。但是存在着环流，增加无功损耗，降低系统可靠性，需增加额外辅助电路，随之而来是增加成本，增加故障点。设计时，如2台互备，每台按照50%带载能力考虑，并联的主机越多，单台主机的带载能力就越低。

双总线冗余供电方式 

双总线供电方式是采用两条总线对后端设备进行供电，每条总线上具有相同的一套UPS供电方式，消除可能出现在UPS输出端与*终用户负载端之间的“单点瓶颈"故障隐患，以提高输出电源供电系统的“容错"功能。此供电方式能够在线维护，在线扩容，在线升级，改善了重要总线的可用性，满足了双电源用电设备的需求，真正实现了7×24×365运行的目标。但是双总线冗余供电方式相当于搭建了两套前述供电方式的回路，需要增加2倍以上的成本。同时，为满足单电源设备的供电需求，可在输出端安装STS，来保证供电输出的可靠性。　　

UPS供电系统是满足数据中心供电可靠性的核心部分，而蓄电池又是整个系统中*重要的组成之一，是整个供电系统的“*后一道屏障"。当组串中的一只电池因过充、过放等原因造成电池性能下降，电池内阻增大，会导致电池出现发热、鼓包等现象，将造成供电系统安全性的整体下降，同时增加蓄电池充放电的损耗。

图5 数据中心UPS和蓄电池监测配置示意图

表4 数据中心蓄电池监测选型表

5.3 末端配电系统

机房UPS、精密空调电源系统输入应设置专用的输入配电柜。电源系统输入配电柜应引接两路电源、自动切换。UPS 电源主机的主电源和旁路电源应分别引入，并宜由不同的输入配电柜引接。UPS电源系统输出应采用放射式、双回路配电方式。UPS 电源系统输出应采用三相配电，末端分相，以利三相平衡。

机房配电柜、UPS电源柜落地安装，动力配电箱、照明配电箱底边距地1.4m墙上暗装，配电柜及其他电气装置的底座应与建筑楼地面牢靠固定，并接地，机房内应分别设置维修和测试用插座，且有明显区别标志，测试用电源插座应由UPS供电，维修插座由市电供电。所有线路的敷设是要以设备布局和设计图纸为基础进行，设计时考虑供电距离尽量短，机房内的电源线、信号线和通信线应分别铺设，不能共走同一线槽，UPS电源配电箱(柜)引出的配电线路，穿镀锌钢管，沿机房活动地板下敷设至各排网络或服务器机柜，使用插座或工业连接器为机柜供电。

5.3.1 精密配电柜

精密配电柜是为数据中心的设备机柜提供电源的末端配电设备，一般采用双回路供电，电源分别来自两台冗余的UPS，分为交流和直流供电，一般放置在机柜阵列的两端，也称列头柜，如图6所示。

图6 ANDPF精密配电柜

安科瑞精密配电监控解决方案针对精密配电柜监控数字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）系统。由触摸式液晶显示屏、综合信息处理主机模块、开关状态采集模块、电流互感器(交流)或霍尔传感器(直流)采集单元模块等组成。监测两路主进线和A+B双面馈线回路电量参数、开关状态、谐波含量、柜内温湿度等数据，可以在本地触摸屏显示，同时可以上传AcrelEMS-IDC数据中心能效管理系统显示和报警。产品方案见表5。

表5 精密配电柜数字化方案产品选型

5.3.2 智慧母线槽

近年来随着数据中心建设的快速发展，智能母线槽的方案运用越来越多。相比传统精密配电柜，数据中心母线槽架空铺设，具有安装检修方便、不占地、散热快、易增容等优势。母线槽通过始端箱从前端UPS取电，以母排系统组成输电结构，采用即插即用的方式，通过插接箱给各个IT机柜内的PDU供电。

图7 智能母线槽数据采集方案示意图

安科瑞智能母线槽方案在始端箱和插接箱内配置AMB100/AMB110监测单元，测量始端箱、插接箱电压、电流、频率、有功功率、无功功率、功率因数、有功电能、无功电能、谐波畸变、温湿度、漏电电流等数据，可以通过有线或无线方式传输数据，在本地触摸屏显示，同时可以上传数据中心能效管理系统，实现母线槽的数据展示和异常预警。

另外由于母线槽是由铜制母排搭接而成，接头部位可能会由于接触不良而异常发热，所以需要对母线槽接头温度进行实时监测，安科瑞AMB200母线接头温度监测装置进行接触式测温，AMB300通过红外非接触式测温方式监测母线温度，数据通过有线或无线方式传输本地触摸屏显示，同时可以上传数据中心能效管理系统，实现母线槽温度的实时预警，设备选型如表6所示。

表6 智能母线槽解决方案选型表

5.4 数据中心能效管理系统设计

AcrelEMS-IDC数据中心能效管理系统搭建基于高、中、低压配电系统、柴油发电机、UPS的实时监控和末端配电系统数据采集的电力监控、PUE分析以及动环监测，帮助数据中心管理者全面了解数据中心能源运行情况，并关注消防和电气安全，及时预警异常情况，保障数据中心稳定可靠运行。除了变电站、柴油发电机和UPS运行监控以外，特别是针对数据中心的末端配电环节，系统数据跟踪到每一个回路的电气参数和开关状态、温湿度数据等。

图8 数据中心能效管理系统架构图

5.4.1 电力监控

监控110kV变电站、10kV开闭所、10/0.4kV低压变配电室配电系统运行情况，实现遥测、遥信、越限报警、故障分析、电能质量分析、运行报表等功能。

5.4.2 设备监控

监测柴油发电机、变压器、UPS、蓄电池组、精密配电柜、精密空调的状态以及运行参数，并提供异常预警、运行报表等功能。

5.4.3 能耗分析

统计数据中心总能耗、IT设备能耗、制冷系统能耗、供电系统能耗、照明及办公能耗等分项用能，并计算CLF/PLF/PUE等能耗指标。

5.4.4 环境监测

监测数据中心温湿度、水浸，蓄电池内阻、温度、电压、蓄电池间氢气浓度等数据并提供越限告警和联动控制。

5.4.5 精密配电柜或小母线运行监测

系统监测精密配电柜或母线槽系统电气接点温度以及漏电电流，并设置温度、漏电越限告警，及时消除系统隐患。系统监测每路馈线回路的电流、功率、开关状态和用电量，还可以配置温度、湿度传感器用于监测线路接点温度和柜内湿度，设置参数高低越限告警，避免回路超负荷运行而导致意外断电。

5.4.6 故障预警

系统对数据中心的故障类型进行分级分类处理，可以通过语音、文字弹窗、短信等方式提供故障预警信号，并对故障进行分类展示。

5.4.7 运维管理

系统为数据中心提供设备管理和运维管理功能，包括设备台账、设备保养、工单管理、巡检记录、缺陷管理、抢修记录等功能，告别依靠手工记账，降低人力和时间成本。

结束语

不同用途或等级的数据中心对可靠性的要求不同，直接关系到数据中心的建设投资和运营成本。数据中心供配电系统是数据中心*重要的基础设施，应在数据中心建设初期予以统筹考虑和全面规划，并根据数据中心对供电可靠性的要求，在供电电源选择、供配电系统布置、供配电系统结构和形式等方面采取相应的技术措施。同时，还应充分运用成熟有效的节能措施和能效管理系统，降低供配电系统的损耗，减少运营成本。