实战记录丨记一次SCADA数据采集异常的故障排查

17：35分，手机来电铃声响起，这是今天第37个电话！

按下接听键：“张总，您好！根据我之前的建议目前状况如何？”

代理商张总：“您好，王老师，关于SCADA数据采集异常的事情，按您给的问题排查建议，已经完成了现场检查，目前怀疑是病毒导致的异常，由于该单位涉密，所以想请您带专业设备到现场帮忙诊断故障原因……”

一、故障现象

2017年1月上线试运行的西南某省省会城市生活垃圾发电厂工况运行监控系统（SCADA）系统，主要是采集本市5个垃圾焚烧发电厂生产及工况运行数据，上传至本市数字城管中心机房存储、分析、集中展示，为本市数字城管提供城市管理参考和依据。系统自上线后一直运行正常，从4月初起，5个发电厂前端数采站出现监测数据时通时断的故障情况，出现该故障时，PLC、上位机、实时数据库、历史数据库、数采网关等设备服务工作正常。

二、故障排查分析

按照ANSI/ISA-95.00.01企业分层模型，工业控制企业的架构可以分为五层（Level 0-4）：现场设备层、现场控制层、过程监控层、经营管理层以及企业管理层。发生故障时，过程监控层的监视控制、显示系统、实时数据库、通信处理等工作稳定，能正常对现场工作设备的监测及显示。那么故障发生的范围就可能在系统管理及监视控制的经营管理层面。在这层上，和该故障有关的资产包括：OPC服务器、前端数采站和承载数据传输的网络。

确定可能引起故障问题的范围及对象后，分别对可疑资产进行排查。

网络分析：

我们将安全临检系统接入OPC服务器及前端数采站所连接的交换机网络镜像口获取工控流量进行分析。以下为接入示意图：

通过临检系统展示的实时分析结果，我们发现该工控网络中有明显的异常连接，源IP地址的20000多个不同端口与同一个目标IP的51000端口建立了连接，对源IP进行定位，确定IP对应的资产为前端数采站。以下为网络连接示意图。

前端数采站分析

为满足监管部门及企业生产管理要求，发电厂把监管所需的底层数据通过OPC上传给数采站，监管部门的监控系统直接从发电厂数采站的数据库中进行抽取。

在数采站我们查看了网络连接、异常进程、注册表、可疑账户、工控病毒等项，发现本机有大量异常的连接，该现象也与网络流量分析所展示的情况一致。追踪到建立连接的进程PID值为1636，据此定位到DatagatherApp.exe是产生异常连接的罪魁祸首，该程序是某厂家的数据采集代理客户端。

导致SCADA数据采集异常分析

代理商所承建的SCADA前端数采站的数据采集应用程序工作端口为高位40000-50000间的随机范围，而某厂家4月份新装在数采站的数采代理客户端在运行后，会占用从40000~65535的2万多个端口与其数据接收服务器51000端口建立连接，那么就导致SCADA数据采集应用程序工作端口被占用，从而发生数据传输异常的情况。

三、故障事件总结

到此，SCADA数采异常故障排查工作应该结束了，但思考却远未结束：

监管部门通过互联网环境从发电厂工控系统中采集数据，虽然不直接与PLC等现场控制层设备进行连接，但众多威胁的客观存在，这样数据访问途径，会不会为工控系统带来极大的风险呢？

已发生的工控安全事件中，很多现在都存在类似情况，如：2015年乌克兰电厂遭受BLACKENERGY（黑暗力量）攻击导致的大规模断电事件；2016年01月28日，以色列电力供应系统遭受有史以来规模最大的网络攻击事件；2016年3月24日，伊朗黑客入侵纽约鲍曼水坝（Bowman Avenue Dam）防洪控制系统事件；2016年8月27日伊朗民防部门负责人Gholamreza Jalali向路透社透露，最近石化公司起火是网络攻击所致等等。