利用机器学习实现方便面包装的实时检测

在中国任意规模的食品商店和超市中，几乎都可以看到方便面的身影。国内一家大型方便面制造商为了减少带有封包瑕疵的产品流入市场，降低其客户对包装瑕疵的投诉率，决定使用包括TwinCAT 机器学习产品在内的倍福控制技术，使其方便面外包装质量可以得到实时可靠的智能化检测。

天津丰昱菱控机电设备有限公司（以下简称：天津丰昱）是一家专注工业自动化技术的系统集成商，与中国最大的快捷食品和饮品生产企业之一签订合同，为其提供先进的包装检测系统。这家食品制造商拥有世界上产能最大的方便面生产线，每条生产线的平均产量可达每分钟 500 包，年总产量高达 48 亿包。

通过无瑕疵包装提升客户满意度

包装并封口是方便面生产中的重要环节。对于袋装方便面来说，其包装袋内通常装有面饼，以及若干装有干调料、调味酱和脱水蔬菜等佐料的独立小包装袋。在包装生产线上，这些独立包装的一袋袋小调料包先会被有序地放置在流水线上高速运动的面饼上，再一起进入横切封包机进行包装和封口等工作。

在生产的过程中，总会因为各种不可控的因素，出现小调料包掉落在两个面饼之间，被切刀一分为二，分装在前后两袋方便面中的情况。而由此生产出来的瑕疵品会引起消费者投诉，让生产厂家声誉受损。因此，生产厂家为了降低客诉率，就必须想办法减少瑕疵品的流出。由于设备在被天津丰昱升级之前已经可以以非常低的错误率进行生产，因此质量控制更进一步指：必须确保无瑕疵产品和有瑕疵产品可靠的分开。

因为面饼进入封包机后，工程师无法看到封口机和包装机内的情况，在随后的光学检查中，如果从包装机里出来的瑕疵品封口正常，很难在外观上识别是否有瑕疵，因此很难找到导致上述问题发生的根本原因。因此，几乎不可能从根本上避免瑕疵品的产生。为了尽可能地阻止瑕疵品流入市场，方便面生产商使用了延迟时间非常短的全自动质量检测设备。

天津丰昱在这个项目中帮助最终用户快速实施了高性能的质量控制系统。他们先研究了封包机的机械和电气结构。据天津丰昱介绍，在这个过程中他们发现，由于倍福产品和技术具有良好的开放性和灵活性，非常适合用于采集所需的分析数据。他们在封包机内安装了几个传感器，并利用 TwinCAT Scope View 快速而方便地采集到第一批数据，以进行样机分析。通过随后的数据分析发现：当切刀切中调味包时，在采集的数据中会观测到一定的扰动。然而，经过实践证明，使用传统的工程设计方法无法可靠地检测出造成瑕疵品的扰动因素。因为这里需要考虑一些不确定性因素对数据的影响，如震动、包装材质的变化、传送带的速度变化和切刀应力的变化，等等。此分析应用要求非常严苛，因此，天津丰昱决定使用 TwinCAT 机器学习软件来解决这一难题。

机器学习在工业领域的应用

瑕疵品检测的实质就是使用分类器把无瑕疵和有瑕疵的产品区分开来。如果使用基于 ML 的分类器，需要基于样本数据训练一个数学模型，从而无需显式编程就能做出正确的决策。

倍福可以提供各种工具和开放接口，支持从数据采集和模型训练，到将调整好的模型直接部署到控制系统中等整个工程周期：

– 数据采集：数据的数量和质量对采用机器学习方法的应用场景具有决定性的影响。倍福 I/O 模块和软件产品种类繁多，几乎可以满足采集任何种类数据的要求。TwinCAT 软件中的各种功能插件，如 Scope View、Database Server、Data Agent 和 Analytics Logger 等工具可以采集并将数据存储到工业 PC、本地或远程数据库或者云端。

– 模型训练：通常需要先对采集到的数据进行预分析或预处理，以期找到这些原始数据与期望结果的关联性，或加强关联性。然后再选择一个合适的机器学习算法，并设置超参数训练模型。倍福推荐使用如 PyTorch、Keras、Scikit-learn等开放的机器学习框架进行模型训练。最后，将训练好的模型保存为 ONNX（开放神经网络交换格式文件）标准化数据交换格式的文件。ONNX 文件描述了训练好的模型的运算和参数，然后可以转化成二进制格式（BML）文件，更适合在 TwinCAT 中进行序列化（即加载执行）。

– 模型部署：针对机器学习（TF3800 和 TF3810）的 TwinCAT Runtime 环境，可以将训练好的模型文件（BML 格式）动态加载到控制器中，模型可以在控制器中实时运行，其执行周期小于 1 ms。这样可以直接处理推理结果（执行训练好的机器学习模型），并通过超高速 EtherCAT 通讯系统传输给输出设备，实现设备的实时控制。

这次方便面生产线的瑕疵品识别完全依照这三步法进行实施。首先，使用倍福的 EL1xxx 或 EL3xxx EtherCAT 数字量和模拟量输入端子模块结合 TwinCAT Scope View 采集传感器数据。然后使用开源的学习框架 Scikit-learn 训练机器学习模型，并生成模型描述文件。控制系统中的 TwinCAT Condition Monitoring可以预处理传感器数据。然后再转换成BML 文件，最后将该文件部署到一台 CX51xx 嵌入式控制器上运行，借助 TwinCAT Machine Learning Runtime 对实时采集的数据进行推理，然后将推理结果经过 EL2xxx 系列 EtherCAT 输出量端子模块，实时剔除瑕疵品。据天津丰昱介绍，倍福控制技术具备系统开放性优势，可以非常轻松地与生产线上现有的第三方主控系统集成 。

开放式平台助力缩短 ML 算法的开发周期

在开发和验证 ML 算法过程中，算法的调试，由于需要频繁地到工业现场进行，往往耗时耗力。而开放的 TwinCAT 平台可以有效验证算法，而无需直接访问机器。在模型训练开始前，生产设备上记录的数据被分成训练和测试数据。先利用训练数据来训练 ML 模型。然后在训练环境中使用测试数据，以测试训练好的模型在未知数据上的表现如何。

在成功移植数据预处理算法和ML算法到TwinCAT 中后，就可以进行算法验证。代码在测试系统或实际使用的嵌入式控制器或工业 PC 上执行，验证数据集通过 TwinCAT Database Server 功能流式传输给 TwinCAT 实时环境，以用作虚拟数据源。采用与现场传感器相同的采样频率从数据库中读取数据，因此可以优化模拟最终客户现场的应用场景。从生产设备采集到的新数据集在测试环境中可以用于挖掘各种应用场景。最后，利用测试数据调试嵌入式控制器上的 ML 算法，对其进行分析，以确保准确可靠地执行 ML 算法。

利用开放的 TwinCAT 平台开发和验证 ML 算法，有效地避免了在工业现场不必要的 ML 算法调试，从而显著缩短了算法的开发周期。天津丰昱强调，正是由于此原因，该合作项目的进展几乎未受到新冠肺炎疫情的影响。

多任务和多核功能确保实时可靠地执行 ML 算法

ML 算法分三步在 CX51xx 上进行：

– 采集传感器数据

– 预处理数据

– 执行 ML 模型检测瑕疵品

需要注意的是，一方面，瑕疵品检测需要用较高的采样频率，采集切割方便面包装袋过程中的传感器数据。另一方面，需要较低的执行频率来处理采集的数据和运行 ML 模型。这使得上述两步很难在同一个 PLC 任务中实时可靠执行。TwinCAT 的多任务多核处理功能则很好地解决了这一问题。它既保证了多个 PLC 任务可在嵌入式控制器的多个处理器核中可靠执行，又保证了多个 PLC 任务之间可靠的数据交换。另一个优点是，这些功能只需要简单的配置和调用现成的 PLC 功能块来完成，开发成本低。在方便面生产项目中，通过采用两个 PLC 任务和两个处理器核，可靠实现了上述 ML 的两步执行算法。

|

机器学习和基于 PC 的控制技术显著减少工作量

通过机器学习方法和数据挖掘，可以更快、更有效地解决生产中遇到的问题，从而降低研发成本。天津丰昱方便面生产线的经验证明，TwinCAT 机器学习在异常检测方面优于传统的工程方法。借助倍福开放的 TwinCAT 平台，数据采集、训练和 ML 推理这一完整流程可以在客户现场全自动实现。截止到 2020 年底，该质量检测设备已在最终客户的多条生产线上测试运行了近 4 个月，期间没有任何人为干预。最终客户反馈：由于采用了倍福的开放式解决方案，可以在不修改现有主控制系统的情况下实现检测系统；异常包装可以得到及时、准确地识别，从而达到了降低客诉率的目的。

系统集成商天津丰昱指出，通过使用倍福的 CX51xx、EtherCAT I/O 和TwinCAT 等产品，设备的使用变得更加简单和灵活。尽管客户的产线机械条件复杂，但在倍福工程师的大力支持下，每条新产线的调试和后期的维护都变得很轻松。此外，通过使用倍福基于 PC 的开放式控制技术，几乎可以不用考虑原有机器设备的品牌，几乎可以在任何新旧机器上采集需要的数据，从而使用机器学习方法解决客户质量检测的问题。天津丰昱相信，在不远的将来，会有越来越多的最终用户受益倍福的机器学习功能。