数字孪生文献速读

什么是数字孪生

数字孪生将物理世界的各种属性映射到虚拟空间中,形成可复制、可修改、可重复操作的数字镜像,让受限于物理条件以及实体而无法重复完成的操作得以复现并预测。在生产过程中密切跟踪产品(数字孪生),并进行(实时或接近实时)模拟,根据这些模拟的结果调整生产。

大致研究方向

综述

工业数字孪生都研究了什么,有哪些研究方向,未来的突破点

  • F. Tao, H. Zhang, A. Liu and A. Y. C. Nee, “Digital Twin in Industry: State-of-the-Art,” in IEEE Transactions on Industrial Informatics, vol. 15, no. 4, pp. 2405-2415, April 2019, doi: 10.1109/TII.2018.2873186. 引用次数:407
  • R. Minerva, G. M. Lee and N. Crespi, “Digital Twin in the IoT Context: A Survey on Technical Features, Scenarios, and Architectural Models,” in Proceedings of the IEEE, vol. 108, no. 10, pp. 1785-1824, Oct. 2020, doi: 10.1109/JPROC.2020.2998530. 引用次数:36
  • Y. Wu, K. Zhang and Y. Zhang, “Digital Twin Networks: a Survey,” in IEEE Internet of Things Journal, doi: 10.1109/JIOT.2021.3079510. 引用次数:2

数字孪生是什么

数字孪生的定义:

  • 三种定义:
    • 物理物体的镜像模型;
    • 计算机模型、模拟或软件;
    • 集成系统。
  • 综合定义:数字孪生是一个智能的、不断发展的系统,它在整个生命周期监控、控制和优化物理对象。

数字孪生网络(DTN)定义:使用多个一对一数字孪生构建的多对多映射网络,通过使用精确的数字孪生模型、通信、计算和物理数据处理技术,实现多物理对象和数字孪生的动态交互和同步演化。

image.png

数字孪生的概念模型:
image.png

  • 三个部分:物理产品、虚拟产品及其连接
  • 五个部分:物理部分、虚拟部分、连接、数据和服务

数字孪生网络的理论基础:

  • 数字孪生建模、模拟、验证、验证和认证(VV&A);
  • 数据融合;交互和协作;
  • 服务。

关键技术:通信(P2P,P2V,V2V)、物理数据处理、数字孪生建模(特定模型,多尺寸模型,通用模型)、云计算和边缘计算。

目前的发展情况

发展历史:
image.png
image.png

适用领域

  • 工业领域:
    image.png
    • design:更快速、高效设计新产品,在设计早期即可评估设计好坏
    • production:监控复杂的生产过程,实时调整优化
    • prognostics, and health management (PHM):预测和健康管理
  • 数字孪生网络在智能城市制造、航空、医疗保健、6G 网络、智能交通系统和城市智能领域的应用。
    image.png

实现与主要挑战

  1. 数字孪生驱动的 PHM 可以集成建模的四个维度(即几何学、物理、行为和规则建模),从而更准确地描绘实际情况。数字孪生驱动的PHM整体融合了物理数据和虚拟数据、实时数据和历史数据以及数据融合。可以集成历史数据和实时数据,以构建增强的预测模型。
  2. 关于数字孪生的实现,关键问题是如何建立一个切实可行的数字孪生模型。
    几乎每篇论文都承认建模的重要性,但尚未就如何以通用方式建立数字孪生模型达成共识。
    迫切需要一个统一的数字孪生建模框架。此外,为数字孪生开发更多建模工具同样重要。
    因此,数字孪生建模是研究的一个很有前途的方向。
  3. 信息物理融合的数字孪生。改进融合算法。采用并行计算来提高计算效率。数字孪生的安全性。连接和通信协议。
  4. 未来的新趋势和开放性研究问题:安全和隐私问题,基于全面传感器部署的数据收集成本问题,双向实时通信延迟问题。

1 对数字孪生进行建模,建模方法

A Methodology for Digital Twin Modeling and Deployment for Industry 4.0

工业化4.0数字孪生建模与部署方法 DOI: 10.1109/JPROC.2020.3032444

【通用的工业领域,数字孪生的建模方法】

提出了使用模型驱动工程(MDE)进行数字孪生(DT)设计的方法,灵活、通用。

数字孪生参考模型的组成

通用体系结构,数字孪生与设备、应用程序和用户之间的关系

image.png

必要组件:物理模型(使用AutomationML为数字孪生建模)和API(通过外部应用程序访问数字孪生实例)

可选组件:

  1. Storage
  2. Events Source:满足特定条件触发事件
  3. Methods:可调用、执行的一组指令,用于控制设备、执行模拟、运行诊断
  4. Access control:用户身份验证
  5. Human–machine interface,HMI
  6. Common Interface

image.png

另外还提出了数字孪生中多个实体(例如多个设备、传感器等)之间连接关系的拓扑结构:

  1. 产品的数字孪生:与产品本身无直接连接,信息由其他实体提供,数字孪生负责整合、存储和呈现数据。
  2. 连接的数字孪生:存在通信链路。
  3. 嵌入式数字孪生:数字孪生嵌入在设备中。
  4. 聚合的数字孪生:物理设备可由几个部件组成,因此数字孪生也可以通过聚合创建,保持一对一关系,可能反映复杂系统的组成性质。
建模与部署方法

使用AutomationML(AML)的数字孪生建模方法

image.png

AML(Automation Markup Language),是一种用于工程数据的基于XML的数据交换格式。它包括:

  • 内部元素——树型结构的组件
  • system unit class (SUC),系统单元类——树型结构组件中可复用模型

基于AML建模步骤:

  1. 定义描述通用语义信息的角色:Storage、Methods……
  2. 定义接口来显式地对元素之间的交互建模:API
  3. 创建SUC对可重用组件进行建模:SUC 支持 角色(步骤1),角色 指定 语义。
  4. 创建数字孪生实例层次结构
  5. 配置数字孪生属性:IP,端口
使用Web服务器部署

image.png

使用 Python 脚本实现部署过程自动化,创建与 Web 服务器和物理设备的通信接口,以及执行数字孪生实例的所有必要组件。具体工作包括:

  1. 访问控制,合法性检查。
  2. 更新物理模型(修改AML,自动建模)。
  3. 数据库中注册更改。
  4. 必要时触发事件。

一个具有四个自动操作阀门的炼油厂自动化系统的案例,并讨论了集中式和分布式(聚合的数字孪生)的拓扑结构对MDE方法建模并部署的影响,结论是分布式更灵活,更具优势。

不足与改进之处

在贯穿设备生命周期的案例中评估这种方法,其中设备及其数字孪生都可能随着时间的推移而改变。在这种情况下,提供向数字孪生动态添加新特性,并允许对其模型结构进行更新。

Cyber-Physical Cloud Manufacturing Systems with Digital-Twins

带有数字孪生的信息物理云制造(CPCM)系统 DOI: 10.1109/MIC.2021.3058921

【工业领域,使用专用协议构建数字孪生的方法】

设计了一个框架,使用MTconnect检索数据,以构建数字孪生体。设计信息模型来表示结构并反映物理机器的实时状态。

image.png

Cloud Manufacturing based on Digital Twins(CMDT),为CPCM系统中的物理机器构建数字孪生(这里直接把数字孪生看作是虚拟机器)。

设计了一个 Web门户网站,用户可以访问数字孪生,远程监控物理机器。用户的访问请求被发送到私有云。
Knowledge Resources Center(KRC)将所有私有云连接在一起。

系统执行MTconnect协议和由MTconnect协议更新的物理机器数据。

Experimentable Digital Twins—Streamlining Simulation-Based Systems Engineering for Industry 4.0

可实验的数字孪生——为工业4.0简化基于仿真的系统工程 DOI: 10.1109/TII.2018.2804917

【工业仿真领域,基于模拟技术构建数字孪生】

  1. 提出了一种称为"可实验数字孪生"(EDT),基于仿真的系统工程:
    image.png
    EDTs combine the ideas of digital twins with model-based systems engineering (MBSE) and simulation technology.
  2. 一种将EDT变为现实的新方法,称为"虚拟测试台(VTB)"

2 使用其他的方法(机器学习等)来优化数字孪生模型

✨ Sensor-Fault Detection, Isolation and Accommodation for Digital Twins via Modular Data-Driven Architecture

通过模块化数据驱动架构实现数字双胞胎的传感器故障检测、隔离和适应 DOI: 10.1109/JSEN.2020.3029459

【机器学习方法优化数字孪生模型】

检测传感器测量中的异常,识别出有缺陷的异常,并将其与适当的估计数据进行匹配,从而为实现可靠的数字孪生铺平道路。

  • 通用的
  • 基于机器学习的体系结构(SFDIA)的
  • 建立在一系列神经网络估计器和分类器上的
  • 传感器验证体系

估计器对应于所有不可靠传感器的虚拟传感器(以重构正常行为并替换系统内孤立的故障传感器),而分类器用于检测和隔离任务。

对三种不同的真实数据集(Air Quality (AQ) Data-Set;Wireless Sensor Network (WSN) Data-Set;Permanent Magnet Synchronous Motor (PMSM) Data-Set)进行了全面的统计分析,并在软硬合成故障下验证了所提体系结构的性能。

✨ Intelligent Small Object Detection for Digital Twin in Smart Manufacturing with Industrial Cyber-Physical Systems

基于工业信息物理系统的智能制造中数字孪生体的智能小目标检测

【使用机器学习方法优化特定的数字孪生模型】

专注于小型物体检测的数字孪生模型(a small object detection model for DT,SOD-DT),旨在实现物理制造系统与其虚拟表示之间的动态同步。基于MobileNetv2, YOLOv4, Openpose的混合深度神经网络模型,以识别从物理制造环境到虚拟空间的实时状态。然后开发一种学习算法,实现基于浅层和深层特征集成和融合的高效多类型小对象检测,以促进数字孪生系统整个制造过程的建模、监控和优化。

3 利用数字孪生服务于其他的模型/场景进行优化

数字孪生是在这一模型中的一个组件,提供一种保持数据同步或便捷获取可靠的数据的方法。

Application-driven Network-aware Digital Twin Management in Industrial Edge Environments

工业边缘环境中应用驱动的网络感知数字孪生管理 DOI: 10.1109/TII.2021.3067447

【网络领域,数字孪生的网络通信方法】

提出了应用驱动的数字孪生网络(Application-driven Digital Twin Networking,ADTN)中间件,该中间件的目标是:(1)通过允许数字孪生利用基于IP的协议而不是专业的工业协议,简化异构设备之间的交互,并通过定义良好的标准丰富数据,增强数据包内容的表达能力。(2)动态管理边缘工业环境中的网络资源,应用 软件定义网络(Software Defined Networking,SDN)开发最适合应用需求的通信机制,从本机IP到更基于数据包内容的通信机制。

分布式工业物联网部署的结构:

image.png

image.png

ADTN 中间件负责处理协调物理设备、数字孪生和模块之间的可扩展和可靠通信,以及来自外部授权服务的一组动态应用程序驱动规则和指示。特别是,主要的ADTN组件是Edge layer的简单数字孪生(SDT)和Control Room的组合数字孪生(CDT)(见图2)。

SDT提供物联网设备的一对一镜像。

CDT同时聚合多个 SDT,以模拟复杂的分布式应用和行为。

SDN Control Agent与Control Room进行远程交互,发送关于边缘节点计算、内存、网络特征及其当前状态的信息,并接收来自Control Room的流量规则应用于本地边缘节点,以应用驱动的方式优化数据包管理。

案例:智能手机组件的使用场景,从通信延迟和处理开销的角度衡量和分析ADTN的性能

ADTN 中间件能够以非常有效的方式丰富数据包,同时提供统一的标准数据层,另一方面,考虑到网络的当前状态,能够以应用程序驱动的方式动态管理流量。

未来研究点:通过采用语法丰富(semantically-enriched)的解决方案,使开发(半)自动。此外,当几个相互竞争的工业应用可能共存(出现相互冲突的要求)时,网络规则可能难以以安全的方式执行。

Digital-Twin-Enabled Intelligent Distributed Clock Synchronization in Industrial IoT Systems

工业物联网系统中的支持数字孪生的智能分布式时钟同步  DOI: 10.1109/JIOT.2020.3029131

【物联网领域,使用数字孪生改进时钟同步问题】

基于支持数字孪生的模型来实现智能时钟同步,以减少快速变化的工业物联网环境中分布式同步相关的资源消耗。

新的同步挑战:使用各种通信标准的分布式节点的不确定延迟(nondeterministic latencies)和跨标准同步(cross-standard synchronization)。

传统同步技术(PTP、FTSP):频繁校准目标时钟,完全依赖于时间戳的定期交换,需要更高的同步频率来保持时钟的一致性,从而随着网络资源消耗的增加而降低同步效率。

数字孪生:基于情况的分布式时钟同步。

  1. 建立边缘云协作系统架构(edge-cloud collaborative system architecture),以建立数字孪生模型(Digital-Twin-Enabled clock synchronization (DTCS))。每个本地设备生成的数据在边缘设备上处理,极大程度减少网络延迟对实时分析的影响。
    image.png
  2. 通过研究从分布式设备上传的连续时间信息,对每个时钟的特征进行建模,在此基础上建立数字孪生副本(counterpart),以预测不同操作环境下每个节点的时钟偏差(the clock skew),在分布式时钟同步过程中减少网络资源的消耗,提高了时钟的精度。

✨ Adaptive Federated Learning and Digital Twin for Industrial Internet of Things

工业物联网的自适应性联邦学习和数字孪生 DOI: 10.1109/TII.2020.3034674

【机器学习领域,数字孪生作为数据获取,服务于机器学习性能优化,机器学习框架提出】

用一种赋能工业物联网的数字孪生的新体系结构,其中数字孪生捕获工业设备的特征,以帮助联邦学习。注意到数字孪生可能会带来偏离设备状态实际值的估计,联邦学习中提出了基于信任的聚合来缓解这种偏离的影响。我们基于Lyapunov动态赤字队列和深度强化学习(DRL)自适应调整联邦学习的聚集频率,以提高资源约束下的学习性能。为了进一步适应工业物联网的异构性,提出了一种基于聚类的异步联邦学习框架。数值结果表明,该框架在学习精度、收敛性和节能方面均优于基准。

A Digital Twin Based Industrial Automation and Control System Security Architecture

基于数字孪生的工业自动化和控制系统安全架构 DOI: 10.1109/TII.2019.2938885

【网络安全领域,工业控制中的基于数字孪生的网络安全架构】

讨论了如何使用数字孪生模型和相应的安全架构来允许数据共享和控制的关键流程。
1)介绍了一个数字孪生IACS对手模型,并确定了该模型的安全需求。
2)提出了一种新的基于数字孪生的安全体系结构,包括一种新的状态复制模型。
3)我们评估了所提出的状态复制模型的安全性,并提出了一个概念验证实现的可编程逻辑控制器(PLC)软件升级案例,包括性能数字。

后续工作:性能评估,入侵检测,访问控制,对完整系统设计的安全性进行正式分析,安全分析服务。

4 数字孪生模型的实际应用(智慧城市、物联网项目)

Construction of a Digital Twin Framework using Free and Open-Source Software Programs

使用免费和开源软件构建数字孪生框架 DOI: 10.1109/MIC.2021.3051798

【工业领域,偏实战,数字孪生建模与实现】

完全使用免费和开源软件程序构建的便携式桌面尺寸温度控制系统。

  1. 通过使用RPA和 PLC 程序等工具,整个过程实现了自动化。
  • 带有树莓派模块的OpenPLC 硬件
  • Eclipse Ditto,通过提供 Web API 来简化与连接设备的工作
  • 自动化框架:
    • 模拟模型
      image.png
    • 物理模型和数字模型之间的通信: 将 Eclipse Ditto 服务器的实时数据下载到本地 PC
    • 从数字系统将数据发送回物理系统
  • 系统架构:
    image.png
  1. 为温度控制系统构建了数学模型。
  2. 比较物理模型和数学模型的数据,并分析假设方案,来预测和防止物理系统的潜在故障。
  3. 还创建了一个模拟模型来可视化结果。

DUET: A Framework for Building Secure and Trusted Digital Twins of Smart Cities

DUET:构建智能城市的安全可靠的数字孪生框架 DOI: 10.1109/MIC.2021.3060962

【实际应用,智慧城市领域】

一个模型、数据和模拟的容器,便于从各种静态、历史、开放和实时数据源传输信息,将其转化为智能城市决策者易于消化的输出和见解。

image.png