(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230749.6 (22)申请日 2022.10.10 (71)申请人 山东省计算中心 （国家超 级计算济 南中心） 地址 250000 山东省济南市历下区科院路 19号 (72)发明人 张兆虔　李响　赵志刚　王春晓　 耿丽婷　郭莹　吴晓明　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 10/10(2012.01) G06Q 50/26(2012.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 融合并行与分布式的海洋观测数据智能计 算方法及系统 (57)摘要 本发明提出了融合并行与分布式的海洋观 测数据智能计算方法及系统， 涉及海洋观测时序 数据流智能计算领域,实时获取每个通道的海洋 观测数据流存储到分布式集群； 对 数据流进行乱 序、 去重和缺失预处理； 基于预处理后的海洋观 测数据流， 采用超算MPI并行训练模型， 进行多 通 道在线学习模 型训练， 得到每个通道的最新海洋 观测数据智能计算模型； 基于Flink分布式流处 理系统， 对每个通道不断流入的海洋观测数据， 选择通道对应的最新海洋观测数据智能计算模 型， 进行实时推理与预测； 本发明适合多通道多 任务的应用场景， 有效支持流式数据的在线学习 与推理任务以及高通量传感器数据的管理， 实现 数据的多通道计算模型的快速迭代升级以及数 据的实时推理。 权利要求书2页 说明书11页 附图8页 CN 115293662 A 2022.11.04 CN 115293662 A 1.融合并行与分布式的海洋观测数据智能计算方法， 其特 征在于， 包括： 实时获取每 个通道的海洋观测数据流， 并存 储到分布式集群Kafka 中； 对存储的数据流进行乱序、 去重和缺失预处 理； 基于预处理后的海洋观测数据流， 采用超算MPI并行训练模型的方式， 进行多通道的在 线学习模型训练， 得到每 个通道的最 新海洋观测数据智能计算模型； 基于Flink分布式流处理系统， 对每个通道不断流入的海洋观测数据， 选择通道对应的 最新海洋观测数据智能计算模型， 进行实时推理与预测。 2.如权利要求1所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 所述分布式集群Kafka， 是将每个通道的数据流存储至各自的主题当中， 将 每个主题分为多 个有序排列的分区， 每 个主题被分布到多个集群内服 务器之上。 3.如权利要求2所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 在分布式集群Kafka中， 当具有相同主键值的数据提交时， 集群内服务器则只会持久化一条 相同主键值的海洋观测数据， 保证集群处 理过程中数据仅被处 理一次。 4.如权利要求1所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 采用进化卷积神经网络架构实现在线学习方法， 使模型针对动态演化数据流自适应的进 化， 同时随着数据的流入由浅入深动态调整其结构， 以顺序或在线学习的方式从数据流中 动态地重新加权模型的子结构， 在在线环境中学习一个具有深层结构和复杂非线性函数的 神经网络 。 5.如权利要求1所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 所述超算MPI并行训练模型， 为分布式集群Kafka的每个主题创建各自的数据连接， 通过数 据连接为每个通道的在线 学习模型提供训练数据， 通过MPI作业提交给超级计算机平台， 超 级计算机平台一个 计算节点的一个进程负责一个通道的在线学习模型训练。 6.如权利要求1所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 还包括， 对每个通道的模型进 行版本控制， 将训练好的模型实时传 入模型版本库， 模型的存 储粒度根据具体情况调整相应存 储步长。 7.如权利要求1所述的融合并行与分布式的海洋观测数据智能计算方法， 其特征在于， 所述Flink分布式流处理系统， 是搭建分布式集群， 使用分布式架构， 当某个或某几个节点 发生宕机时， 无需重新启动推理程序从头开始获取流式数据进行推理， 而是回滚到最近的 状态进行推理预测， 不影响整体的推理程序的进行与预测结果的反馈 。 8.融合并行与分布式的海洋观测数据智能计算系统， 其特征在于， 包括分布式存储模 块、 数据预处 理模块、 在线学习模块和在线推理模块； 分布式存储模块， 被配置为： 实时获取每个通道的海洋观测数据流， 并存储到分布式集 群Kafka中； 数据预处 理模块， 被 配置为： 对 存储的数据流进行乱序、 去重和缺失预处 理； 在线学习模块， 被配置为： 基于预处理后的海洋观测数据流， 采用超算MPI并行训练模 型的方式， 进行多通道的在线学习模型训练， 得到每个通道的最新海洋观测数据智能计算 模型； 在线推理模块， 被配置为： 基于Flink分布式流处理系 统， 对每个通道不断流入的海洋 观测数据， 选择通道对应的最 新海洋观测数据智能计算模型， 进行实时推理与预测。权　利　要　求　书 1/2 页 2 CN 115293662 A 29.计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实现如 权利要求1 ‑7任一项所述的融合并行与分布式的海洋观测数据智能计算方法中的步骤。 10.电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程序， 其 特征在于， 所述处理器执行所述程序时实现如权利要求1 ‑7任一项所述的融合并行与分布 式的海洋观测数据智能计算方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115293662 A 3