(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206939.4 (22)申请日 2022.09.30 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 任亚平　陆鑫宇　郭洪飞　塔建　 王丽娜　 (74)专利代理 机构 广东金穗知识产权代理事务 所(普通合伙) 44852 专利代理师 何敏斌 (51)Int.Cl. G06Q 10/06(2012.01) G06N 3/00(2006.01) G06N 20/00(2019.01) G06Q 10/00(2012.01) (54)发明名称 基于强化学习-群体进化混合算法的双边拆 解线设计方法 (57)摘要 本发明涉及基于强化学习 ‑群体进化混合算 法的双边拆解线设计方法， 所述方法包括以下步 骤： S1、 定义与、 或优先关系； S2、 建立以优化产线 布置、 经济效益和安全环保三个方面共六个指标 的数学模型； S3、 初始化种群， 建立外部档案储存 Pareto较优 解， 建立R值表记 录算子的改进效果， 建立Q值表储存Q值； S4、 采用群优化算法迭代更 新外部档案， 同时记录每代优化算子的对于目标 的改进值； S5、 重复步骤S3 ‑S4， 进行多次强化学 习获得稳定的R值表和Q值表； S6、 根据Q值表终 表， 采用群优化算法迭代更新外部档案， 获得稳 定解。 本发 明采用了基于强化学习的群体进化算 法解决拆卸任务之间复杂的约束类型， 能高效获 得稳定的最优解并保证解的多样性。 权利要求书4页 说明书18页 附图3页 CN 115271568 A 2022.11.01 CN 115271568 A 1.基于强化学习 ‑群体进化混合 算法的双边拆解线设计方法， 包括以下步骤： S1、 定义某拆卸任务和所有紧前优先任务之间的与、 或优先关系； S2、 建立以优化产线布置、 经济效益和安全环保三个方面共六个指标的数 学模型； S3、 初始化种群， 建立外部档案储存Pareto较优解， 建立R值表记录算子的改进效果， 建 立Q值表储存Q值； S4、 采用群优化 算法迭代更新外 部档案， 同时记录每代优化 算子的对于目标的改进值； S5、 重复步骤S3 ‑S4， 进行多次强化学习获得 稳定的R值表和Q 值表； S6、 根据Q 值表终表， 采用群优化 算法迭代更新外 部档案， 获得 稳定解。 2.如权利要求1所述的基于强化学习 ‑群体进化混合算法的双边拆解线设计方法， 其特 征在于： 步骤S1中所述定义某拆卸任务和所有紧前优先任务之间的与、 或优先关系包括： 若某拆卸任务的所有紧前优先任务完成后， 才可执行该拆卸任务， 那么这些紧前优先 任务与该拆卸任务形成与优先关系； 若某拆卸任务的所有紧前优先任务中任一个完成后， 便可执行该拆卸任务， 则这些紧 前优先任务与该拆卸任务形成 或优先关系。 3.如权利要求1所述的基于强化学习 ‑群体进化混合算法的双边拆解线设计方法， 其特 征在于： 步骤S2中所述建立以优化产线配置、 经济效益和安全环保三个方面共六个指标的 数学模型包括： S21、 提出该数学模型的理论假设： 一定时间内投放到拆解线上的都是同一类型的产 品； 零件的拆解顺序、 拆解方向、 拆解时间是已知的； 不考虑 破坏性拆卸； 忽略传送带在配对 站之间的运动时间； S22、 设定双边拆解线平衡数 学模型的参数和决策变量； S23、 设定双边拆解线平衡数学模型的目标函数， 包括： 产线配置、 经济效益和安全环保 三个方面， 且各目标函数均求 最小值； S24、 设定双边拆解线数 学模型的约束条件。 4.如权利要求3所述的基于强化学习 ‑群体进化混合算法的双边拆解线设计方法， 其特 征在于： 所述目标函数包括：   （1）   （2）   （3）   （4）权　利　要　求　书 1/4 页 2 CN 115271568 A 2  （5）   （6） 和 属于产线配置， 分别 表示工作站的开启数量、 工作量平滑指数和工作站 配置成本； 和 属于经济效益， 分别表示需求指标和拆解完成时间； 属于安全环 保， 表示降低对环境污染和工人健康损害的程度； 所述约束条件 包括：   （7）   （8）   （9）   （10）   （11）  （12）   （13）   （14） 式(7)表示一个任务只能在一个工作站完成； 式(8)表示任务必须在节拍时间内完成； 式(9)表示与优先关系的约束； 式(10)表 示并行任务的约束关系； 式(11)表 示或优先关系的 约束； 式(12)表示工作站必须在节拍时间内完成分配的任务； 式(13)表示分配到同一工作 站的任务的拆卸关系； 式(14)表示分配到相邻配对站的任务的拆卸关系； i， j为拆解任务索引， I为拆解任务总数； m为配对站索引， M为配对站总数； k为配对站方 向索引， k=1表示配对站左侧， k=2表示配对站右侧； (m， k)为第m个配对站k方向的工作站； L 为分配到左侧工作站的任务集合， R为分配到右侧工作站的任务集合； CT为拆解线节拍时 间； ti为任务i的拆卸时间； Tmk为分配到工作站(m， k)所有任务的拆卸时间之和； Imk为分配到 工作站(m， k)的任务集合； A(i)为任务i的与优先任务集合； S(i)为任务i的并行任务集合； O权　利　要　求　书 2/4 页 3 CN 115271568 A 3