(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211222705.9 (22)申请日 2022.10.08 (71)申请人 深圳市亚太未来教育科技发展 有限 公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区白石路3609号深圳湾 科 技生态园二区9栋A1座3 506B (72)发明人 郑贤娇　郭文科　张凌峰　卢钊雄　 (74)专利代理 机构 深圳市中科创为专利代理有 限公司 4 4384 专利代理师 尹益群　杨春 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/20(2012.01) G06V 40/16(2022.01)G06V 40/18(2022.01) G10L 25/51(2013.01) (54)发明名称 一种基于人脸检测的在线学习状态分析方 法及装置 (57)摘要 本发明提出一种基于人脸检测的在线学习 状态分析方法及装置， 通过 获取在线学习过程中 的声音数据， 所述声音数据包括线上声音数据和 线下声音数据， 获取在线学习过程中学习者的脸 部运动数据， 对 所述声音数据和所述脸部运动数 据进行关联性分析， 根据所述关联性分析结果确 定所述学习者的学习状态， 能够基于学习者的部 分脸部图像对 学习者的学习状态进行分析， 具有 应用场景 更加广泛， 分析 结果更加准确的特点。 权利要求书3页 说明书8页 附图1页 CN 115545474 A 2022.12.30 CN 115545474 A 1.一种基于人脸检测的在线学习状态分析 方法， 其特 征在于， 包括： 获取在线学习过程中的声 音数据， 所述声 音数据包括线上声 音数据和线下声 音数据； 获取在线学习过程中学习者的脸部运动数据； 对所述声 音数据和所述 脸部运动数据进行关联性分析； 根据所述关联性分析 结果确定所述学习者的学习状态。 2.根据权利要求1所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 获取在 线学习过程中的声 音数据的步骤具体包括： 从在线学习数据中提取 所述线上声 音数据； 使用麦克风录制所述线下声 音数据； 对齐所述线上声音数据的播放时间和所述线下声音数据的录制时间以合并所述线上 声音数据和线下声 音数据， 生成所述声 音数据。 3.根据权利要求2所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 在获取 在线学习过程中的声 音数据的步骤之后， 还 包括： 获取预设的第一时长Tds， 所述第一时长Tds大于所述线上声音数据以及所述线下声音数 据的采样周期； 将所述声 音数据分割为多个长度为所述第一时长Tds的音频数据段； 获取每个音频数据段的音频波峰的音量幅值序列Vij， 其中i为音频数据段的序号， j＝ 1,2,…,ni， ni为第i个音频 数据段的波峰数量； 获取所述音量幅值序列Vij的最大值 以及最小值 计算第i个音频 数据段的音量幅值 基于所述音频 数据段的音量幅值Vi拟合所述声 音数据的音量幅值曲线V＝fV(t)。 4.根据权利要求3所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 所述脸 部运动数据包括学习者的脸部转动幅度和眼动幅度， 获取在线学习过程中学习者的脸部运 动数据的步骤具体包括： 获取预设的第二时长Tdm； 以所述第二时长Tdm为周期获取 所述学习者的脸部转动幅度Rf(t)和眼动幅度Re(t)； 计算所述学习 者的运动幅度评价指数I(t)＝σf·Rf(t)+σe·Re(t)， 其中σf为脸部转动 幅度评价系数， σe为眼动幅度评价系数； 拟合所述学习者的运动幅度评价指数曲线I ＝fI(t)。 5.根据权利要求4所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 获取所 述学习者的脸部转动幅度的步骤具体包括： 在所述学习者的脸部上确定k个目标位置， k>1， 且所述k个目标位置中至少包含一个位 于所述学习者脸部的上半部分的目标位置以及一个位于所述学习者脸部的下半部分的目 标位置； 获取第i个目标位置t时刻 在拍摄画面上的坐标值[xfi(t),yfi(t)]， 其中i ＝1,2,…,k； 计算第i个目标位置的偏移幅度权　利　要　求　书 1/3 页 2 CN 115545474 A 2计算t时刻所述学习者的脸部转动幅度 6.根据权利要求4所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 获取所 述学习者的眼动幅度的步骤具体包括： 获取所述学习者双眼瞳孔t时刻在拍摄画面上的坐标值[xli(t),yli(t)]， [xri(t),yri (t)]； 计算所述学习者双眼瞳孔t时刻的偏移幅度： 计算t时刻所述学习者的眼动幅度Re(t)＝Rli(t)+Rri(t)。 7.根据权利要求4所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 对所述 声音数据和所述 脸部运动数据进行关联性分析的步骤具体包括： 对所述音量幅值曲线fV(t)和所述运动幅度评价指数曲线fI(t)分别进行一阶求导得到 音量幅值 一阶导数曲线f ′V(t)和运动幅度评价指数一阶导数曲线f ′I(t)； 获取所述音量幅值曲线fV(t)的峰值 点； 基于所述峰值点在所述音量幅值曲线 fV(t)的时刻将在线学习时间分割 为第一时间序 列t1i； 对所述第一时间序列的每个时段的所述音 量幅值一阶导数曲线f ′V(t)进行积分得到每 个时段的音量变化 率 确定延迟时间Δt； 将所述第一时间序列的每 个分割点加上 上述延迟时间Δt生成第二时间序列t 2i； 对所述第二时间序列的每个时段的运动幅度评价指数一阶导数曲线f ′I(t)进行积分得 到每个时段的运动幅度变化 率 根据所述音量变化率和所述运动幅度变化率计算所述音量幅值曲线 fV(t)和所述运动 幅度评价指数曲线fI(t)的同步 率Syn。 8.根据权利要求7所述的基于人脸检测的在线学习状态分析方法， 其特征在于， 根据 所 述音量变化率和所述运动幅度 变化率计算所述音量幅值曲线fV(t)和所述运动幅度 评价指 数曲线fI(t)的同步 率Syn的步骤具体包括： 遍历所述音量变化 率SV(t)和所述 运动幅度变化 率SI(t)； 计算相邻时段的音量变化率之差ΔSV(t)＝SV(t)‑SV(t‑1)和运动幅度变化率之差ΔSI (t)＝SI(t)‑SI(t‑1)； 当在相应时段下音量变化率之差ΔSV和运动幅度变化率之差ΔSI(t)同号， 则相应时段 的同步指数Syn(t)＝1， 否则相应时段的同步指数Syn(t)＝0； 对所述同步指数进行归一化处理得到同步率 其中T为所述第一时间序 列和所述第二时间序列的时段 数量。权　利　要　求　书 2/3 页 3 CN 115545474 A 3