一种交互式人脸语音标注方法、装置、设备及存储介质

    公开(公告)号:CN117235667A

    公开(公告)日:2023-12-15

    申请号:CN202311237025.9

    申请日:2023-09-25

    Applicant: 华侨大学

    Abstract: 本发明提供了一种交互式人脸语音标注方法、装置、设备及存储介质,先接收人脸图像,并采用卷积神经网络对所述人脸图像进行特征提取,以生成人脸特征;接着获取语音信号,并采用循环神经网络及全连接层作对所述语音信号进行特征提取,以生成语音特征;再接着根据所述人脸图像和所述语音信号的身份标签信息,调用训练数据批次中的数据近似作为身份原型特征对所述语音特征和所述人脸特征执行对齐操作;最后基于所述对齐操作所述人脸图像和所述语音信号进行标注,有效地将不同模态特征准确映射到公共的特征空间中,实现异构模态信息之间的可比性,从而提高交互式人脸语音标注的准确性。

    融合骨架笔画和纹理特征的铅笔画生成方法和装置

    公开(公告)号:CN105374007A

    公开(公告)日:2016-03-02

    申请号:CN201510870259.6

    申请日:2015-12-02

    Applicant: 华侨大学

    CPC classification number: G06T3/0012

    Abstract: 本发明中的一种融合骨架笔画和纹理特征的铅笔画生成方法和装置,该铅笔画生成装置包括原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元、和铅笔画图像生成单元,该铅笔画生成方法通过对输入图像进行灰度化、去模糊处理及边缘检测从而得到梯度图像,再将梯度图像处理为骨架笔画图层,而后将骨架笔画图层处理为色调图层,并通过纹理合成和建立色调映射数学模型得到纹理特征渲染图层,最后将骨架笔画图层和纹理渲染图层进行正片叠底混合,得到最终的铅笔手绘画效果的铅笔画,本发明中的铅笔画生成方法和装置,生成铅笔画步骤简单、效率高且手绘效果突出。

    批处理混合对比学习的跨模态情绪异常检测方法和装置

    公开(公告)号:CN116978106B

    公开(公告)日:2024-01-05

    申请号:CN202311230516.0

    申请日:2023-09-22

    Applicant: 华侨大学

    Abstract: 本发明提供批处理混合对比学习的跨模态情绪异常检测方法和装置,涉及情绪检测技术领域。包含:S1、获取待检测情绪对象的语音数据和面部视频数据。S2、采用标准的Facet方法从面部视频数据中提取对话过程中的初始面部情绪特征。S3、采用标准的梅尔倒频谱系数提取方法将语音数据转化为梅尔频谱图,获取初始语音情绪特征。S4、分别通过单向长短期记忆神经网络和多层感知机神经网络从初始面部情绪特征和初始语音情绪特征中提取高层面部情绪特征和高层语音情绪特征。S5、将高层面部情绪特征和高层语音情绪特征映射到公共语义特征空间。S6、根据映射到公共语义特征空间的特征,通过双组贝塔混合模型拟合相似度分数,并判断待检测情

    批处理混合对比学习的跨模态情绪异常检测方法和装置

    公开(公告)号:CN116978106A

    公开(公告)日:2023-10-31

    申请号:CN202311230516.0

    申请日:2023-09-22

    Applicant: 华侨大学

    Abstract: 本发明提供批处理混合对比学习的跨模态情绪异常检测方法和装置,涉及情绪检测技术领域。包含:S1、获取待检测情绪对象的语音数据和面部视频数据。S2、采用标准的Facet方法从面部视频数据中提取对话过程中的初始面部情绪特征。S3、采用标准的梅尔倒频谱系数提取方法将语音数据转化为梅尔频谱图,获取初始语音情绪特征。S4、分别通过单向长短期记忆神经网络和多层感知机神经网络从初始面部情绪特征和初始语音情绪特征中提取高层面部情绪特征和高层语音情绪特征。S5、将高层面部情绪特征和高层语音情绪特征映射到公共语义特征空间。S6、根据映射到公共语义特征空间的特征,通过双组贝塔混合模型拟合相似度分数,并判断待检测情绪对象的情绪是否异常。

    一种结合多视角注意力机制的细粒度视觉问答方法

    公开(公告)号:CN110717431B

    公开(公告)日:2023-03-24

    申请号:CN201910927585.4

    申请日:2019-09-27

    Applicant: 华侨大学

    Abstract: 本发明涉及一种结合多视角注意力机制的细粒度视觉问答方法,充分考虑到问题具体语义的导向作用,提出一种多视角注意力模型,能够有效选择出与当前任务目标(问题)相关的多个显著目标区域,从多个视角学习获取图像和问题文本中与答案有关的区域信息,提取出问题语义引导下的图像中的区域显著性特征,具有更细粒度的特征表达,并对图像中存在多个重要语义表达区域的情况表现,具有较强的刻画能力,增加了多视角注意力模型的有效性和全面性,从而有效加强图像区域显著特征和问题特征的语义关联性,以提升视觉问答的语义理解的准确性和全面性。采用本发明所述的方法进行视觉问答任务,步骤简单、效率高、准确率高,完全可以用于商业,市场前景较佳。

    一种交互式的互联网广告投放方法与系统

    公开(公告)号:CN105427135A

    公开(公告)日:2016-03-23

    申请号:CN201510942711.5

    申请日:2015-12-16

    Applicant: 华侨大学

    CPC classification number: G06Q30/0222 G06Q30/0253

    Abstract: 本发明涉及一种交互式的互联网广告投放方法与系统,在媒体平台推送的广告上加载交互式活动,用户完成交互式活动后,获得与当前交互式活动对应的奖励;所述的交互式活动包括互动游戏、交互问答或实时抽奖。本发明的实施,对于用户而言,浏览广告,免费参与交互性活动即有机会获取广告商提供的多种奖励,如现金红包、礼品、代金券、免单券、或者媒体平台的积分等回馈,用户参与趣味互动能变被动为主动,自身亦可以获益,并能够增添阅览广告的乐趣。对于广告商而言,在广告中设定趣味互动,吸引力得到了增强,并可以促使用户积极关注广告内容,可以达到广告投放的多重宣传效果。

    一种结合多视角注意力机制的细粒度视觉问答方法

    公开(公告)号:CN110717431A

    公开(公告)日:2020-01-21

    申请号:CN201910927585.4

    申请日:2019-09-27

    Applicant: 华侨大学

    Abstract: 本发明涉及一种结合多视角注意力机制的细粒度视觉问答方法,充分考虑到问题具体语义的导向作用,提出一种多视角注意力模型,能够有效选择出与当前任务目标(问题)相关的多个显著目标区域,从多个视角学习获取图像和问题文本中与答案有关的区域信息,提取出问题语义引导下的图像中的区域显著性特征,具有更细粒度的特征表达,并对图像中存在多个重要语义表达区域的情况表现,具有较强的刻画能力,增加了多视角注意力模型的有效性和全面性,从而有效加强图像区域显著特征和问题特征的语义关联性,以提升视觉问答的语义理解的准确性和全面性。采用本发明所述的方法进行视觉问答任务,步骤简单、效率高、准确率高,完全可以用于商业,市场前景较佳。

    融合骨架笔画和纹理特征的铅笔画生成方法和装置

    公开(公告)号:CN105374007B

    公开(公告)日:2019-01-01

    申请号:CN201510870259.6

    申请日:2015-12-02

    Applicant: 华侨大学

    Abstract: 本发明中的一种融合骨架笔画和纹理特征的铅笔画生成方法和装置,该铅笔画生成装置包括原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元、和铅笔画图像生成单元,该铅笔画生成方法通过对输入图像进行灰度化、去模糊处理及边缘检测从而得到梯度图像,再将梯度图像处理为骨架笔画图层,而后将骨架笔画图层处理为色调图层,并通过纹理合成和建立色调映射数学模型得到纹理特征渲染图层,最后将骨架笔画图层和纹理渲染图层进行正片叠底混合,得到最终的铅笔手绘画效果的铅笔画,本发明中的铅笔画生成方法和装置,生成铅笔画步骤简单、效率高且手绘效果突出。

    一种结合视频人脸和数字唇动密码的身份验证方法

    公开(公告)号:CN104200146A

    公开(公告)日:2014-12-10

    申请号:CN201410436154.5

    申请日:2014-08-29

    Applicant: 华侨大学

    Abstract: 本发明涉及视频图像处理与模式识别技术领域,提供了一种结合视频人脸和数字唇动密码的身份验证方法,主要步骤如下:1)进行人脸区域检测和唇部区域定位预处理;2)利用Gabor滤波进行人脸特征提取并进行视频人脸身份验证;3)唇部区域特征提取并利用隐形马尔科夫模型进行整体唇动特性建模和唇动身份验证;4)对数字唇动密码进行密码子单元划分并进行密码内容识别匹配。本发明利用人的生物特征和行为特征进行身份验证,要求对身份认证匹配同时囊括视频人脸信息、唇动行为特性以及特定密码内容信息,起到了对身份验证的多重保护作用,可加强系统稳定性和安全性,具有良好的应用前景。

Patent Agency Ranking