专利内容由知识产权出版社提供
专利名称：一种基于多模态融合的社交情感分类方法专利类型：发明专利
发明人：徐光侠,李伟凤,刘俊,吴涛,王天羿,吴佳健申请号：CN201811376297.6申请日：20181119公开号：CN109508375A公开日：20190322
摘要：本发明提出了一种基于多模态融合的社交情感分类方法，涉及音频、视觉和文本形式的信息。情感计算分析研究大部分仅通过分析单模信息来提取情感信息，忽视了信息源之间的联系。本发明对于视频信息，提出3DCLS(3D CNN‑ConvLSTM)模型，通过三维卷积神经网络(C3D)和卷积长短期记忆递归神经网络(ConvLSTM)的级联组合来为情感识别任务建立时空信息。对于文本信息，通过CNN‑RNN混合模型进行文本情感分类。利用决策级融合对视觉、音频、文本进行异质性融合。本发明学到的深时空特征有效地模拟了视觉外观和运动信息，在融合文本和音频信息后，有效的提高了情感分析的准确率。
申请人：重庆邮电大学
地址：400065 重庆市南岸区南山街道崇文路2号
国籍：CN
代理机构：重庆市恒信知识产权代理有限公司
代理人：李金蓉
更多信息请下载全文后查看
