专利内容由知识产权出版社提供
专利名称：一种基于多模态低秩双线性池化的图像内容问答方
法
专利类型：发明专利发明人：俞俊,余宙,项晨钞申请号：CN201710611041.8申请日：20170725公开号：CN107480206A公开日：20171215
摘要：本发明公开了一种基于多模态低秩双线性池化的图像内容问答方法。本发明包括以下步骤：1、对图像和以自然语言描述的问题，答案文本进行数据预处理，2、多模态低秩双线性池化模型，进行特征融合。3、基于MFB池化模型和协同关注点模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的神经网络模型，特别是提出一种图像问答领域中对图像‑问题的跨媒体数据进行统一建模的方法，以及在图像和问题细粒度特征上学习“协同关注点”进行建模表达的网络结构，并且获得了目前在图像问答领域中的最好效果。
申请人：杭州电子科技大学
地址：310018 浙江省杭州市下沙高教园区2号大街
国籍：CN
代理机构：杭州君度专利代理事务所(特殊普通合伙)
代理人：朱月芬
更多信息请下载全文后查看
