栏目导航
联系我们
服务热线
400-123-4562
手机:13800138002
地 址:山东省临沂市沂蒙国际财富中心二栋
当前位置:主页 > 秒速快3 > 公司动态 >
SIGIR 2019 开源论文 用户注意力指导的多模态对话
浏览: 发布日期:2019-10-03

  秒速快3对话系统一直是自然语言理解领域一个重要的研究内容,它可以使人们更便捷的与机器进行交互,多模态的对话系统就是其中非常重要的一个研究方向。

  以下图的零售业对话为例,◇▲=○▼=△▲首先多模态对话能够带给顾客更加详细直观的建议,通过加入图片信息,顾客能够更加直接的表达出自己的观点;同时,通过顾客的关注点,例如颜色,样式等,对话机器人能够更清楚的获取顾客的偏好,从而最终为顾客提供符合其要求的推荐内容,提升顾客的满意度。

  基于这样的一个想法,◆●△▼●☆△◆▲■本文作者针对任务型对话系统,提出了用户注意力指导的多模态对话系统。

  具体而言,在任务型对话系统中,作者希望利用用户的注意力信息实现对产品的层次化选择,在每一个不同的层次关注到不同的产品特点,口▲=○▼通过细化的区分实现精准的产品推荐。模型的整体框架图如下:

  多模态编码器和解码器用于编解码多模态的内容信息,同时由一个高层次的 RNN 控制整个对话进程。接下来,将详细讲述每个部分的相关细节。多模态编码器

  当然如果在这里想使用 multi-head 的结构的话,那么也可以考虑使用多个卷积核,这是一个非常有意思的操作。接下来就是对所有的隐层状态做加权和,得到最后的文本语义表示。□▼◁▼

  针对图像信息,在目前的电子商务中,每个产品都会拥有很多类别属性,•●并且这些属性可以整合为层次化的树结构。同一类产品会拥有很多相同的特征。因此作者在这里使用了基于分类学的属性树结构表示。

  作者首先定义了 N 个常见的属性,然后构建了一个 key-value 的属性树来分析用户的偏好。key 就是属性值,例如颜色,样式,value 就是具体的内容,例如红色,长裤等,★▽…◇具体的模型图如下:

  在 decoder 阶段,作者针对图像和文本使用了两种解码方式,★◇▽▼•具体的方式如下图:

  作者在一个公开的多模态对话数据集上进行了实验,★△◁◁▽▼并使用了 BLUE-N 作为评价标准,在实验结果对比上,作者分别对比了文本生成的效果以及图像选择的效果,具体结果如下:

  针对任务型对话系统,作者利用用户的注意力信息,▼▲★-●△▪️▲□△▽通过从属性角度对商品进行细分,分层的建模顾客的兴趣,从而最终实现精准的推荐;

  #• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)

  声明:该文观点仅代表作者本人,搜狐号系信息发布平台,•☆■▲搜狐仅提供信息存储空间服务。△▪️▲□△▪️•★SIGIR 2019 开源论文 用户注意力指导的多模态对话系统

友情链接/LINKS

Copyright 2019 秒速快3_首页_登录注册 网站地图ICP备*******号
电话:400-123-4562   13800138002邮 编:45420792@qq.com
地 址:山东省临沂市沂蒙国际财富中心二栋
QQ:45420794
秒速快3科技有限公司专业秒速快3制造和销售等业务,欢迎来电咨询!