11.4 地理实体的多模态主题特征观点挖掘与情 感分析
随着互联网的发展普及和社会媒体服务的兴盛，人们在网络上可以便捷地获取和分享丰富的社会多媒体信息。其结果是，社会媒体平台上聚集了海量的人们对物理实体的评论和情感信息。从大规模的用户生成内容中挖掘实体的主题观点和分析情感是知识挖掘中的重要任务。已有的主题特征观点挖掘的工作主要集中在文本内容处理上[4] 。在多媒体上来挖掘主题特征观点，目前还鲜有研究工作。实际上，一个地理实体的很多主题特征方面都是多模态表达的。比如，对于北京，观察到的地标和雾霾不仅能用文本来表达，还能很具体地用视觉图像来描述。我们称这样的主题特征具有视觉表达性。这种主题特征含有清晰和具体的视觉对应形态。同时，实体的一部分主题特征没有清晰和具体的视觉对应，例如经济、工业等。这样的主题特征不具有视觉表达性，其用文本描述而很难用视觉具体内容来表达。通过对实体的多模态主题的视觉表达性进行建模，并挖掘相应的主题特征及观点情感，能够更好地理解目标实体。本文研究从丰富的地理社会媒体数据中，挖掘一个地理实体的多模态主题特征及对应的观点情感。如图 2(c) 所示，我们形式化地理实体的多模态主题特征和观点挖掘为：输入是一个实体的相关多媒体文档，包括 Flickr 图像、Tripadvisor 评论和新闻文档。换言之，输入文档可以是一张图像、一篇新闻文档或一条评论。文档由视觉和文本特征词以及观点组构成。我们提出一个生成式概率图模型——多模态主题观点挖掘模型（multimodal Aspect-Opinion Model, mmAOM， 如图 2(c)）来推断输出。mmAOM 对主题特征和观点词在文档的生成过程进行建模而学习文本和视觉模态之间的关联关系，来区分有视觉表达性的主题特征和非视觉表达性的主题特征，以及主题特征和观点之间的依赖关系来辨别主题特征及相应的观点。模型输出包括学习到的多模态主题特征、文档的主题分布、主题特征对应的观点。由派生的地理实体的多模态主题特征和对应的观点，设计了实体关联可视化和多模态主题特征检索的应用。实体关联可视化是要简洁地在图谱上可视化出实体关联的重要主题特征和对应的用户观点情感。多模态主题特征检索利用主题与观点之间的关联关系进行跨模态观点检索的任务。我们在真实的实体对象数据集中进行实验评价 mmAOM。除了在地理实体对象（北京、伦敦、巴黎、纽约）上实验，也在其他实体做了实验评测，包括人物（纳尔逊曼德拉、史蒂夫乔布斯）和品牌（阿迪达斯、耐克）。实验的结果证明了提出的 mmAOM 模型在挖掘实体多模态主题特征和观点的有效性，以及在可视化和检索方面的实用性。
