我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:双彩网 > 语义分析 >

邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用 AI 研习社

归档日期:06-06       文本归类:语义分析      文章编辑:爱尚语录

  原标题:邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用 AI 研习社第 70 期大讲堂 雷锋

  原标题:邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用 AI 研习社第 70 期大讲堂

  雷锋网 AI 研习社编者按:语义分析(semantic parsing)是人工智能的一个分支,是自然语言处理技术的几个核心任务,涉及语言学、计算语言学、机器学习,以及认知语言等多个学科。近年来,随着人工智能的发展,语义分析也越发重要。

  word embedding 是很常见的 input feature,能够很大程度地提升语义分析模型的性能。然而,对于 output 对语义分析模型性能的影响,大家的关注度却并不是很高。

  近日,在雷锋网 AI 研习社公开课上,新加坡科学设计大学在读博士邹炎炎就用通俗易懂的语言为大家介绍了semantic parsing 的概念、背景以及自己在该领域的论文成果,并介绍了关于 output embedding 对于 semantic parsing 的影响。公开课回放视频网址:

  一是语义分析介绍,考虑参与分享的大多数朋友并不是从事 semantic parsing 的相关工作,所以我会从通俗易懂的角度为大家做一个普及;

  Wikipedia 上对 semantic parsing 的解释是:把人类自然语言的话转化为机器能够读懂的语言。

  为了让大家更好地区分语法分析和语义分析的不同点,我先介绍一下两种分析的任务:

  Constituency parsing:我们以同样的句子为例,这里我们关注的不是两个词之间是否存在修饰、依赖关系,而是关注哪些词构成一个短语,一个短语即是一个成分,比如「a telescope」就是一个名词短语。

  【更多关于这五种主流语义分析的讲解细节,请回看视频 00:08:30 处,】

  【关于更多对二者的区别的讲解以及案例,请回看视频 00:15:45 处,】

  优点:第一,它是 Language-independent,不管 input 是中文还是英文,只要喂一个模型,系统就能输出一个 Semantic Parsing;第二,可以很好地模拟出来词与 semantic units 的对齐关系,这个对于 Semantic Parsing 来说非常重要;第三,效率性比较高。具体的推导,大家感兴趣的话可以阅读论文。

  在这个工作中,我们采用了 log-linear model(对数线性模型)来解决上一篇论文存在的两个问题。绿色字体是在 Generative Hybrid Tree 的基础上新引入的,它们与 semantic units 保持着联系,它能将句子的节点与所有子节点的对齐关系都考虑进去。

  下面讲一下我们在 ACL 2018 会议中的一篇短文——《跨语言信息在语义分析中的应用》。跨语言信息其实很少作为一个特征用于 Semantic Parsing。那为什么我们会想到使用跨语言信息去学习语义分析器呢?

  例如 Machine Translation 将「How many states have no rivers?」转化为中文「有多少洲没有河流?」,可能会有很多种表达,但是语义是一样的。不同的语言其实有一些共享的信息,那这些共享信息是否能帮助我们更好的去学 Semantic Parsing 呢?这就是我们的 Motivation。

  【更多关于使用跨语言信息去学习语义分析器的 Motivation 的讲解,请回看视频 00:32:15 处,】

  接下来就是怎么去给这些共享信息建立模型。我们的目标就是在给定目标语言和辅助语言的情况下,比如要学英文的 Semantic Parsing,会以英文为目标语言,以中文、德文等其他语言为辅助语言,在训练英文的 Semantic Parsing 前,我们会在辅助语言以及语言所对应的「语义树」中学一些 cross-lingual information,之后我们会根据给定的数据,可以用 embedding 或者分布式表达去建立跨语言信息模型。

  【更多关于建立跨语言信息模型的讲解,请回看视频 00:34:50 处,】

  我们用一些实验数据来证明 output embedding 对于模型的性能是有用的,如下图中的表格:

  如果 semantic units 拥有相似或者一样的 functional symbol,它们倾向于组成一个 group,在二维空间中非常接近。比较接近的语义会离得比较近,相反的语义则会离得比较远。

  最后做一下总结,本次我们分享了语义分析的基本背景知识,我们实验室工作中用到的一些语义分析模型、ACL 2018 会议中的短文《跨语言信息在语义分析中的应用》以及语义分析的一些表现。

  以上提到的三个 Hybrid Tree 模型以及我们在 ACL 2018 的论文的代码,都可以在我们的官方主页()上下载。

本文链接:http://furymagazine.com/yuyifenxi/11.html