语言学和计算语言学中的消歧

在语言学中,消歧是确定一个词在特定语境中使用的意义的过程。也称为词汇消歧。...

在语言学中,消歧是确定一个词在特定语境中使用的意义的过程。也称为词汇消歧。

Person of ambiguous identity

在计算语言学中,这种区分过程称为词义消歧(WSD)。

实例和意见

“在不同的语言中,我们的交流碰巧允许在个别的交流交易中使用相同的词形来表示不同的事物。其结果是,在特定的交易中,人们必须在潜在的相关感官中找出给定单词的预期含义。而歧义由于这种多形式的意义关联是在词汇层面上产生的,它们通常必须通过嵌入该词的话语中的更大语境来解决。因此,只有当人们能够超越该词本身,才能区分“发球”一词的不同含义,就像在对比“温布尔登的球员发球”with“喜来登的服务员服务”。这种识别话语中词义的过程通常被称为词义消歧(WSD)。(Oi Yee Kwong,《词义消歧的计算和认知策略新视角》,Springer,2013)

词汇消歧和词义消歧(wsd)

“词汇消歧在其最广泛的定义中无异于确定上下文中每个单词的含义,这在人们看来是一个很大程度上无意识的过程。作为一个计算问题,它通常被描述为‘AI complete’,也就是说,这个问题的解决前提是一个完全理解自然语言的解或常识推理(Ide和Véronis 1998)。

在计算语言学领域,这个问题通常被称为词义消歧(WSD)WSD的定义是通过计算确定单词在特定上下文中的使用激活了单词的哪个“意义”的问题。WSD本质上是一项分类任务:词义是类,上下文提供证据,单词的每次出现都根据上下文分配给一个或多个可能的类证据。这是WSD的传统和常见特征,将其视为一个明确的词义消歧过程。假设单词具有来自词典、词汇知识库或本体的有限且离散的词义集(在后者中,词义对应于单词词汇化的概念)。也可以使用特定于应用程序的清单。例如,在机器翻译(MT)中在这种情况下,人们可以将单词翻译视为词义,这种方法正变得越来越可行,因为有大型多语言平行语料库可作为培训数据。传统WSD的固定库存降低了问题的复杂性,但存在替代字段……”(Eneko Agire和Philip Edmonds,“导论”,《词义消歧:算法和应用》,Springer,2007)

同音异义与消歧

词法消歧特别适合于同音异义的情况,例如,bass的出现必须映射到词法项bass1或bass2中的任何一个,这取决于预期的含义。

“词汇消歧意味着一种认知选择,是一项抑制理解过程的任务。应将其与导致词义区分的过程区分开来。前一项任务在没有太多上下文信息的情况下也能相当可靠地完成,而后一项任务则不然(参见Veronis 1998,2001)研究还表明,需要消除歧义的同名词会减慢词汇量,而激活多种词义的多义词会加快词汇量(Rodd e.a.2002)。

“然而,无论是对语义值的有效修改,还是在词汇上不同的项目之间的直接选择,都有一个共同点,那就是它们需要额外的非词汇信息。”(Peter Bosch,“有效性、多义性和谓词索引性。”逻辑、语言和计算:第六届第比利斯国际逻辑、语言和计算研讨会,Balder D.ten Cate和Henk W.Zeevat主编,Springer,2007年)

词汇范畴消歧与似然原理

“科利和克罗克(2000年)提出了一个基于似然原理的词类消歧的广泛覆盖模型。具体来说,他们建议对于由单词w0…wn组成的句子,句子处理器采用最可能的词性序列t0…tn。更具体地说,他们的模型利用了两种简单的概率:(i)给定特定词性的单词wi的条件概率ti,和(ii)给定前一个词性ti-1的ti概率。当遇到句子中的每个单词时,系统会将该词性ti分配给它,从而使这两个概率的乘积最大化。该模型利用了许多句法歧义具有词汇基础的观点(MacDonald et al.,1994),如(3)所示:

(3) The warehouse prices/makes are cheaper than the rest.

“在阅读中,价格或品牌是主要动词或复合名词的一部分,这些句子之间暂时存在歧义。在对大量语料库进行训练后,该模型预测了价格最可能的词性,正确地解释了人们将价格理解为名词而将品牌理解为动词的事实(见Crocker&Corley,2002,以及其中引用的参考文献)。该模型不仅解释了一系列源于词汇类别歧义的消歧偏好,还解释了为什么一般来说,人们在解决此类歧义时非常准确。”(Matthew W.Crocker,“理解的理性模型:解决表现悖论”,《二十一世纪心理语言学:四块基石》,安妮·卡特勒主编。劳伦斯·厄尔鲍姆,2005年)

  • 发表于 2021-09-24 20:16
  • 阅读 ( 170 )
  • 分类:人文

你可能感兴趣的文章

高级语言(high level language)和低级语言(low level language)的区别

...级语言(high level language)和低级语言(low level language)的区别 计算机根据用户提供的指令工作。为执行某项任务而编写的一组指令是一个计算机程序。计算机程序的集合称为软件。计算机程序或软件是用计算机编程语言编写的。世界...

  • 发布于 2020-10-23 20:12
  • 阅读 ( 652 )

鸭鸭哥(duckduckgo)和谷歌(google)的区别

...了人类资源,这些资源的标题和描述是由实际的人而不是计算机编写的。这将导致更简单的链接。官方网站将被检测出来并放在搜索结果页面的顶部。官方网站也贴上了标签。所以,如果你直接找一个官方网站,你可以不经过任...

  • 发布于 2020-10-24 00:33
  • 阅读 ( 246 )

如何在windows8中更改系统语言

...e for download。这意味着您还不能将其用作Windows语言—您的计算机上没有必要的支持。要下载显示语言支持,您需要单击语言右侧的选项链接。 ...

  • 发布于 2021-03-12 13:32
  • 阅读 ( 213 )

如何在windows10中更改系统语言

...了错误的选项或想切换到一种新的语言,您可以更改您的计算机语言没有太大的麻烦。 ...

  • 发布于 2021-03-30 21:06
  • 阅读 ( 404 )

语音识别(speech recognition)和自然语言处理(natural language processing)的区别

在过去的几年里,机器学习和计算语言学的进步导致了我们与周围世界互动方式的重大发展和改进。其中最重要的进展之一是语音识别领域。然而,语音识别并不是一个全新的概念;事实上,它已经存在了很久,因为有电脑。这...

  • 发布于 2021-06-26 11:38
  • 阅读 ( 1360 )

翻译(translator)和程序设计语言中的解释器(interpreter in programming language)的区别

...释器是一种将高级编程语言转换为机器语言的翻译器。 计算机程序是计算机执行任务的一组指令。它由一系列语句组成。大多数情况下,计算机程序是用高级编程语言或汇编语言编写的。这些程序是可读和可理解的程序员,但...

  • 发布于 2021-06-30 18:15
  • 阅读 ( 355 )

标记语言(markup language)和程序设计语言(programming language)的区别

...编程语言提供了一组命令和语法,可用于编写用户理解的计算机程序计算机。 标记语言(markup language)是一种用于在样式精确的电子文档中注释文本和嵌入标记的语言,与计算机平台、操作系统、应用程序或程序无关。然而,...

  • 发布于 2021-07-01 02:50
  • 阅读 ( 632 )

程序(program)和过程(process)的区别

...,因为它可以提高程序的效率。此外,程序员是能够编写计算机程序的人。 有多种编程语言。主要的两种编程语言是高级语言和低级语言。高级语言遵循类似于英语的语法。程序员可以很容易地理解和阅读这些指令,但是CPU不...

  • 发布于 2021-07-01 10:37
  • 阅读 ( 612 )

什么是解析?英语语法中的定义与举例(parsing? definition and examples in english grammar)

...语法分析”一词来源于“词性”的拉丁语部分 在当代语言学中,句法分析通常指计算机辅助的语言句法分析。自动向文本添加解析标记的计算机程序称为解析器。 关键要点:解析 句法分析是把一个句子分解成不同的成分...

  • 发布于 2021-09-14 07:20
  • 阅读 ( 216 )

单词(英语)

...等人的《英语对比焦点重叠》(沙拉纸),(自然语言与语言学理论22:2004)。 见下面的例子和观察。另见: 消歧 反平衡 同形词 同音字 普罗切 重叠的 重复 语义满足 实例和意见 “有些情况下,为了确保某人知道你在...

  • 发布于 2021-09-22 03:04
  • 阅读 ( 111 )
变异的蜗牛
变异的蜗牛

0 篇文章

相关推荐