深度学习能帮助解决唇读吗?

唇读是一件棘手的事情。测试结果各不相同,但平均而言,大多数人在看别人的嘴唇时,只会认出十分之一的单词,自称专家的准确率往往各不相同——当然没有唇读高手。不过,现在一些研究人员声称,像深度学习这样的人工智能技术可以帮助解决这个问题。毕竟,专注于处理大量数据以找到共同模式的人工智能方法有助于将音频语音识别的准确度提高到接近人类的水平,那么为什么不能对唇读进行同样的处理呢?...

唇读是一件棘手的事情。测试结果各不相同,但平均而言,大多数人在看别人的嘴唇时,只会认出十分之一的单词,自称专家的准确率往往各不相同——当然没有唇读高手。不过,现在一些研究人员声称,像深度学习这样的人工智能技术可以帮助解决这个问题。毕竟,专注于处理大量数据以找到共同模式的人工智能方法有助于将音频语音识别的准确度提高到接近人类的水平,那么为什么不能对唇读进行同样的处理呢?

007Ys3FFgy1gqb0ssy0axj32dv1lc7wh

比人类精确得多,但使用的数据非常有限

牛津大学人工智能实验室的研究人员在这一领域做出了很有前途的贡献,他们利用深度学习创建了一个新的唇读程序。他们的软件名为LipNet,能够在很大程度上超过有经验的唇部阅读器,在某些测试中达到93.4%的准确率,而人类唇部阅读器的准确率为52.3%。即使在目前的早期阶段,该软件也非常快速——几乎实时地将无声视频处理成文字记录。

然而,在我们沉迷于2001年的“人工智能监控州”和“哈尔阅读嘴唇:太空奥德赛”的噩梦之前,牛津大学的这项研究有一些严重的局限性。首先,该系统在一个名为GRID的研究数据集上进行了训练和测试。这是一个收集了34名志愿者阅读无意义句子的上万个短视频,以及字幕。每个片段只有3秒钟长,每个句子都遵循以下模式:命令、颜色、介词、字母、数字、副词。例如,句子包括“请把蓝色调成4”和“再把红色调成C 0”,甚至这些模式中的单词也是有限的,只使用了四种不同的命令和颜色。这使得该领域的一些研究人员认为,该论文的研究结果被夸大了,特别是在一条与研究人员视频(见下文)相关的病毒性推特发出耸人听闻的声称,这项工作意味着“不再有秘密”之后

情况肯定不是这样。这篇论文的两位研究人员Yannis Assael和Brendan Shillingford在接受《边缘》采访时欣然承认,他们的研究对象是“受限的词汇和语法”,但表示这是由于现有数据的局限性。”数据集很小,但这很好地表明,我们可以在更大的数据集上表现得同样出色,”Assael说。

真的,这对监视毫无帮助

阿萨尔和希林福德也都很想强调,他们的工作在监控领域没有应用,仅仅是因为唇读需要你看到被摄者的舌头——这意味着视频必须笔直,光线充足,才能获得好的效果。”这在技术上是不可能的,或者至少是非常非常困难的,”使用任何唇读软件进行监视,Assael说,并补充说,帧速率也是一个因素;以及一些通常被*****忽视的事情。他说:“如果你有一个非常好的摄像头拍摄的正面视频,那么你可能也有一个定向麦克风(指向他们)!”(关于监控问题,阿塞尔指出,尽管该报的一位主管也与谷歌的人工智能部门DeepMind合作,但谷歌本身并未参与LipNet的开发。)

相反,这两位研究人员认为,唇读人工智能可以帮助听力障碍的人,特别是在嘈杂的环境中,计算机很难隔离语音。例如,有人戴着内置在眼镜里的摄像头,可以清楚地看到他们在聚会上与之交谈的人的正面画面,LipNet的一位祖先可以实时转录对话,并将其输入耳朵。”任何有语音识别和摄像头的地方,我们都可以改进这一点。他还提到Siri或googleassistant的无声听写是一个可能的用例。那么,在未来,也许我们这些不喜欢跟电脑说话的人,不能让他们读我们的嘴唇。

  • 发表于 2021-05-08 14:50
  • 阅读 ( 105 )
  • 分类:互联网

你可能感兴趣的文章

神经网络(neural network)和深度学习(deep learning)的区别

神经网络与深度学习的关键区别在于,神经网络的运行方式与人脑中的神经元相似,可以更快地完成各种计算任务,而深度学习是一种特殊的机器学习,模仿人类获取知识的学习方法。 神经网络有助于建立预测模型来解决复...

  • 发布于 2020-10-18 10:17
  • 阅读 ( 1198 )

深度学习vs.机器学习vs.人工智能:它们是如何结合在一起的?

... 什么是深度学习(deep learning)? ...

  • 发布于 2021-03-22 20:26
  • 阅读 ( 271 )

这些机器学习课程将为您准备一条职业道路

... 1数据科学、深度学习和python机器学习 ...

  • 发布于 2021-03-25 15:43
  • 阅读 ( 255 )

麻省理工学院的一种新电脑芯片可以让你的智能手机完成复杂的人工智能任务

...的一个研究小组推出了一种新的计算机芯片,该芯片专为深度学习而优化,这是一种人工智能的方法,正越来越受欢迎。这种被称为“Eyeriss”的芯片可以让移动设备在不连接互联网的情况下执行自然语言处理和面部识别等任务...

  • 发布于 2021-05-03 08:26
  • 阅读 ( 178 )

这是当今人工智能面临的三大问题

上个月在伦敦举行的一次深度学习会议上,与会者谈到了一个特别值得注意的反复出现的主题:谦逊,或者至少,谦逊的必要性。
 虽然像谷歌这样的公司自信地宣称,我们生活在一个“人工智能第一时代”,机器...

  • 发布于 2021-05-08 03:39
  • 阅读 ( 152 )

在看了几千小时的电视之后,谷歌的人工智能现在比人类的唇读能力强

... DeepMind的研究人员认为,这个程序可以有很多应用,包括帮助听力受损的人理解对话。它还可以用来为无声电影添加注释,或者允许你通过对着相机说一些话来控制Siri或Alexa等数字助理(如果你在公共场合使用这个程序,就很方...

  • 发布于 2021-05-08 19:40
  • 阅读 ( 150 )

对人工智能的需求帮助英伟达和amd超越英特尔

...算支撑的,而且在其最复杂的形式中,它利用机器学习和深度学习的方法来进化它的意识,而不需要人类直接****。所有这些新技术都需要大量的处理能力,而恰好AMD和Nvidia已经在为这项任务**完美的处理器:图形卡。 GPU,或图...

  • 发布于 2021-05-09 10:27
  • 阅读 ( 163 )

我们在与长辈交流时犯的错误(以及如何纠正)

...,比如“昨天午餐吃了什么?”我们忘了他们是我们可以学习的人不知何故,我们最终忘记了老人实际上是一个人。他们和你有同样的想法和感觉。老年人喜欢吃自己喜欢的食物,老年人可以踢你的**下棋,老年人也可以和你有...

  • 发布于 2021-05-21 09:11
  • 阅读 ( 153 )

人工智能先驱安德鲁吴说,他的新在线课程将有助于建立一个“人工智能驱动的社会”

...西。 今天,吴先生在Coursera上推出了一门关于深度学习的新课程,这是他共同创建的在线教育网站。教学大纲将遵循他广受欢迎的机器学习课程,自2011年推出以来,该课程吸引了约200万人报名。 Ng告诉the Verge:“现...

  • 发布于 2021-05-29 08:57
  • 阅读 ( 105 )

机器学习的区别(differences between machine learning)和深度学习(deep learning)的区别

...。这些算法通常可以看作是统计模型和网络。   什么是深度学习(deep learning)? 深度学习是机器学习方法的一个子集。数据通过深度学习网络的多个层次进行解析,这样网络就可以对数据做出结论和决策。深度学习方法允许在...

  • 发布于 2021-06-25 18:10
  • 阅读 ( 572 )
gjbwehpdts
gjbwehpdts

0 篇文章

相关推荐