脣讀是一件棘手的事情。測試結果各不相同,但平均而言,大多數人在看別人的嘴脣時,只會認出十分之一的單詞,自稱專家的準確率往往各不相同——當然沒有脣讀高手。不過,現在一些研究人員聲稱,像深度學習這樣的人工智慧技術可以幫助解決這個問題。畢竟,專註於處理大量資料以找到共同模式的人工智慧方法有助於將音訊語音識別的準確度提高到接近人類的水平,那麼為什麼不能對脣讀進行同樣的處理呢?
比人類精確得多,但使用的資料非常有限
牛津大學人工智慧實驗室的研究人員在這一領域做出了很有前途的貢獻,他們利用深度學習建立了一個新的脣讀程式。他們的軟體名為LipNet,能夠在很大程度上超過有經驗的脣部閱讀器,在某些測試中達到93.4%的準確率,而人類脣部閱讀器的準確率為52.3%。即使在目前的早期階段,該軟體也非常快速——幾乎實時地將無聲影片處理成文字記錄。
然而,在我們沉迷於2001年的“人工智慧監控州”和“哈爾閱讀嘴脣:太空奧德賽”的噩夢之前,牛津大學的這項研究有一些嚴重的侷限性。首先,該系統在一個名為GRID的研究資料集上進行了訓練和測試。這是一個收集了34名志願者閱讀無意義句子的上萬個短影片,以及字幕。每個片段只有3秒鐘長,每個句子都遵循以下模式:命令、顏色、介詞、字母、數字、副詞。例如,句子包括“請把藍色調成4”和“再把紅色調成C 0”,甚至這些模式中的單詞也是有限的,只使用了四種不同的命令和顏色。這使得該領域的一些研究人員認為,該論文的研究結果被誇大了,特別是在一條與研究人員影片(見下文)相關的病毒性推特發出聳人聽聞的聲稱,這項工作意味著“不再有祕密”之後
情況肯定不是這樣。這篇論文的兩位研究人員Yannis Assael和Brendan Shillingford在接受《邊緣》採訪時欣然承認,他們的研究物件是“受限的詞彙和語法”,但表示這是由於現有資料的侷限性。”資料集很小,但這很好地表明,我們可以在更大的資料集上表現得同樣出色,”Assael說。
真的,這對監視毫無幫助
阿薩爾和希林福德也都很想強調,他們的工作在監控領域沒有應用,僅僅是因為脣讀需要你看到被攝者的舌頭——這意味著影片必須筆直,光線充足,才能獲得好的效果。”這在技術上是不可能的,或者至少是非常非常困難的,”使用任何脣讀軟體進行監視,Assael說,並補充說,幀速率也是一個因素;以及一些通常被*****忽視的事情。他說:“如果你有一個非常好的攝像頭拍攝的正面影片,那麼你可能也有一個定向麥克風(指向他們)!”(關於監控問題,阿塞爾指出,儘管該報的一位主管也與谷歌的人工智慧部門DeepMind合作,但谷歌本身並未參與LipNet的開發。)
相反,這兩位研究人員認為,脣讀人工智慧可以幫助聽力障礙的人,特別是在嘈雜的環境中,計算機很難隔離語音。例如,有人戴著內建在眼鏡裡的攝像頭,可以清楚地看到他們在聚會上與之交談的人的正面畫面,LipNet的一位祖先可以實時轉錄對話,並將其輸入耳朵。”任何有語音識別和攝像頭的地方,我們都可以改進這一點。他還提到Siri或googleassistant的無聲聽寫是一個可能的用例。那麼,在未來,也許我們這些不喜歡跟電腦說話的人,不能讓他們讀我們的嘴脣。
神經網路與深度學習的關鍵區別在於,神經網路的執行方式與人腦中的神經元相似,可以更快地完成各種計算任務,而深度學習是一種特殊的機器學習,模仿人類獲取知識的學習方法。 神經網路有助於建立預測模型來解決複...
...的沉浸式閱讀工具是今年早些時候推出的一種鮮為人知的學習工具,旨在提高使用者的閱讀能力,並能幫助解決閱讀障礙等常見的學習障礙。隨著該應用程式在更多的程式和語言中繼續可用,我們想提供一個具體功能的細分。 ...
... 但它是如何工作的呢?你怎麼用它?它能幫助改善哪些DNS隱私風險?讓我們仔細看看。 ...
... 在這些選項下面是解決問題的步驟。你可以用它來學習如何解決問題,並最終找到問題的答案。同樣的方法也適用於數學和科學問題,儘管結果的型別會有所不同。 ...
...您可能會感興趣的其他一些類似文章: 使用BlueScreenView幫助解決死亡藍色畫面問題 在你的WordPress404錯誤頁面上使用一個Windows死亡藍色畫面 用ubuntulivecd診斷PC硬體問題 鍵盤忍者:用3次擊鍵殺死視窗的藍色畫面死神 這篇文章讓...
... 下載BlueScreenView(頁面底部的下載連結) 有關BSOD的更多幫助,請參閱Geek的文章:透過防止自動重啟來幫助解決藍色畫面死亡問題
...ET的SysInspector,它是一個非常詳細的Windows診斷工具,可以幫助技術人員診斷問題。 SysInspector不需要安裝,因為它是一個單檔案可執行檔案,如果需要,可以從快閃記憶體驅動器執行。您需要一直滾動到EULA的底部並同意開始使用...
...,突出顯示螢幕的某個區域,並留下評論或問題。 這將幫助您啟動並執行新的螢幕錄製功能。雖然這個工具的功能並不像它可能的那麼豐富,但它是一個很好的補充,可以幫助解決Windows7的問題。