機器能跟人類(lèi)交流嗎?能像人類(lèi)一樣理解文本嗎?這是人類(lèi)對人工智能最初的幻想。除了大家比較熟悉的感知智能(如圖像識別、語(yǔ)音識別)、行動(dòng)智能(如機器人)外,語(yǔ)言智能(如自然語(yǔ)言處理)也是人工智能的核心領(lǐng)域之一。

(“圖靈測試”被公認為測試計算機是否具有智能的實(shí)驗,在這個(gè)實(shí)驗中,人和計算機的問(wèn)答都是通過(guò)自然語(yǔ)言進(jìn)行)
“理解自然語(yǔ)言”到目前為止還只是人類(lèi)獨有的特權,因此如果語(yǔ)言智能實(shí)現突破,將會(huì )推動(dòng)整個(gè)人工智能體系的進(jìn)步。
其中,指代理解(Coreference Resolution)又是語(yǔ)言智能的核心問(wèn)題之一。
指代理解是機器理解自然語(yǔ)言的關(guān)鍵
一篇文章在進(jìn)行過(guò)程中需要描述不同實(shí)體間的關(guān)系,實(shí)體串聯(lián)起了文章各個(gè)句子的核心線(xiàn)索,因此做好指代理解是理解多句話(huà)和一篇文章的重點(diǎn),也是更好地構造智能對話(huà)系統的基礎——機器才能理解《詩(shī)經(jīng)》中的“君子”從一見(jiàn)鐘情到蠢蠢欲動(dòng)到日思夜想的感情線(xiàn)索,你的Siri也才有可能不止于跟你一問(wèn)一答地單句聊天,而是更好地懂你。

比如,想要理解《詩(shī)經(jīng)·關(guān)雎》的這些語(yǔ)言描述了什么場(chǎng)景、傳遞了什么情感,首先要理解各個(gè)“之”指的是什么。在上圖中,同種顏色標注的詞語(yǔ)指向同一個(gè)實(shí)體,指代理解就是要讓機器明白紅色的“之”不是指“雎鳩”“君子”“參差荇菜”“左右”等其它對象或文本,而就是“窈窕淑女”;藍色的“之”不是指“在河之洲”“君子”“窈窕淑女”等,而就是“參差荇菜”。
要是指代理解不給力,機器認為君子日思夜想的是關(guān)關(guān)和鳴的雎鳩,那故事的延續豈不就成了風(fēng)流君子奏起琴瑟、敲起鐘鼓來(lái)取悅那對雎鳩?指代理解問(wèn)題的探索突破則可以使得機器對不同事物間的指代關(guān)系有更加明確的理解。
依圖提出全新數據集探索指代理解問(wèn)題
自然語(yǔ)言處理領(lǐng)域頂級會(huì )議 EMNLP 2018 不久前(10月31日-11月4日)在比利時(shí)布魯塞爾落下帷幕,依圖論文 PreCo: A Large-scale Dataset in Preschool Vocabulary for Coreference Resolution 被錄用為Oral文章。在論文中,依圖提出了一個(gè)全新數據集 PreCo,用于探索計算機語(yǔ)言學(xué)的核心問(wèn)題之一——指代理解,并宣布對外開(kāi)放該數據集。
相較于現有數據集,PreCo 更能體現實(shí)體表示等指代理解涉及的核心困難。其數據規模約為目前常用指代理解數據集 OntoNotes 的 10 倍,并標注出了所有無(wú)指代關(guān)聯(lián)的名詞短語(yǔ)。

(依圖在 EMNLP 2018)
其實(shí)在 PreCo 之前,依圖已經(jīng)耕耘自然語(yǔ)言處理領(lǐng)域多年,并將技術(shù)應用于智能醫療輔助診斷等方面。如今開(kāi)放全新數據集 PreCo 則是希望能夠幫助更多研究者可以接觸和使用開(kāi)源的數據集進(jìn)行開(kāi)發(fā),切實(shí)提升算法優(yōu)化的驗證效率,共同探索 AI 領(lǐng)域最有價(jià)值的技術(shù)問(wèn)題。
探索的動(dòng)機源于對智慧無(wú)限的好奇,對依圖來(lái)說(shuō),PreCo 正是這種好奇推動(dòng)下在自然語(yǔ)言處理領(lǐng)域的成果。愿與你分享這一份好奇。
您可以復制這個(gè)鏈接分享給其他人:http://www.northchejian.com.cn/node/685

