36氪此前報(bào)道過的「Peak Labs」公司近日發(fā)布了其人工智能系統(tǒng)Magi的公眾版「magi.com」。通過這一搜索引擎，用戶輸入關(guān)鍵詞，即可獲取Magi從互聯(lián)網(wǎng)文本中自主學(xué)習(xí)到的結(jié)構(gòu)化知識(shí)和網(wǎng)頁搜索結(jié)果，每個(gè)結(jié)構(gòu)化結(jié)果后面都會(huì)附上來源鏈接和其可信度評(píng)分。
magi.com 搜索示例
Magi是基于機(jī)器學(xué)習(xí)的信息抽取和檢索系統(tǒng)，它不使用 HTML 標(biāo)簽等半結(jié)構(gòu)化特征，無需預(yù)設(shè)領(lǐng)域和關(guān)鍵詞，直接處理自然語言文本。它能夠?qū)⒒ヂ?lián)網(wǎng)上的公開文本和企業(yè)內(nèi)部的私有數(shù)據(jù)提取歸納為結(jié)構(gòu)化知識(shí)，為用戶提供自主更新的、可量化解析的、可溯源的知識(shí)體系。而且這個(gè)系統(tǒng)具有終身學(xué)習(xí)能力（Lifelong machine learning），能夠開放地獲取并自主學(xué)習(xí)互聯(lián)網(wǎng)上的信息，不斷增強(qiáng)自身對(duì)自然語言文本的處理能力。
互聯(lián)網(wǎng)語料質(zhì)量參差不?，抄襲拼接、自動(dòng)生成、惡意篡改等行為會(huì)造成大量事實(shí)性錯(cuò)誤，甚至可能讓模型在持續(xù)的學(xué)習(xí)調(diào)整過程中越來越差。此前涉及網(wǎng)絡(luò)語料處理的程序常使用白名單機(jī)制回避該問題，但白名單機(jī)制在大幅過濾掉不可靠的來源的同時(shí)，也損失了大量的有價(jià)值的信息。Magi通過自主研發(fā)的全網(wǎng)搜索引擎，引入傳統(tǒng)搜索中的統(tǒng)計(jì)信號(hào)，輔助評(píng)估信息的質(zhì)量。
“在學(xué)術(shù)領(lǐng)域，論文被引用次數(shù)越多，通常就越有影響力；在網(wǎng)頁搜索中，一個(gè)URL的反鏈越多，該網(wǎng)頁具有越高的重要性。對(duì)于知識(shí)，當(dāng)某一事實(shí)在更多上下文中被表達(dá)，其應(yīng)當(dāng)具有更高的正確性和流傳度?！盤eak Labs創(chuàng)始人季逸超告訴36氪，“Magi會(huì)對(duì)來源質(zhì)量高且具有多種上下文和表達(dá)方式的事實(shí)給出更高的評(píng)價(jià)。因?yàn)椴煌纳舷挛呐c表達(dá)方式表明相應(yīng)內(nèi)容經(jīng)過了再次提煉，或者有多個(gè)角度對(duì)其進(jìn)行闡釋。而且多種輸入的交叉驗(yàn)證還降低了AI自身犯錯(cuò)的風(fēng)險(xiǎn)?！?/p>
在最后的結(jié)果頁面，magi.com會(huì)為每個(gè)結(jié)果給出可信度評(píng)分，然后用顏色區(qū)分可信度高低，綠色表示可信度較高，紅色則較低。
magi.com使用顏色區(qū)分可信度
“另外，需要強(qiáng)調(diào)是，magi.com是我們技術(shù)的對(duì)外展現(xiàn)形式和背景知識(shí)數(shù)據(jù)庫，我們真正做商業(yè)化的，是Magi背后的技術(shù)——基于自然語言理解(NLU）和遷移學(xué)習(xí)的開放信息提取。”季逸超說。
季逸超告訴36氪，Magi能為企業(yè)客戶提供的服務(wù)包括：
結(jié)構(gòu)化數(shù)據(jù)和知識(shí)體系。Magi所學(xué)習(xí)的是互聯(lián)網(wǎng)上的通用背景知識(shí)，而此前這些以文本形式存在的知識(shí)難以被AI直接利用。該服務(wù)主要針對(duì)需要結(jié)構(gòu)化數(shù)據(jù)的公司，例如各種語音助手和決策引擎，它們能夠以DSL或向量化的形式從Magi的數(shù)據(jù)庫獲取信息，強(qiáng)化自身表現(xiàn)。
定制化自然語言理解解決方案和企業(yè)輔助類RPA。Peak Labs以遷移學(xué)習(xí)技術(shù)為基礎(chǔ)，使用自有的預(yù)訓(xùn)練數(shù)據(jù)和Magi積累的數(shù)據(jù)來提升信息提取服務(wù)的性能。金融、醫(yī)療、咨詢等垂直行業(yè)的客戶只需要提供少量樣本即可獲得定制的自然語言理解方案。例如在旅游行業(yè)，Magi可以被定制來自動(dòng)閱讀用戶撰寫的游記并發(fā)掘出POI和相關(guān)屬性。
Magi定制服務(wù)訓(xùn)練界面
數(shù)據(jù)作為Al訓(xùn)練的“燃料”，是其產(chǎn)生價(jià)值的的必要條件。據(jù)IDC統(tǒng)計(jì)，全球每年生產(chǎn)的數(shù)據(jù)量將從2016年的16.1ZB猛增至2025年的163ZB，其中80%到90%是文本、圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)。而非結(jié)構(gòu)化不能被AI讀取，因而需要處理結(jié)構(gòu)化數(shù)據(jù)。這一處理過程就是中國人工智能基礎(chǔ)數(shù)據(jù)服務(wù)中的一部分。
此前，艾瑞咨詢發(fā)布了《2019年中國人工智能基礎(chǔ)數(shù)據(jù)服務(wù)研究報(bào)告》顯示2018年，中國人工智能基礎(chǔ)數(shù)據(jù)服務(wù)市場(chǎng)規(guī)模為25.86億元，其中數(shù)據(jù)資源定制服務(wù)占比86.2%預(yù)計(jì)2023年市場(chǎng)規(guī)模突破113億元。行業(yè)年復(fù)合增長率為23.5%對(duì)于創(chuàng)業(yè)公司來說，此時(shí)切入該行業(yè)仍能有發(fā)展機(jī)會(huì)。
另一方面，許多細(xì)分垂直行業(yè)缺乏足夠的結(jié)構(gòu)化數(shù)據(jù)來訓(xùn)練AI模型，如何利用小樣本數(shù)據(jù)訓(xùn)練AI已成趨勢(shì)。“我們發(fā)現(xiàn)，結(jié)構(gòu)化數(shù)據(jù)的稀缺極大限制了人工智能在細(xì)分行業(yè)的應(yīng)用。從零構(gòu)建定制化的自然語言理解方案需要專業(yè)人才和大量時(shí)間成本——單單為了研發(fā)一個(gè)醫(yī)療行業(yè)人工智能而讓忙碌的醫(yī)生們抽出數(shù)個(gè)月進(jìn)行眾包標(biāo)注是難以想象的?！奔疽莩f。
從技術(shù)的角度來說，Magi采取的遷移學(xué)習(xí)NLU算法，具有的優(yōu)勢(shì)在于只需使用通用數(shù)據(jù)訓(xùn)練AI引擎，就能使AI引擎很好的適用專業(yè)垂直領(lǐng)域。Magi首先使用互聯(lián)網(wǎng)知識(shí)和自有的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，而專業(yè)垂直領(lǐng)域的任務(wù)僅需極少量人工數(shù)據(jù)標(biāo)注，就能達(dá)到大規(guī)模數(shù)據(jù)的訓(xùn)練效果。對(duì)于企業(yè)來說，這一技術(shù)也就降低了獲得定制化AI的成本。
“我們希望Magi能像文字知識(shí)的ImageNet一樣，幫助企業(yè)降低AI定制化的成本?！奔疽莩f。
聯(lián)系客服
