4月19日，以“大模型時(shí)代AI生物醫(yī)藥的創(chuàng)新融合”為主題的第三期AIR學(xué)術(shù)工作坊在清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）圖靈報(bào)告廳成功舉辦。會(huì)上AIR首席研究員聶再清教授介紹了團(tuán)隊(duì)在生物醫(yī)藥領(lǐng)域大模型方向上的最新進(jìn)展，并開(kāi)源了輕量級(jí)科研版基礎(chǔ)模型BioMedGPT-1.6B。
同時(shí)，活動(dòng)還邀請(qǐng)了清華大學(xué)惠妍講席教授、AIR首席科學(xué)家馬維英，清華大學(xué)國(guó)強(qiáng)教授、AIR首席研究員聶再清，華深智藥創(chuàng)始人、AIR高級(jí)訪問(wèn)教授彭健，醫(yī)渡云首席技術(shù)官閆峻，北京智源人工智能研究院健康計(jì)算中心負(fù)責(zé)人葉啟威五位學(xué)界及產(chǎn)業(yè)界嘉賓共同探討大模型時(shí)代AI在生物醫(yī)藥領(lǐng)域的創(chuàng)新融合機(jī)遇。本次活動(dòng)由AIR蘭艷艷教授主持。
與會(huì)嘉賓合影
會(huì)議首先由中國(guó)工程院院士、清華大學(xué)講席教授、AIR院長(zhǎng)張亞勤院士致開(kāi)場(chǎng)辭，他表示：將大模型范式應(yīng)用于生命科學(xué)是理性又大膽的探索。
AIR的研究團(tuán)隊(duì)以構(gòu)建生物醫(yī)藥領(lǐng)域大模型為目標(biāo)，相繼研發(fā)了多個(gè)生物醫(yī)藥專業(yè)領(lǐng)域的AI模型，在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)、抗體設(shè)計(jì)等領(lǐng)域并取得不錯(cuò)的成果。此次開(kāi)源的輕量級(jí)科研版基礎(chǔ)模型BioMedGPT-1.6B是在生命科學(xué)領(lǐng)域的重要進(jìn)展。
未來(lái)，研究團(tuán)隊(duì)將繼續(xù)用BioMedGPT進(jìn)一步整合領(lǐng)域內(nèi)多源異構(gòu)的數(shù)據(jù)，將知識(shí)融入模型構(gòu)建之中，實(shí)現(xiàn)生物世界文本和知識(shí)的統(tǒng)一表示學(xué)習(xí)，帶來(lái)生物醫(yī)藥領(lǐng)域的“智能涌現(xiàn)”。
開(kāi)源BioMedGPT-1.6B輕量級(jí)科研版基礎(chǔ)模型
接下來(lái)，聶再清教授著重介紹了團(tuán)隊(duì)在研的生物醫(yī)藥領(lǐng)域大模型BioMedGPT的最新進(jìn)展，并開(kāi)源了輕量級(jí)科研版基礎(chǔ)模型BioMedGPT-1.6B。
聶再清教授講座
著眼于生命科學(xué)領(lǐng)域，編碼生命的分子語(yǔ)言與自然語(yǔ)言具有類似的特征。例如，原子的特定組合方式形成了不同類型的官能團(tuán)，進(jìn)而決定分子的特定功能和化學(xué)性質(zhì)；基因的差異表達(dá)在細(xì)胞水平上會(huì)導(dǎo)致形態(tài)、結(jié)構(gòu)和功能的差異，進(jìn)而影響生物體生理結(jié)構(gòu)和功能。
順應(yīng)自然法則，基因也會(huì)不斷變異產(chǎn)生新的序列，同時(shí)淘汰舊的序列。長(zhǎng)期以來(lái)，生物學(xué)家在一次又一次濕實(shí)驗(yàn)中總結(jié)規(guī)律并通過(guò)文獻(xiàn)記錄。
聶教授團(tuán)隊(duì)構(gòu)建BioMedGPT的目標(biāo)就是要把分子語(yǔ)言中蘊(yùn)含的知識(shí)以及長(zhǎng)期以來(lái)通過(guò)濕實(shí)驗(yàn)總結(jié)的文本和知識(shí)圖譜信息融合壓縮到一個(gè)大規(guī)模語(yǔ)言模型中，從而實(shí)現(xiàn)從序列模式中學(xué)習(xí)生物結(jié)構(gòu)和功能規(guī)律，通過(guò)AI解碼生命語(yǔ)言。
通過(guò)濕實(shí)驗(yàn)積累的很多有價(jià)值的知識(shí)和數(shù)據(jù)，很多都可以公開(kāi)獲取使用，如蛋白質(zhì)序列目前已有超過(guò)22億條數(shù)據(jù)，可購(gòu)買的具備成藥性的小分子有 2.3億等。這些海量公開(kāi)分子序列數(shù)據(jù)其實(shí)完全可以用語(yǔ)言模型來(lái)學(xué)習(xí)其語(yǔ)義表征，用于藥物研發(fā)任務(wù)。
同時(shí)，現(xiàn)存也有許多生物學(xué)家們幾百年來(lái)積累的海量文獻(xiàn)和知識(shí)圖譜數(shù)據(jù)，無(wú)論知識(shí)圖譜還是文獻(xiàn)都可以單獨(dú)訓(xùn)練出一個(gè)大的知識(shí)表征模型，而且這些不同模態(tài)的數(shù)據(jù)里的分子信息是相互關(guān)聯(lián)的，如果能把它們統(tǒng)一壓縮在一個(gè)大模型里，將惠及未來(lái)所有的生物醫(yī)藥下游任務(wù)。
基于上述設(shè)想，聶教授團(tuán)隊(duì)進(jìn)行了一系列實(shí)驗(yàn)驗(yàn)證，通過(guò)嘗試融合分子結(jié)構(gòu)、知識(shí)圖譜和文本，所構(gòu)建的多模態(tài)數(shù)據(jù)統(tǒng)一表示在多項(xiàng)AIDD任務(wù)，如藥物性質(zhì)預(yù)測(cè)、藥物-靶點(diǎn)相互作用等均取得了SOTA的結(jié)果，佐證了融合多模態(tài)生物醫(yī)藥數(shù)據(jù)的價(jià)值和意義。
構(gòu)建生物醫(yī)藥領(lǐng)域基礎(chǔ)模型BioMedGPT
通過(guò)調(diào)研，團(tuán)隊(duì)發(fā)現(xiàn)當(dāng)前還沒(méi)有能夠支持多模態(tài)、多任務(wù)的生物醫(yī)藥基礎(chǔ)模型。聶再清教授帶領(lǐng)團(tuán)隊(duì)著手構(gòu)建了多模態(tài)生物醫(yī)藥領(lǐng)域基礎(chǔ)模型-BioMedGPT，旨在將生物世界分子、文本與知識(shí)進(jìn)行統(tǒng)一表示學(xué)習(xí)以達(dá)到在各項(xiàng)下游任務(wù)上能力的整體提升。
BioMedGPT在數(shù)據(jù)層面整合了基因、分子、細(xì)胞、蛋白、文獻(xiàn)、專利、知識(shí)庫(kù)等多源異構(gòu)的數(shù)據(jù)，首次將知識(shí)引入到模型構(gòu)建中，實(shí)現(xiàn)了生物世界文本和知識(shí)的統(tǒng)一表示學(xué)習(xí)，增強(qiáng)了模型的泛化能力和可解釋性。在應(yīng)用任務(wù)方面， BioMedGPT能夠處理自然語(yǔ)言、藥物性質(zhì)預(yù)測(cè)、跨模態(tài)生成等多個(gè)任務(wù)，實(shí)現(xiàn)對(duì)生命科學(xué)全域任務(wù)的探索，已經(jīng)在多個(gè)關(guān)鍵下游任務(wù)中取得了 SOTA 的效果。
此次活動(dòng)開(kāi)源的輕量科研版本 BioMedGPT-1.6B包含一個(gè)16億參數(shù)、5000萬(wàn)參數(shù)的單細(xì)胞預(yù)訓(xùn)練模型CellLM-50M，以及團(tuán)隊(duì)打造的生物醫(yī)藥知識(shí)圖譜、專業(yè)數(shù)據(jù)集等。
開(kāi)源地址：https://github.com/BioFM/OpenBioMed
BioMedGPT-1.6B在多項(xiàng)下游任務(wù)中取得了SOTA。以分子-文本互檢索跨模態(tài)任務(wù)為例，BioMedGPT-1.6B在兩個(gè)任務(wù)的zero-shot和finetune結(jié)果上均取得SOTA。
單細(xì)胞預(yù)訓(xùn)練模型CellLM-50M則提供了結(jié)合了細(xì)胞層面數(shù)據(jù)的語(yǔ)義表征，目前在細(xì)胞類型注釋任務(wù)上取得了比較理想的結(jié)果，未來(lái)將成為BioMedGPT中細(xì)胞編碼的重要組成。
打造BioMedGPT雙循環(huán)能力
團(tuán)隊(duì)接下來(lái)將著力打造BioMedGPT的雙循環(huán)能力：
干濕閉環(huán)：雙通道干濕閉環(huán)計(jì)算接口，結(jié)合高通量實(shí)驗(yàn)，突破AI模型嚴(yán)重受限于藥物靶點(diǎn)活性數(shù)據(jù)少的挑戰(zhàn)，充分利用好每一個(gè)濕實(shí)驗(yàn)的標(biāo)簽。
專家在環(huán)：專家可控交互式藥物生成，給定藥物靶點(diǎn)等信息，藥化專家通過(guò)自然語(yǔ)言、參數(shù)設(shè)置等多種符合藥化專家使用習(xí)慣的方式與AI進(jìn)行多輪交互，通過(guò)迭代生成具有所需性質(zhì)的藥物候選。
通過(guò)打造的干濕閉環(huán)和專家在環(huán)的雙閉環(huán)體系，使得BioMedGPT能夠從真實(shí)世界學(xué)習(xí)、向人類專家學(xué)習(xí)有望成為生物醫(yī)藥研發(fā)基礎(chǔ)大模型，支撐諸如高通量虛擬篩選、分子生成與優(yōu)化、個(gè)性化藥物重定位、生物醫(yī)藥知識(shí)檢索等多項(xiàng)應(yīng)用。
在“大模型時(shí)代AI生物醫(yī)藥的創(chuàng)新融合”圓桌論壇上，各位嘉賓就 “以GPT為代表的基礎(chǔ)模型如何更好的賦能生命科學(xué)、生物醫(yī)藥領(lǐng)域？”、“生物醫(yī)藥領(lǐng)域基礎(chǔ)模型的構(gòu)建面臨哪些機(jī)遇與挑戰(zhàn)？”，以及“生物醫(yī)藥基礎(chǔ)模型的ChatGPT Moment 會(huì)以何種形式出現(xiàn)？“ 等諸多問(wèn)題展開(kāi)了深入探討。
清華大學(xué)惠妍講席教授、智能產(chǎn)業(yè)研究院（AIR）首席科學(xué)家馬維英教授表示，生成式AI將顛覆甚至重新定義新科學(xué)領(lǐng)域，如果將其應(yīng)用到生物醫(yī)藥領(lǐng)域?qū)⒕哂猩钸h(yuǎn)的意義。作為科學(xué)家，我們要擁抱新的工具，擁抱新的觀念和最新的方法論。同時(shí)也要看到，這對(duì)我們做AI的人來(lái)說(shuō)是非常大的機(jī)會(huì)。將來(lái)如果能用AI技術(shù)，加快藥物研發(fā)的周期，并針對(duì)個(gè)體的基因序列和新抗原設(shè)計(jì)出對(duì)應(yīng)的藥物精準(zhǔn)治療，實(shí)現(xiàn)個(gè)性化的免疫療法，整個(gè)生物制藥會(huì)更加精準(zhǔn)、更安全、更經(jīng)濟(jì)、更普惠。
清華大學(xué)國(guó)強(qiáng)教授、智能產(chǎn)業(yè)研究院（AIR）聶再清表示：“ChatGPT可能是第四次工業(yè)革命的起點(diǎn)，基于大數(shù)據(jù)的驅(qū)動(dòng)的人工智能的能夠賦能各個(gè)領(lǐng)域的科研工作。我們期望BioMedGPT是可以O(shè)ne For All，以數(shù)據(jù)和知識(shí)驅(qū)動(dòng)生物醫(yī)藥領(lǐng)域內(nèi)的科研發(fā)展，從而更好的幫助藥物研發(fā)人員?！?/span>
華深智藥創(chuàng)始人、AIR高級(jí)訪問(wèn)教授彭健認(rèn)為，未來(lái)將不再有傳統(tǒng)生物學(xué)與計(jì)算生物學(xué)的區(qū)別，假設(shè)驅(qū)動(dòng)的科研將被進(jìn)入數(shù)據(jù)驅(qū)動(dòng)的新科研范式。我們?cè)铝τ跒槊總€(gè)任務(wù)設(shè)計(jì)一個(gè)模型，然而ChatGPT的出現(xiàn)改變了這一認(rèn)知，通用的模型讓原本看似無(wú)法突破的任務(wù)變得可行。超越SOTA不應(yīng)是唯一追求，幫助科研界理解模型能力的上限和邊界也非常重要。這種認(rèn)識(shí)不僅對(duì)生物醫(yī)藥領(lǐng)域有巨大影響，還將對(duì)許多其他領(lǐng)域帶來(lái)重要的提升。
醫(yī)渡云首席技術(shù)官閆峻博士表示：“綠色醫(yī)療Green Health（即Safer，Better， more Accessible的醫(yī)療）是我們乃至當(dāng)前整個(gè)社會(huì)的使命，大模型有望能夠通過(guò)技術(shù)讓醫(yī)療服務(wù)、醫(yī)藥研發(fā)的每個(gè)環(huán)節(jié)降本增效，最終反饋到每個(gè)人身上就能讓更多的人得到治療的機(jī)會(huì)，用更低的成本把病治好，解決整個(gè)醫(yī)療產(chǎn)業(yè)里邊供應(yīng)端和供應(yīng)鏈的問(wèn)題。以前醫(yī)療產(chǎn)業(yè)每一個(gè)鏈條進(jìn)行的都是單點(diǎn)的局部?jī)?yōu)化，但是大模型時(shí)代我們有望得到全局最優(yōu)。及時(shí)擁抱新的技術(shù)潮流，可能代表的是這個(gè)行業(yè)的未來(lái)?！?/span>
北京智源人工智能研究院健康計(jì)算中心負(fù)責(zé)人葉啟威認(rèn)為AI是一種幫助人類前進(jìn)的工具，大模型就是在此基礎(chǔ)上用一套更好的方式集成大家的共識(shí)，幫助科研工作者發(fā)現(xiàn)一些以前沒(méi)有被發(fā)現(xiàn)的事情，這是我所理解的大模型的哲學(xué)。我們真的希望某種意義上來(lái)說(shuō)，大家能夠把精力、財(cái)力、學(xué)識(shí)都投入到這些真正能夠?qū)τ谖磥?lái) 10 年、20 年乃至 100 年之后對(duì)人類更加有意義的事情上。
最后，AIR蘭艷艷教授對(duì)本次活動(dòng)進(jìn)行總結(jié)發(fā)言，她表示以 GPT 為代表的這樣的大模型與生物醫(yī)藥領(lǐng)域深度交叉創(chuàng)新，有巨大的想象空間，同時(shí)也很高興看到大家對(duì) AI 跟生命科學(xué)交叉研究的關(guān)注，相信通過(guò)學(xué)術(shù)界和產(chǎn)業(yè)界更好地合作，可以共同推動(dòng)AI在生物醫(yī)藥領(lǐng)域產(chǎn)生真正價(jià)值。
點(diǎn)擊觀看活動(dòng)完整視頻
關(guān)于AIR
聯(lián)系客服
