▲虛擬學生華智冰的臉部與聲音等通過人工智能模型生成。
▲華智冰創(chuàng)作的詩畫。
本報訊(記者沈春蕾)“兒童節(jié)日快樂?!?月1日,在2021北京智源大會上,清華大學計算機系教授唐杰在開場白中送出一個祝福給團隊精心打造的“悟道2.0”。他解釋道:“對開發(fā)人員來說,‘悟道2.0’就是一個孩子,智商還不能達到期許的水平,但我們會繼續(xù)努力完善?!?/p>
唐杰稱,“悟道2.0”已經(jīng)實現(xiàn)1.75萬億參數(shù)模型,超過之前谷歌發(fā)布的1.6萬億參數(shù)的語言模型Switch Transformer,成為當前全球最大的預(yù)訓練模型?!拔虻?.0”也將為廣大人工智能開發(fā)者和技術(shù)企業(yè)提供智能底層功能,并形成完善的智能生態(tài)系統(tǒng)。
依托“悟道2.0”,北京智源人工智能研究院、智譜AI與小冰公司聯(lián)合推出一位虛擬學生——華智冰。它可以創(chuàng)作音樂,寫詩作畫。
“‘悟道2.0’從原來的文本為主向圖文并茂發(fā)展,既可以根據(jù)圖像檢索文字,又實現(xiàn)圖像和文字的互相檢索,已經(jīng)可以完成多項任務(wù),包括問答、作詩、配圖、配文、繪圖、測圖?!碧平芡嘎?,“我們在阿里巴巴平臺上做了一些測試,正在把相關(guān)的模型應(yīng)用在服飾設(shè)計的業(yè)務(wù)上。”
“悟道2.0”模型包含文源、文瀾、文溯、文匯,以及知識圖譜。唐杰表示,“悟道2.0”首次在100%的國產(chǎn)超算上訓練了萬億模型,打破原來只能用圖形處理器(GPU)來訓練模型的瓶頸,同時實現(xiàn)了中英雙語在4.9T高質(zhì)量數(shù)據(jù)上運行。
通過把中文數(shù)據(jù)和多模態(tài)數(shù)據(jù)整合在一起,“悟道2.0”實現(xiàn)了千億模型。唐杰指出:“該模型最大的特點是可以實現(xiàn)高效的計算,即在32張微板卡上訓練出千億模型,這是在算法上非常大的一個突破。”
“只有更多的數(shù)據(jù)、更強大的算力,才能做出更優(yōu)美的模型?!碧平芷谂?,“更多感興趣的人士參與其中,讓‘悟道2.0’變成非常實用的框架,研究出更精準的算法,探究模型的智能基點,以實現(xiàn)最大的模型?!?/p>
基于“悟道2.0”的包括華智冰在內(nèi)的一系列應(yīng)用,唐杰希望建立一個“悟道”生態(tài)聯(lián)盟,專注于模型開源、應(yīng)用程序接口(API)開放以及大模型授權(quán)與定制,共建開放社區(qū),賦能產(chǎn)業(yè)創(chuàng)新。
記者獲悉,智譜AI還為虛擬學生華智冰提供了融合知識和數(shù)據(jù)的雙輪驅(qū)動人工智能系統(tǒng),讓她具有一定的認知和推理能力。小冰公司則提供了人工智能完備框架,同時負責聲音、形象的開發(fā)應(yīng)用。
《中國科學報》 (2021-06-03 第3版 信息技術(shù))