北京時間4月5日上午消息，據(jù)報道，當(dāng)?shù)貢r間周二，Alphabet旗下谷歌披露其訓(xùn)練人工智能模型使用的超級計算機(jī)的最新細(xì)節(jié)。該公司表示，這些系統(tǒng)的速度和能耗效率均高于英偉達(dá)的同類系統(tǒng)。

　　谷歌擁有自主定制的TPU芯片，其90%以上的人工智能訓(xùn)練任務(wù)都通過這些芯片完成。人工智能訓(xùn)練指的是為模型投喂數(shù)據(jù)，使之可以具備類似人類的文本聊天和圖片生成能力。

　　谷歌TPU目前已經(jīng)是第四代產(chǎn)品。該公司周二發(fā)布了一篇論文，詳細(xì)闡述了該公司如何利用自己定制的光開關(guān)將4000多個芯片組合到一臺超級計算機(jī)中，從而將一臺臺的獨立機(jī)器連接在一起。

　　改善這些連接的效果已經(jīng)成為科技公司開發(fā)人工智能超級計算機(jī)時的重要競爭點，這是因為谷歌Bard和OpenAI的ChatGPT使用的大語言模型規(guī)模急劇擴(kuò)大，無法使用單一芯片完成。

　　這些模型必須分配到數(shù)千個芯片上運(yùn)行，由這些芯片共同協(xié)作數(shù)周甚至更長時間來訓(xùn)練模型。PaLM是谷歌迄今為止公開披露的規(guī)模最大的語言模型，該模型需要分配到兩臺各包含4000個芯片的超級計算機(jī)中，耗時50多天進(jìn)行訓(xùn)練。

　　谷歌表示，該公司的超級計算機(jī)使之可以在運(yùn)行過程中輕松對芯片間的連接進(jìn)行重新配置，有助于避免問題和調(diào)整性能。

　　“電路切換可以輕松繞過故障組件。”谷歌院士諾姆·喬皮(Norm Jouppi)和谷歌杰出工程師大衛(wèi)·帕特森(David Patterson)在博文中寫道，“這種靈活性甚至可以讓我們改變超級計算機(jī)的互聯(lián)拓?fù)錂C(jī)構(gòu)，從而加快機(jī)器學(xué)習(xí)模型的性能。”

　　雖然谷歌現(xiàn)在才剛剛公布其超級計算機(jī)的技術(shù)細(xì)節(jié)，但這套系統(tǒng)2020年就已經(jīng)應(yīng)用到該公司位于奧克拉荷馬州的數(shù)據(jù)中心。谷歌表示，創(chuàng)業(yè)公司Midjourney使用該系統(tǒng)訓(xùn)練其模型，他們開發(fā)的工具只需要簡單的文本就可以生成全新的圖像。

　　谷歌在論文中表示，與第四代TPU同期上市的英偉達(dá)A100芯片相比，該公司的芯片速度達(dá)到A100的1.7倍，能耗效率達(dá)到A100的1.9倍。

　　英偉達(dá)發(fā)言人拒絕對此置評。

　　谷歌表示，他們并沒有將第四代TPU與英偉達(dá)現(xiàn)有的H100旗艦芯片進(jìn)行對比，這是因為后者發(fā)布時間較晚，而且采用了更新的技術(shù)。

　　谷歌暗示，他們可能正在開發(fā)能夠與英偉達(dá)H100抗衡的新一代TPU，但并未披露細(xì)節(jié)信息。喬皮接受采訪時表示，谷歌擁有“未來芯片的健康管線”。