來(lái)源:MIT
編輯:張佳
【新智元導(dǎo)讀】MIT的研究人員開(kāi)發(fā)出一種新型 “光子” 芯片,它使用光而不是電,并且在此過(guò)程中消耗相對(duì)較少的功率。該芯片用于處理大規(guī)模神經(jīng)網(wǎng)絡(luò)的效率比現(xiàn)有的計(jì)算機(jī)高出數(shù)百萬(wàn)倍。模擬結(jié)果表明,光子芯片運(yùn)行光神經(jīng)網(wǎng)絡(luò)的效率是其電子芯片的1000萬(wàn)倍。
神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)模型,廣泛用于機(jī)器人目標(biāo)識(shí)別、自然語(yǔ)言處理、藥物開(kāi)發(fā)、醫(yī)學(xué)成像和驅(qū)動(dòng)無(wú)人駕駛汽車(chē)等任務(wù)。使用光學(xué)現(xiàn)象加速計(jì)算的新型光學(xué)神經(jīng)網(wǎng)絡(luò)可以比其他電子對(duì)應(yīng)物更快、更有效地運(yùn)行。
但隨著傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和光學(xué)神經(jīng)網(wǎng)絡(luò)越來(lái)越復(fù)雜,它們消耗了大量的能量。為了解決這個(gè)問(wèn)題,研究人員和包括谷歌、IBM和特斯拉在內(nèi)的主要科技公司開(kāi)發(fā)了“人工智能加速器”,這是一種專(zhuān)門(mén)的芯片,可以提高培訓(xùn)和測(cè)試神經(jīng)網(wǎng)絡(luò)的速度和效率。
對(duì)于電子芯片,包括大多數(shù)人工智能加速器,有一個(gè)理論上的最低能耗限制。最近,MIT的研究人員開(kāi)始為光神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)光子加速器。這些芯片執(zhí)行數(shù)量級(jí)的效率更高,但它們依賴于一些體積龐大的光學(xué)元件,這些元件限制了它們?cè)谙鄬?duì)較小的神經(jīng)網(wǎng)絡(luò)中的使用。
在《物理評(píng)論X》上發(fā)表的一篇論文中,MIT的研究人員描述了一種新型光子加速器,它使用更緊湊的光學(xué)元件和光信號(hào)處理技術(shù),以大幅降低功耗和芯片面積。這使得芯片可以擴(kuò)展到神經(jīng)網(wǎng)絡(luò),比對(duì)應(yīng)的芯片大幾個(gè)數(shù)量級(jí)。
比傳統(tǒng)電子加速器的能耗極限低1000萬(wàn)倍以上
神經(jīng)網(wǎng)絡(luò)在MNIST圖像分類(lèi)數(shù)據(jù)集上的模擬訓(xùn)練表明,加速器理論上可以處理神經(jīng)網(wǎng)絡(luò),比傳統(tǒng)電子加速器的能耗極限低1000萬(wàn)倍以上,比光子加速器的能耗極限低1000倍左右。研究人員現(xiàn)在正在研制一種原型芯片來(lái)實(shí)驗(yàn)證明這一結(jié)果。
“人們正在尋找一種能夠計(jì)算出超出基本能耗極限的技術(shù),”電子研究實(shí)驗(yàn)室的博士后Ryan Hamerly說(shuō):“光子加速器是很有前途的……但我們的動(dòng)機(jī)是建造一個(gè)(光子加速器)可以擴(kuò)展到大型神經(jīng)網(wǎng)絡(luò)?!?
這些技術(shù)的實(shí)際應(yīng)用包括降低數(shù)據(jù)中心的能耗?!皩?duì)于運(yùn)行大型神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中心的需求越來(lái)越大,而且隨著需求的增長(zhǎng),它越來(lái)越難以計(jì)算,”合著者、電子研究實(shí)驗(yàn)室的研究生Alexander Sludds說(shuō),其目的是“利用神經(jīng)網(wǎng)絡(luò)硬件滿足計(jì)算需求……以解決能源消耗和延遲的瓶頸”。
與Sludds和Hamerly合寫(xiě)該論文的有:RLE研究生、聯(lián)合作者Liane Bernstein;麻省理工學(xué)院物理教授Marin Soljacic;一名麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)副教授Dirk Englund;一名RLE的研究員,以及量子光子學(xué)實(shí)驗(yàn)室的負(fù)責(zé)人。
依賴于一種更緊湊、節(jié)能的“光電”方案
神經(jīng)網(wǎng)絡(luò)通過(guò)許多包含互聯(lián)節(jié)點(diǎn)(稱(chēng)為“神經(jīng)元”)的計(jì)算層來(lái)處理數(shù)據(jù),從而在數(shù)據(jù)中找到模式。神經(jīng)元接收來(lái)自其上游“鄰居”的輸入,并計(jì)算一個(gè)輸出信號(hào),該信號(hào)被發(fā)送到下游更遠(yuǎn)的神經(jīng)元。每個(gè)輸入也被分配一個(gè)“權(quán)重”,一個(gè)基于其對(duì)所有其他輸入的相對(duì)重要性的值。隨著數(shù)據(jù)在各層中“深入”傳播,網(wǎng)絡(luò)逐漸學(xué)習(xí)更復(fù)雜的信息。最后,輸出層根據(jù)整個(gè)層的計(jì)算生成預(yù)測(cè)。
所有人工智能加速器的目標(biāo)都是減少在神經(jīng)網(wǎng)絡(luò)中的特定線性代數(shù)步驟(稱(chēng)為“矩陣乘法”)中處理和移動(dòng)數(shù)據(jù)所需的能量。在那里,神經(jīng)元和權(quán)重被編碼成單獨(dú)的行和列表,然后結(jié)合起來(lái)計(jì)算輸出。
在傳統(tǒng)的光子加速器中,脈沖激光編碼了一個(gè)層中每個(gè)神經(jīng)元的信息,然后流入波導(dǎo)并通過(guò)分束器。產(chǎn)生的光信號(hào)被送入一個(gè)稱(chēng)為“Mach-Zehnder 干涉儀”的正方形光學(xué)元件網(wǎng)格中,該網(wǎng)格被編程為執(zhí)行矩陣乘法。干涉儀用每個(gè)重量的信息進(jìn)行編碼,使用處理光信號(hào)和重量值的信號(hào)干擾技術(shù)來(lái)計(jì)算每個(gè)神經(jīng)元的輸出。但是有一個(gè)縮放問(wèn)題:對(duì)于每個(gè)神經(jīng)元,必須有一個(gè)波導(dǎo)管,對(duì)于每個(gè)重量,必須有一個(gè)干涉儀。由于重量的數(shù)量與神經(jīng)元的數(shù)量成正比,那些干涉儀占用了大量的空間。
“你很快就會(huì)意識(shí)到輸入神經(jīng)元的數(shù)量永遠(yuǎn)不會(huì)超過(guò)100個(gè)左右,因?yàn)槟悴荒茉谛酒习惭b那么多的元件,”Hamerly說(shuō),“如果你的光子加速器不能每層處理100個(gè)以上的神經(jīng)元,那么很難將大型神經(jīng)網(wǎng)絡(luò)應(yīng)用到這種結(jié)構(gòu)中?!?
研究人員的芯片依賴于一種更緊湊、節(jié)能的“光電”方案,該方案利用光信號(hào)對(duì)數(shù)據(jù)進(jìn)行編碼,但使用“平衡零差檢測(cè)”進(jìn)行矩陣乘法。這是一種在計(jì)算兩個(gè)光信號(hào)的振幅(波高)的乘積后產(chǎn)生可測(cè)量電信號(hào)的技術(shù)。
光脈沖編碼的信息輸入和輸出神經(jīng)元的每個(gè)神經(jīng)網(wǎng)絡(luò)層——用來(lái)訓(xùn)練網(wǎng)絡(luò)——通過(guò)一個(gè)單一的通道流動(dòng)。用矩陣乘法表中整行權(quán)重信息編碼的單獨(dú)脈沖通過(guò)單獨(dú)的通道流動(dòng)。將神經(jīng)元和重量數(shù)據(jù)傳送到零差光電探測(cè)器網(wǎng)格的光信號(hào)。光電探測(cè)器利用信號(hào)的振幅來(lái)計(jì)算每個(gè)神經(jīng)元的輸出值。每個(gè)檢測(cè)器將每個(gè)神經(jīng)元的電輸出信號(hào)輸入一個(gè)調(diào)制器,該調(diào)制器將信號(hào)轉(zhuǎn)換回光脈沖。光信號(hào)成為下一層的輸入,以此類(lèi)推。
這種設(shè)計(jì)只需要每個(gè)輸入和輸出神經(jīng)元一個(gè)通道,并且只需要和神經(jīng)元一樣多的零差光電探測(cè)器,而不需要重量。因?yàn)樯窠?jīng)元的數(shù)量總是遠(yuǎn)遠(yuǎn)少于重量,這就節(jié)省了大量的空間,所以芯片能夠擴(kuò)展到每層神經(jīng)元數(shù)量超過(guò)一百萬(wàn)的神經(jīng)網(wǎng)絡(luò)。
找到最佳位置
有了光子加速器,信號(hào)中會(huì)有不可避免的噪聲。注入芯片的光線越多,噪音越小,精確度也越高——但這會(huì)變得非常低效。輸入光越少,效率越高,但會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的性能產(chǎn)生負(fù)面影響。但是有一個(gè)“最佳點(diǎn)”,Bernstein說(shuō),它在保持準(zhǔn)確度的同時(shí)使用最小的光功率。
人工智能加速器的最佳位置是以執(zhí)行一次兩個(gè)數(shù)相乘的單一操作(如矩陣相乘)需要多少焦耳來(lái)衡量的?,F(xiàn)在,傳統(tǒng)的加速器是用皮焦(picojoules)或萬(wàn)億焦耳(joule)來(lái)測(cè)量的。光子加速器以attojoules測(cè)量,效率高出一百萬(wàn)倍。
在模擬中,研究人員發(fā)現(xiàn)他們的光子加速器可以以低于attojoules的效率運(yùn)行。 “在失去準(zhǔn)確性之前,你可以發(fā)送一些最小的光功率。我們的芯片的基本限制比傳統(tǒng)的加速器低得多......并且低于其他光子加速器,”Bernstein表示。
轉(zhuǎn)載請(qǐng)注明出處。