英研究團(tuán)隊(duì)研發(fā)非神經(jīng)網(wǎng)絡(luò)硬件降低人工智能功耗

2020-07-28 16:38

日前，英國紐卡斯?fàn)柎髮W(xué)的研究人員研發(fā)出一種非神經(jīng)網(wǎng)絡(luò)硬件，可以顯著降低人工智能的功率消耗。

研發(fā)團(tuán)隊(duì)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，讓它和另一項(xiàng)Tsetlin機(jī)器技術(shù)，分別從標(biāo)準(zhǔn)MNIST數(shù)據(jù)集識別手寫數(shù)字。

紐卡斯?fàn)柎髮W(xué)高級講師Rishad Shafik表示：“即開即用的神經(jīng)網(wǎng)絡(luò)讓我們每焦耳可以進(jìn)行不到10萬億次操作。而使用我們設(shè)計(jì)的第一臺(tái)Tsetlin機(jī)器，這個(gè)數(shù)值能達(dá)到65萬億次。這種改進(jìn)主要來自于簡化過的邏輯設(shè)計(jì)。”

他補(bǔ)充說，在上述數(shù)字識別實(shí)驗(yàn)中時(shí)，一臺(tái)Tsetlin機(jī)器“可以識別15個(gè)單詞，與神經(jīng)網(wǎng)絡(luò)識別一個(gè)單詞所需的能量消耗相同”。

Tsetlin機(jī)器是一種“學(xué)習(xí)自動(dòng)機(jī)”（learning automata），它最早是由俄羅斯科學(xué)家Mikhail Tsetlin在20世紀(jì)60年代發(fā)明的一種機(jī)器學(xué)習(xí)算法。Shafik解釋說，這種算法的問題在于，在其基本形式中，“學(xué)習(xí)自動(dòng)機(jī)幾乎不可能在硬件上實(shí)現(xiàn)，因?yàn)橛写罅康臓顟B(tài)需要去適應(yīng)”。

挪威阿格德大學(xué)的AI教授Ole－Christoffer Granmo說，在過去的幾年里，他通過將學(xué)習(xí)自動(dòng)機(jī)與經(jīng)典的博弈論和布爾代數(shù)相結(jié)合，找到了一種降低學(xué)習(xí)自動(dòng)機(jī)復(fù)雜性的方法。他將簡化版的學(xué)習(xí)自動(dòng)機(jī)應(yīng)用到軟件中，并以該學(xué)科創(chuàng)始人的名字將其命名為“Tsetlin機(jī)器”（Tsetlin machine）。

在Granmo的研究基礎(chǔ)以及他本人的協(xié)助下，紐卡斯?fàn)枅F(tuán)隊(duì)找到了一種能夠有效地將Tsetlin機(jī)器的數(shù)據(jù)類型和基礎(chǔ)算法映射到邏輯門上的方法，并在FPGA和定制ASIC上成功實(shí)現(xiàn)，他們采用的的形式不僅適用于訓(xùn)練/學(xué)習(xí)AI階段，同時(shí)也適用于訓(xùn)練之后，也就是所謂的AI推理階段。

Shafik將Tsetlin機(jī)器和神經(jīng)網(wǎng)絡(luò)之間的功耗差別歸結(jié)于它們映射到硬件上的方式：神經(jīng)網(wǎng)絡(luò)，包括二值神經(jīng)網(wǎng)絡(luò)在內(nèi)，都是算術(shù)，它們包含了許多乘法和加法操作，而Tsetlin機(jī)器硬件不使用算術(shù)。他表示：“這純粹是邏輯上的平行操作。”

紐卡斯?fàn)栁⑾到y(tǒng)研究小組組長Alex Yakovlev，同時(shí)也和Shafik一樣是AI團(tuán)隊(duì)的領(lǐng)導(dǎo)者，他表示：“能量效率是人工智能最重要的賦能因素，同樣重要的是能夠解釋AI決策的能力。對于這兩方面，我們需要擺脫算術(shù)，而我們的Tsetlin機(jī)器硬件設(shè)計(jì)正好幫我們解決了這一問題。”

這樣的機(jī)器能做什么？“任何類型的機(jī)器學(xué)習(xí)都需要訓(xùn)練。”Shafik說道，“本質(zhì)上，它能夠做神經(jīng)網(wǎng)絡(luò)可以做的任何事情。”