近日，上海科技大學(xué)教授王成和團(tuán)隊(duì)，成功構(gòu)建了首例全光深度儲備池計(jì)算機(jī)，解決了儲備池光計(jì)算機(jī)的深度架構(gòu)問題。

這款計(jì)算機(jī)的工作頻率為 20GHz，時(shí)延為 263ns，它可以產(chǎn)生 5000 余個(gè)神經(jīng)元節(jié)點(diǎn)，對應(yīng)的算力為 101TOPS。

（來源：Optica）

這不僅是以全光形式連接儲備池隱藏層的第一例工作，也針對儲備池計(jì)算機(jī)的可解釋性提供了強(qiáng)有力的證據(jù)。

同時(shí)，這款深度儲備池計(jì)算機(jī)通過耦合的激光器，解決了信號均衡的問題，而且大部分信號處理都發(fā)生在光域，故能大大減小計(jì)算的時(shí)延。

通過使用級聯(lián)光注入鎖定的技術(shù)，課題組構(gòu)建了 4 層隱藏層，每個(gè)隱藏層由一個(gè)半導(dǎo)體激光芯片和一個(gè)光學(xué)反饋環(huán)構(gòu)成，其中光學(xué)反饋環(huán)可以產(chǎn)生光學(xué)神經(jīng)元和光學(xué)突觸。

在相關(guān)論文之中，盡管他們只使用了其中 320 個(gè)神經(jīng)元節(jié)點(diǎn)，來處理光纖通信中的非線性信道均衡的任務(wù)，但是依舊取得了非常好的效果。

據(jù)介紹，非線性信道均衡問題是后香農(nóng)時(shí)代的十大數(shù)學(xué)難題之一。在光纖通信領(lǐng)域，學(xué)界和業(yè)界都非常關(guān)注這一問題。

而該團(tuán)隊(duì)所提出的深度儲備池光計(jì)算機(jī)架構(gòu)主要擁有兩大優(yōu)勢：

一是隱藏層之間的連接是全光的，無需任何光電轉(zhuǎn)換和模數(shù)轉(zhuǎn)換的過程，因此具有低能耗和低時(shí)延的優(yōu)勢；

二是該架構(gòu)的可拓展性極好，當(dāng)儲備池深度增加的時(shí)候，也不會減小系統(tǒng)中的光功率，因此可以根據(jù)任務(wù)需要，來構(gòu)建任意深度的儲備池光計(jì)算機(jī)。

多年來，包括 Nature 和 Science 在內(nèi)的期刊報(bào)道了多種光計(jì)算架構(gòu)和實(shí)現(xiàn)方案，可以說光計(jì)算在學(xué)界備受關(guān)注。同時(shí)，投資界也非?？春眠@一領(lǐng)域，目前國內(nèi)外已經(jīng)涌現(xiàn)多家光計(jì)算公司。

當(dāng)前的大部分光計(jì)算產(chǎn)品，旨在解決神經(jīng)網(wǎng)絡(luò)中矩陣運(yùn)算的問題，即替代 GPU 或部分 GPU 的運(yùn)算功能。當(dāng)這類光計(jì)算產(chǎn)品的工作時(shí)，依舊需要在軟件層面實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法。

而對于硬件化的光學(xué)神經(jīng)網(wǎng)絡(luò)來說，它則采用了完全不同的概念。正因此，未來儲備池光計(jì)算機(jī)主要能被用于邊緣計(jì)算。

典型的邊緣計(jì)算場景包括智能制造、機(jī)器人、智慧醫(yī)療、智能交通、智慧家居等。

根據(jù) Gartner 預(yù)測，預(yù)計(jì) 2026 年全球邊緣 AI 芯片市場規(guī)模達(dá)到 688 億美元。相比目前市面上的主流邊緣計(jì)算產(chǎn)品，在同等功耗之下，儲備池光計(jì)算機(jī)的算力高出 1 個(gè)數(shù)量級，時(shí)延則能降低 3 到 4 個(gè)數(shù)量級。

提出真問題，解決真矛盾

對于人工智能來說，人們更多震撼于它的功能之強(qiáng)大。但是，它的發(fā)展離不開“背后三兄弟”的支持：算法、算力和數(shù)據(jù)（即人工智能三要素）。

當(dāng)前最主流的算法是人工神經(jīng)網(wǎng)絡(luò)，常見的人工神經(jīng)網(wǎng)絡(luò)包括全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、以及 Transformer 神經(jīng)網(wǎng)絡(luò)。其中，ChatGPT 所使用的正是 Transformer 神經(jīng)網(wǎng)絡(luò)。

而在循環(huán)神經(jīng)網(wǎng)絡(luò)算法之中，儲備池計(jì)算則是一種特殊的存在。2000 年初，儲備池計(jì)算被正式提出。當(dāng)時(shí)，由于循環(huán)神經(jīng)網(wǎng)絡(luò)普遍存在梯度消失和梯度爆炸的問題，以至于無法對其進(jìn)行訓(xùn)練。

但是，人們發(fā)現(xiàn)對于儲備池計(jì)算架構(gòu)來說，當(dāng)讓它的輸入層和隱藏層的權(quán)重保持隨機(jī)固定的時(shí)候，這時(shí)只需要訓(xùn)練輸出層的權(quán)重，不僅訓(xùn)練成本低，而且訓(xùn)練速度非?？?，能夠很好地解決循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題。

目前，人們主要通過軟件方式，來實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)算法，然后依賴計(jì)算機(jī)提供的算力進(jìn)行數(shù)據(jù)學(xué)習(xí)。然而，隨著大規(guī)模生成式人工智能的發(fā)展，也給包括 GPU、CPU 在內(nèi)的數(shù)字計(jì)算芯片的算力和功耗提出了巨大挑戰(zhàn)。

而對于生物神經(jīng)網(wǎng)絡(luò)來說，它并不需要依賴軟件編程進(jìn)行工作，而且功耗還比較低。那么，能否通過使用某種硬件，來構(gòu)建類似生物神經(jīng)網(wǎng)絡(luò)的物理神經(jīng)元和物理突觸？

基于此，人們提出了硬件神經(jīng)網(wǎng)絡(luò)（即物理神經(jīng)網(wǎng)絡(luò)）的概念。相比數(shù)字化的軟件神經(jīng)網(wǎng)絡(luò)，這種模擬化的硬件神經(jīng)網(wǎng)絡(luò)兼具低功耗和低時(shí)延的優(yōu)勢。

2010 年以后，包括電子和光電子在內(nèi)的諸多領(lǐng)域，關(guān)于儲備池計(jì)算機(jī)始的研究呈現(xiàn)出長盛不衰的趨勢。當(dāng)時(shí)，基于各種器件的儲備池計(jì)算機(jī)成果層出不窮，其中的主流器件主要有憶阻器、自旋電子器件、量子器件、以及半導(dǎo)體激光器。

相比儲備池電計(jì)算機(jī)，儲備池光計(jì)算機(jī)的最大優(yōu)勢在于速度快、時(shí)延低、能效比高。但是，目前為止大部分儲備池計(jì)算機(jī)僅僅具有單層架構(gòu)。

然而，根據(jù)深度學(xué)習(xí)理論可知，只有當(dāng)儲備池計(jì)算機(jī)具備深層架構(gòu)的時(shí)候，才能將其用于處理現(xiàn)實(shí)場景中的復(fù)雜任務(wù)。

和其他光計(jì)算架構(gòu)不同的是，儲備池光計(jì)算的理解相對比較困難。從事這類課題的時(shí)候，必須具備半導(dǎo)體激光器、非線性動力學(xué)和深度學(xué)習(xí)方面的背景知識，并且三者缺一不可。而在過去王成在這三方面尤其是在半導(dǎo)體激光器研究上，已經(jīng)積累了不少經(jīng)驗(yàn)。

一個(gè)暑假學(xué)完深度學(xué)習(xí)經(jīng)典教材

王成表示，2013 年當(dāng)自己還在法國國立應(yīng)用科學(xué)學(xué)院讀博時(shí)，他在一場學(xué)術(shù)會議上第一次聽說了儲備池光計(jì)算的概念。

但在當(dāng)時(shí)由于自己缺少人工智能的背景知識，他幾乎完全聽不懂報(bào)告人在講什么。后續(xù)，當(dāng)他參加其他學(xué)術(shù)會議的時(shí)候，聽到了越來越多的儲備池光計(jì)算報(bào)告。

2018 年，王成已經(jīng)入職上?？萍即髮W(xué)。那一年，他在香港參加一次學(xué)術(shù)會議，與一位來自法國的學(xué)者深入討論了這樣一個(gè)問題：要不要從事儲備池光計(jì)算的研究？

“當(dāng)時(shí)他給我的建議是這個(gè)領(lǐng)域的研究周期很長，非常不利于論文的發(fā)表。而我是 2019 年暑假才下定決心研究儲備池光計(jì)算。當(dāng)時(shí)，我用了一整個(gè)暑假學(xué)習(xí)‘GANs 之父’Ian Goodfellow 經(jīng)典教材 Deep Learning。”王成說。

他繼續(xù)說道：“2019 年 9 月開學(xué)時(shí)，一位非常聰明的推免生湯佳燕加入我的課題組，開始了本次課題的研究。此前她主要研究通信，但是她的學(xué)習(xí)能力很強(qiáng)，很快補(bǔ)上了所需要的全部背景知識，同時(shí)她的理論建模能力和實(shí)驗(yàn)操作能力也很強(qiáng)?！?/span>

而找出“真”問題并提出主要矛盾，是王成和團(tuán)隊(duì)在研究伊始立下的心志。他表示：“解決真問題的研究才是有價(jià)值的研究，同時(shí)這個(gè)問題必須是當(dāng)前儲備池計(jì)算發(fā)展面臨的主要矛盾，只有這樣投入精力去解決它才有意義?！?/span>

“實(shí)際上提出問題和解決問題，是一個(gè)從簡單到復(fù)雜的過程。在我們解決儲備池計(jì)算機(jī)的深度問題之前，我們首先解決了異步的問題，然后解決了并行的問題，且都對應(yīng)產(chǎn)出了相應(yīng)的學(xué)術(shù)論文?！彼a(bǔ)充稱。

圖 | 王成（來源：王成）

而在前不久，關(guān)于本次研究的論文以《深度光子池計(jì)算循環(huán)網(wǎng)絡(luò)》（Deep photonic reservoir computing recurrent network）為題發(fā)在 Optica（IF 10.4）。

上海科技大學(xué)碩士生申祎瑋是第一作者，博士生李睿潛和碩士生劉冠廷分別是第二作者和第三作者，王成教授擔(dān)任通訊作者。

圖 | 相關(guān)論文（來源：Optica）

“另外，我想特別感謝我的同事何旭明教授和虞晶怡教授，他們是人工智能領(lǐng)域的資深專家，在人工神經(jīng)網(wǎng)絡(luò)上給我們提供了很多指導(dǎo)。我們也已經(jīng)聯(lián)合培養(yǎng)了數(shù)位學(xué)生，如果沒有他們一起合作的話，我們也不可能快速推進(jìn)儲備池光計(jì)算機(jī)方面的工作?！蓖醭杀硎?。

而在未來，他和團(tuán)隊(duì)也將再接再厲爭取實(shí)現(xiàn)儲備池光計(jì)算機(jī)的小型化以及集成化，同時(shí)拓展儲備池光計(jì)算機(jī)的應(yīng)用場景?！胺浅g迎有應(yīng)用需求的朋友與我們聯(lián)系，一起共同開展研究工作。”其表示。

參考資料：

1.Shen, Y. W., Li, R. Q., Liu, G. T., Yu, J., He, X., Yi, L., & Wang, C. (2023). Deep photonic reservoir computing recurrent network.Optica, 10(12), 1745-1751.

排版：朵克斯