作者：Ryan Hamerly；來源：IEEE Spectrum；編譯：昕甬智測實驗室

說到人工智能，你會想到什么呢？圖像識別、語音識別、語言翻譯、醫療診斷和自動駕駛？這些任務在不久以前仍然依靠人類大腦，現在大多可以由計算機完成。

圖一 如今，復雜的人臉識別已經可以由人工智能完成 | Pixabay

促成這些驚人發展的技術稱為深度學習（deep learning），指的是被稱為“人工神經網絡（artificial neural network）"的數學模型。 深度學習是機器學習的一個子領域，其概念是將復雜模型與數據擬合。

雖然機器學習已經存在了很長時間，但由于對計算能力有更高的要求，深度學習的發展較為緩慢。這促使工程師開發專門針對深度學習的電子硬件加速器，張量處理單元（Tensor Processing Unit, TPU）就是一例。

神經網絡計算的需求與挑戰

首先，我們先來大致了解一下神經網絡計算。人工神經元是使用在某種數字電子計算機上運行的特殊軟件構建的。該軟件為給定的神經元提供多個輸入和一個輸出。每個神經元的狀態取決于其輸入的加權和，而這些輸入是由非線性函數（稱為激活函數）決定的。然后這個神經元的輸出再成為各種其他神經元的輸入。

圖二 實現深度學習的神經網絡計算 

為了計算效率，這些神經元被分組到層中，神經元只連接到相鄰層的神經元。這些運算仰賴大量的線性代數計算（矩陣乘法），并且數學技巧的以被應用來加速計算。隨著網絡規模的增長，這些計算是深度學習中計算要求最高的部分。

現代計算機硬件已經針對矩陣運算進行了很好的優化。我們可以將深度學習的相關矩陣計算歸結為大量的乘法和加法運算，就是將成對的數字相乘并將它們的乘積相加。過去二十多年來，深度學習需要越來越多的乘法累加運算，計算機的性能也基本遵循摩爾定律大幅增長。然而，隨著半導體工藝發展到臨近極限，摩爾定律已經失去動力，繼續保持成長趨勢是一個極大的挑戰。

并且，訓練當今的大型神經網絡通常會產生顯著的環境影響。例如，2019 年的一項研究發現，訓練某個深度神經網絡進行自然語言處理所產生的二氧化碳排放量，是一輛汽車在其“使用壽命"內產生的二氧化碳排放量的五倍。

圖三 深度神經網絡計算造成的碳排放不容小覷

光學可以解決問題嗎？

數字電子計算機的改進使深度學習得以蓬勃發展。但這并不意味著進行神經網絡計算的方法就是使用此類機器。幾十年前，當數字計算機還相對原始時，一些工程師使用模擬計算機來解決困難的計算。隨著數字電子技術的改進，那些模擬計算機被淘汰了。但現在可能是再次采用該策略的時候了，特別是當模擬計算可以通過光學方式完成時。

光纖可以支持比電線高得多的數據速率。如今光數據鏈路取代了銅線，光數據通信速度更快，功耗更低。

圖四 光纖通信速度快，功耗低

光學計算具備同樣的優勢。但是通信數據和計算之間有很大的區別。這就是模擬光學方法遇到障礙的地方。傳統計算機基于晶體管，晶體管是非線性的電路元件——它們的輸出不僅與輸入成正比，其非線性特性可以決定什么時候讓晶體管打開和關閉，因此被塑造成邏輯門。但是光子遵循麥克斯韋方程，因此光學設備的輸出通常與其輸入成正比。

利用光學來做線性代數

為了說明如何做到這一點，我將在這里描述一個光子設備，當它與一些簡單的模擬電子設備耦合時，可以將兩個矩陣相乘。我和我的麻省理工學院同事發表了一篇相關的論文，我們現在正在努力構建這樣一個光學矩陣乘法器。

圖五 麻省理工學院提出的光學矩陣乘法器

該設備中的基本計算單元是一個分束器（BS，beam splitter）。從側面向其中發送一束光，分束器將允許一半光直接穿過它，而另一半則從有角度的鏡子反射，使其與入射光束成90度反彈.

現在將第二束光垂直于第一束光照射到該分束器中，使其照射到鏡子的另一側。該第二光束的一半將類似地以90度角透射和反射。兩個輸出光束將與第一個光束的兩個輸出組合。所以這個分束器BS有兩個輸入和兩個輸出。

要使用此設備進行矩陣乘法，需要生成兩個光束，其電場強度x和y與要相乘的兩個數字成正比。將這兩束光照射到分束器中產生兩個輸出，其電場值為 (x + y)/√2 和 (x ? y)/√2。

然后我們還需要兩個簡單的電子元件——光電探測器——來測量兩個輸出光束。他們測量光束的功率，該功率與其電場強度的平方成正比。你會得到 (x2 + 2xy + y2)/2 和 (x2 ? 2xy + y2)/2 ，相減后得到 2xy ，是一個與兩個數字的乘積成正比的信號。由此，我們可以構建一個輸出信號與兩個輸入信號乘積成正比的光學計算單元。

光學計算如何節省能耗？

上述實驗中的光束并不需要保持穩定。事實上，兩個輸入可以為脈沖光束，并且我們可以將輸出信號饋送到電容器中，然后只要輸入脈沖持續，電容就會積累電荷。這樣的操作便實現了乘法累加運算。

以這種方式使用脈沖光可以快速順序執行許多此類操作。其中最耗能的部分是讀取該電容器上的電壓，這需要一個模數轉換器。但是你不必在每個脈沖之后都這樣做——你可以等到一系列的結束，比如 N 個脈沖。這意味著該設備可以使用相同的能量執行 N 次乘法累加運算，以讀取 N 是小還是大的答案。這里，N 對應于神經網絡中每層的神經元數量，很容易達到數千個。所以這個策略消耗的能量很少。

我們也可以考慮在輸入端節省能源。這是因為相同的值經常被用作多個神經元的輸入。與其將這個數字多次轉換為光——每次都消耗能量——它可以只轉換一次，產生的光束可以分成許多通道。通過這種方式，輸入轉換的能源成本可以在許多操作中分攤。

其他光學計算相關工作

將一束光束分成多個通道不需要比透鏡更復雜的事情，但將透鏡放在芯片上可能很棘手。因此，我們正在開發的以光學方式執行神經網絡計算的設備，很可能最終成為一種混合體，它將高度集成的光子芯片與單獨的光學元件結合在一起。

我在這里概述了麻省理工一直在追求的策略，但還有其他類似的工作。另一個很有前景的方案是基于一種叫做馬赫-曾德干涉儀（MZ干涉儀）的東西，它結合了兩個分束器和兩個全反射鏡。它也可用于以光學方式進行矩陣乘法。兩家麻省理工學院的初創公司 Lightmatter 和 Lightelligence 正在開發基于這種方法的光學神經網絡加速器。 Lightmatter 已經構建了一個原型，該原型使用其制造的光學芯片。該公司預計將在今年晚些時候開始銷售使用該芯片的光加速器板。

另一家使用光學進行計算的初創公司是 Optalysis，它希望復興一個相當古老的概念。早在 1960 年代，光學計算的*用途之一就是處理合成孔徑雷達（synthetic-aperture radar）數據。挑戰的一個關鍵部分是將稱為傅立葉變換的數學運算應用于測量數據。當時的數字計算機一直在努力解決這些問題。即使是現在，將傅立葉變換應用于大量數據也可能是計算密集型的。但是傅立葉變換可以在光學上進行，只需要一個鏡頭，這就是多年來工程師處理合成孔徑數據的方式。Optalysis 希望將這種方法更新并更廣泛地應用。

還有一家名為 Luminous 的公司，是從普林斯頓大學分拆出來的，該公司正致力于創建基于激光神經元的尖峰（spiking）神經網絡。尖峰神經網絡更接近地模仿生物神經網絡的工作方式，并且像我們自己的大腦一樣，能夠使用很少的能量進行計算。 Luminous 的硬件仍處于開發的早期階段，但結合兩種節能方法（尖峰和光學）的承諾非常令人興奮。

光學計算的現實挑戰

當然，仍有許多技術挑戰需要克服。一是提高模擬光學計算的精度和動態范圍，這遠不及數字電子設備所能達到的效果。這是因為這些光學處理器受到各種噪聲源的影響，而且用于輸入和輸出數據的數模轉換器和模數轉換器精度有限。事實上，很難想象一個光學神經網絡的運行精度超過 8 到 10 位。雖然存在 8 位電子深度學習硬件就是一個很好的例子），但這個行業需要更高的精度，尤其是神經網絡訓練。

將光學元件集成到芯片上也存在困難。由于這些組件的尺寸為數十微米，因此無法像晶體管一樣緊密地封裝，因此所需的芯片面積會迅速增加。麻省理工學院研究人員在 2017 年對這種方法的演示實現在一個邊長為 1.5 毫米的芯片上，即使是最大的芯片也不大于幾平方厘米，這限制了可以通過這種方式并行處理的矩陣大小。

圖六 這張計算機渲染圖為作者和他的同事為使用光執行神經網絡計算而設計的光子芯片上的圖案

光子具有將深度學習加速幾個數量級的潛力

光子學研究人員傾向于在計算機架構方面解決許多其他問題。但很清楚的是，至少在理論上，光子學有可能將深度學習加速幾個數量級。

基于當前可用于各種組件（光調制器、檢測器、放大器、模數轉換器）的技術，可以合理地認為神經網絡計算的能源效率可以比當今的電子處理器高 1,000 倍。如果對新興光學技術做出更激進的假設，這個因素可能高達一百萬。而且由于電子處理器功率有限，這些能源效率的改進很可能會轉化為相應的速度改進。

模擬光學計算中的許多概念已有數十年歷史。有些甚至早于硅計算機。 1970 年代展示了光學矩陣乘法，甚至是光學神經網絡的方案。但這種方法并沒有流行起來。這次會有所不同嗎？可能，出于三個原因。首先，深度學習現在真正有用，而不僅僅是學術上的好奇。其次，我們不能僅僅依靠摩爾定律來繼續改進電子產品。最后，我們有了前幾代人沒有的新技術：集成光子學。這些因素表明，光神經網絡這次將真正到來——而且這種計算的未來可能確實是光子的。

作者：

Ryan Hamerly 是 NTT Research 的高級科學家，也是麻省理工學院量子光子學實驗室的訪問科學家。

譯者：

昕甬智測實驗室隸屬于寧波海爾新光電科技有限公司，專注于中遠紅外激光光譜檢測技術（QCL/ICL+TDLAS），致力推動激光光譜技術的產業化應用，以激光之精，見世界之美。