據多家外媒8月19日報道,美國AI晶片初創公司Cerebras Systems推出了有史以來最大的晶片,這款名為“The Cerebras Wafer Scale Engine”的晶片(下文稱 WSE)有1.2萬億個電晶體。
在晶片歷史上,1971 年,英特爾的第一個 4004 處理器只有 2300 個電晶體,而最近的一個高級微設備處理器也只有 320 億個電晶體。三星也曾製造過一款擁有 2 萬億個電晶體的閃存晶片( eUFS 晶片),但是不適用於 AI 計算。
數據顯示,這個 42,225 平方毫米的晶片,有著 400,000 個核,這些核心通過一個細粒度、全硬體的片內網狀連接的通信網絡連接在一起,提供每秒 100 PB 的總帶寬。更多的核心、更多的本地記憶體和低延遲的高帶寬結構,創建了加速人工智慧工作的最佳架構。WSE 比最大的 GPU 還要大 56.7 倍,擁有 18 GB 的 on-chip sram。
事實上,現在的大多數晶片是在 12 英寸矽片基礎上製作的多晶片集成。但 Cerebras Systems 公司的這款晶片是電晶體在單晶矽圓片上製作互相連接的獨立晶片。其互相連接的設計,可以讓所有的電晶體都能如一個整體一般高速運轉。
通俗地解釋,這款產品完全就是電腦中的學霸,比計算能力和存儲帶寬,不好意思,人家的級別還是新詞匯——拍位元組(Petabytes,1PB=1024TB=10^6GB=2^50bit),速度大約是如今英偉達公司最大的圖形處理器(GPU,浮點運算能力很強,常用於 AI 相關研究)的 3000 倍,存儲帶寬則是 1000 倍。
如此強大的能力來源於其片上的 1.2 萬億個電晶體,要知道 1971 年 Intel 的 4004 處理器才有 2300 個電晶體,按照摩爾定律來推算:“每 18 個月,晶片上電晶體數目翻倍”,到今年應該剛好 1 萬億個電晶體,多一個電晶體,能實現的計算能力就增加一分。其次,其晶片架構設計和晶片互聯及通信方案也是十分超前的,使得 1.2 萬億個電晶體之間的協同十分同步,延遲達納秒(nanosecond)級,運行時,這 1.2 萬億個電晶體就像一個電晶體一樣同步。
在人工智慧領域,晶片的大小非常重要。因為大型晶片處理資訊的速度更快,產生答案的時間更短。減少觀察的時間,或“訓練時間”,可以讓研究人員測試更多的想法、使用更多的數據,並解決新的問題。穀歌、Facebook、OpenAI、騰訊、百度,以及其他許多公司都認為,如今人工智慧發展的根本局限在於,訓練模型的時間太長。因此,減少訓練時間將消除整個行業進步的一個主要瓶頸。
當然,晶片製造商通常不生產大型晶片也是有原因的。在單個晶圓片上,製造過程中通常會出現一些雜質。一點雜質就可以導致晶片故障,嚴重的甚至會擊穿幾個晶片。如果單個晶圓片上只製作一個晶片,那麼它含有雜質的可能性是 100%,雜質肯定會使晶片失效。但是 Cerebras Systems 的晶片設計是留有裕量的,能夠保證一個或者少量雜質不會使整個晶片失效。
Cerebras Systems 公司 CEO Feldman 在一份聲明中說,“公司的 WSE 晶片專為人工智能而設計,包含基本的創新,解決了限制晶片尺寸幾十年的技術挑戰,如 十字交叉連接、良率、功率輸出和封裝。每一個架構決策都是為了優化人工智慧工作的性能。其結果是,WSE 晶片在功耗和空間很小的情況下,根據工作負載提供了現有解決方案數百或數千倍的性能。”
這些性能的提高是通過加速神經網路訓練的所有要素來實現的。神經網路是一個多級計算回饋回路。輸入通過迴圈回路的速度越快,回路學習或“訓練”的速度就越快。讓輸入更快地通過迴圈的方法是加快迴圈內的計算和通信的速度。
在通信架構上,由於在 WSE 上使用了中繼處理器,集群通信的架構突破了傳統通信技術中部分功率消耗而導致的帶寬和延時的問題。通過使用二維陣列結構將 400,000 個基於 WSE 的處理器連接在一起,集群架構實現了低延時以及高帶寬的特性,其總體帶寬可以高達每秒 100 拍位元組(1017 位元組/每秒)。即使沒有安裝任何的額外軟體,這樣的集群結構也可以支持全局資訊處理,並由相應的處理器對所接收到的資訊進行處理。
對於這款產品,量產和散熱可能會是其面臨的主要挑戰。但是,WSE 的問世,本身的亮點已經足夠。
Linley Group 首席分析師 Linley Gwennap 在一份聲明中表示:“Cerebras Systems 在晶圓級封裝( wafer-scale package)的技術上取得了巨大進步,在一塊矽片上實現的處理性能遠遠超出任何人的想像。為了實現這一壯舉,該公司已經解決了困擾該行業數十年的一系列工程挑戰,包括實現高速模對模通信、解決製造缺陷、封裝如此大的晶片、提供高密度電源和冷卻系統。Cerebras Systems 通過將不同學科的頂尖工程師聚集在一起,創造了新技術,並在短短幾年內交付了一個產品,這是一個令人印象深刻的成就。”
Tirias Research 首席分析師兼創始人 Jim McGregor 在一份聲明中表示:“到目前為止,重新配置的圖形處理器滿足了人工智慧對計算能力的巨大需求。如今的解決方案將數百個這些重新配置的圖形處理器連接在一起,還需要數月的時間安裝,使用數百千瓦的電力,並要對人工智慧軟體進行廣泛修改,甚至還要數月的時間來實現功能。與之相比,單片 WSE 晶片的絕對大小能夠實現更多的計算、更高性能的記憶體和更大的帶寬。通過晶圓級 (wafer-scale) 封裝的集成技術,WSE 晶片避免了鬆散連接、慢記憶體、基於緩存、以圖形為中心的處理器的晶片固有的傳統性能限制。
Cerebras Systems 成立於 2016 年,自成立以來在業內相當神秘低調,專注於為數據中心進行訓練提供晶片產品,曾被 CB Insights 評為“全球最值得期待的 100 家晶片公司”。資料顯示,該公司曾於 2016 年完成 2500 萬美元 A 輪融資,投資方為知名風投 Benchmark,後又獲得多輪融資,截止 2017 年 9 月共獲得 1.12 億美元融資,估值 8.6 億美元。 |