這幾年是人工智能的大年，風口之上，不只有綠廠一騎絕塵，各家芯片大廠也紛紛調(diào)轉(zhuǎn)船頭，希望在AI的海里多撈幾條大魚。

相比之下，另外一個技術(shù)半球、曾經(jīng)風浪也很大的領(lǐng)域——云計算，貌似消停了不少。消停到以至于很多人沒注意一個相當重磅的消息：

7月初，亞馬遜云服務(wù)官宣，他們最新的Graviton4芯片，已經(jīng)完成了大規(guī)模部署。

這個消息之所以值得關(guān)注，是因為Graviton芯片本身就非常值得關(guān)注。遙想當年亞馬遜云科技作為第一個吃螃蟹的人、以云計算公司的身份開始自研芯片，到現(xiàn)在Graviton4芯片大規(guī)模部署商用，這個過程中他們已經(jīng)引領(lǐng)了三波重要的技術(shù)趨勢：

趨勢一：云廠商自研芯片，并由此構(gòu)建獨特的核心競爭力

趨勢二：Arm架構(gòu)在云端、消費端等各個場景的廣泛使用

趨勢三：軟硬結(jié)合開啟了更多創(chuàng)新機會，AI也是其中之一

Graviton這顆芯片的成長歷程。

2015年，亞馬遜花3.5億美元收購了一個以色列的芯片公司Annapurna Labs，這成為Graviton芯片誕生的開端。站在現(xiàn)在的上帝視角往回看，這次3.5億美元的收購撬動了超過4000億美元的全球云計算市場。

事實上，兩家公司在收購之前就已經(jīng)有很密切的合作了。亞馬遜云科技的當家技術(shù)叫做Amazon EC2，也就是Elastic Compute Cloud的縮寫。這個東西是一個云計算的基礎(chǔ)性平臺，包括人工智能在內(nèi)的很多應(yīng)用，其實都是運行在這個平臺上的一個個實例（instance）。所以這兩家公司當時合作的重點，就是不斷迭代Amazon EC2的性能和靈活性。但越迭代他們就越發(fā)現(xiàn)，軟件優(yōu)化的油水被榨的差不多了，各種瓶頸已經(jīng)從軟件轉(zhuǎn)移到了硬件。更聚焦的說，瓶頸就是芯片。

本質(zhì)原因很簡單，市面上賣的各種芯片大都是通用芯片，并不會根據(jù)某個客戶的需求做定制優(yōu)化，即便是亞馬遜云科技這樣的超級大客戶也不行。

于是他們決定，要自研芯片。

在2016年的re:Invent大會上，亞馬遜云科技的傳奇工程師James Hamilton就從口袋里拿出了他們自研的第一顆數(shù)據(jù)中心芯片，用來支持2x25G以太網(wǎng)的數(shù)據(jù)包處理。當時給業(yè)界帶來的震撼程度，絲毫不亞于ChatGPT的發(fā)布。因為人們突然意識到，原來云廠商能打破次元壁，去搶芯片公司的飯碗，而且可以做的很好。

更加震撼的是，Graviton的芯片架構(gòu)沒有選擇當時占據(jù)99%市場份額的x86，而是選擇了基于Arm的Neoverse內(nèi)核打造。要知道當時行業(yè)的普遍認知是，Arm只適用于低功耗和移動端場景，PC都費勁，更不用說有著高性能高功耗的數(shù)據(jù)中心服務(wù)器場景，真的開眼了。

芯片工程師們也集體沸騰了，因為這相當于給他們開啟了一片職業(yè)生涯的藍海。原來我們也能去互聯(lián)網(wǎng)和云計算公司，分享一波互聯(lián)網(wǎng)的紅利。

兩年后，亞馬遜云科技在2018年的re:Invent大會上正式發(fā)布了第一代Graviton處理器、2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4，保持了兩年一更的節(jié)奏，而且每代都取得了極大的飛躍和提升。值得特別注意的是，Graviton是基于Arm架構(gòu)的服務(wù)器CPU芯片，目前驅(qū)動了超過150種計算實例、全球超過5萬家企業(yè)和開發(fā)者在使用，這里面的意義是不言而喻的。

具體來看Graviton4芯片，和前一代相比，核心數(shù)提升50%，達到96個；每個內(nèi)核采用了當前最頂級的Arm Neoverse V2架構(gòu)，這也是業(yè)界最早支持Arm v9架構(gòu)的芯片之一。存儲方面，Graviton4在緩存容量、內(nèi)存容量和帶寬等多個方面全面升級。比如每個核心的L2緩存擴大一倍到2MB，這樣二級緩存總量達到192MB；同時支持12通道DDR5-5600，內(nèi)存帶寬提升75%，峰值帶寬可以達到537.6GB/s。高速接口方面，Graviton4支持高達96通道的PCIe 5.0高速接口，非常適合數(shù)據(jù)中心云計算和云存儲場景。

更重要的是，Graviton4的設(shè)計范式也在悄然改變。傳統(tǒng)CPU的評價機制一般都是各種benchmark（基準測試），比如Microbench、SPEC等。但隨著業(yè)務(wù)的不斷細化、應(yīng)用場景不斷增加，原來那些統(tǒng)一的benchmark可能很難代表某個應(yīng)用場景的需求。很可能成了一個跑分大殺器，但實際使用的時候達不到要求。根據(jù)亞馬遜云科技在上海 Summit 上展示的材料，也充分對比了 Micro benchmark 和真實工作負載在 CPU 上的表現(xiàn)有很大差異。

于是從Graviton4開始，亞馬遜云科技的造芯思路就從跑分轉(zhuǎn)移到面向?qū)嶋H應(yīng)用做設(shè)計，讓芯片更加貼近使用場景，規(guī)避不必要的「內(nèi)卷式」優(yōu)化。

當然，這也是亞馬遜云科技這樣的云廠商才能有的「特權(quán)」。一個CPU的參數(shù)茫茫多，牽一發(fā)則動全身，所以特別需要知道哪些參數(shù)是重要的、哪些可能沒那么重要。相比傳統(tǒng)芯片設(shè)計公司，云廠商有大量實際場景和案例，對不同應(yīng)用的側(cè)重點和優(yōu)化方向有第一手資料，相當于坐擁一個大寶藏了。而且這些應(yīng)用更貼近自己的業(yè)務(wù)場景，也不需要為其他云計算公司的其他業(yè)務(wù)做妥協(xié)。

再詳細聊聊前文說的Graviton帶來的三個技術(shù)趨勢。

第一個趨勢，就是在亞馬遜云科技的造芯「示范效應(yīng)」下，全球各家云廠商都紛紛開始自研芯片了，而且自研芯片給亞馬遜云科技自己的業(yè)務(wù)也帶來了實打?qū)嵉奶嵘?/p>

根據(jù)亞馬遜云科技的數(shù)據(jù)，和前一代相比，基于Graviton4的R8g實例性能提升30%，數(shù)據(jù)庫性能提升40%。國外也有手快的人第一時間做了測試，在HPC、加密、代碼編譯、模擬仿真、光線追蹤等實際應(yīng)用場景下，Graviton4都取得了不錯的提升。

比如做數(shù)字芯片仿真常用的Gem5模擬器，編譯一個大型芯片的仿真需要很久，所以編譯速度非常關(guān)鍵。但從測試結(jié)果可以看到，使用R8g實例后編譯速度明顯提升，不僅比前幾代有大幅提升，也比大廠的產(chǎn)品有23%~49%的提升。

第二個技術(shù)趨勢，之所以Graviton能在短短幾年取得如此亮眼的成績，一個重要的原因就是采用了Arm指令集架構(gòu)。x86服務(wù)器芯片其實起源于客戶端芯片，然后逐漸往里面增加服務(wù)器芯片需要的功能。而亞馬遜云科技沒有這樣的包袱，他們就專注于服務(wù)器芯片本身，在利用了Arm架構(gòu)低功耗、低延時的優(yōu)點的同時，還結(jié)合自己的應(yīng)用做了大量性能優(yōu)化，也讓Graviton成為了Arm架構(gòu)在高性能計算領(lǐng)域的成功范例。

比如，Honeycomb公司在測試了R8g實例后發(fā)現(xiàn)，和x86架構(gòu)相比，Graviton在降低尾延時方面效果最明顯。與基于 Graviton3的 C7g、M7g 或 R7g 實例相比，R8g實例運行的副本數(shù)可減少 25%、中位數(shù)延遲降低20%，第99百分位延遲降低了10%。

不僅如此，Graviton已經(jīng)開始進軍AI領(lǐng)域。它特別內(nèi)置了可伸縮矢量擴展（SVE）技術(shù)，它是單指令多數(shù)據(jù)（SIMD）的進一步延伸，允許CPU自由使用不同的向量長度，從而實現(xiàn)更加靈活的數(shù)據(jù)訪問和計算，這也是Arm架構(gòu)支持AI計算的殺手級技術(shù)之一。在Graviton4中，每個內(nèi)核就集成了4個128位的SVE-2矢量引擎，明顯就是著重發(fā)力高性能計算和AI應(yīng)用。

此外，Armv8.6-A架構(gòu)中還特別添加了SMMLA和FMMLA，可以在不同寬度的陣列上同時執(zhí)行通用矩陣乘法，并且將取指周期縮短最高4倍、將計算周期縮短達16倍。

這些是Arm架構(gòu)針對ML和AI的優(yōu)化，Graviton其實也做了很多自己的進一步優(yōu)化。比如面向大語言模型的推理應(yīng)用時，Graviton針對int4和int8內(nèi)核進行了優(yōu)化，從而更好支持這些低精度數(shù)據(jù)指令。

根據(jù)亞馬遜云科技的數(shù)據(jù)，在Llama3-8B模型的推理應(yīng)用里，當進行提示詞處理和Token生成時，Graviton3比友商的第四代至強和第四代EPYC都取得了明顯性能提升。那用了Graviton4之后，隨著單核性能至少提升30%，整體AI能力更是降維打擊前一代。

Graviton帶來的第三個技術(shù)趨勢，就是借助Graviton的加持，讓亞馬遜云科技這樣的云計算公司更快從通用計算進軍AI計算。未來的AI領(lǐng)域，大模型訓(xùn)練或許只是少數(shù)，而基于大模型的推理才是更加廣泛的應(yīng)用。這時算力就不完全是絕對且唯一的考慮因素，人們還需要思考更多關(guān)于功耗、成本、延時這些同樣關(guān)鍵的指標。

很多人認為自研芯片是個投入極高的事情，事實也的確如此。但一旦芯片大規(guī)模量產(chǎn)部署，邊際成本就會越來越低，自研芯片的成本優(yōu)勢甚至會在這個時候凸顯出來。芯片界大神Jim Keller曾經(jīng)說過，當摩爾定律驅(qū)使單顆芯片上晶體管數(shù)量不斷增加的時候，單純追求更多晶體管并沒有意義，有意義的是如何把這些多出來的晶體管用起來。

通過自研芯片，能去掉很多自己業(yè)務(wù)場景中不會出現(xiàn)、或極少出現(xiàn)的情況，讓芯片的每個晶體管都能用起來。相比之下，芯片廠商需要兼顧不同客戶之間的通用性，所以會不得不各種「端水」，造成面積和晶體管的浪費。這也是為什么基于Graviton的云計算實例更便宜的本質(zhì)原因。

其實，很多傳統(tǒng)云計算或許還有一些「歷史包袱」，比如成堆的歷史代碼都是面向x86架構(gòu)開發(fā)的，移植到Arm架構(gòu)需要一定的時間和努力。但面向AI、特別是大模型相關(guān)的應(yīng)用時，x86和Arm幾乎是站在同一條起跑線，這也給沒有歷史包袱的Arm架構(gòu)在AI端的應(yīng)用提供了新的機會。