從“無線通信公司”轉型為面向新一代AI處理時代的“連接計算公司”,在過去很長一段時間以來,都是高通標榜自身的主基調,而今年在夏威夷茂宜島如期舉行的驍龍峰會,話題正是從這一基調展開。
連接與計算,是通信技術與智能技術的代稱,新一代AI技術席卷之下,一切用戶體驗和商業邏輯都在被重構,就少不了連接與計算的力量,而手握這兩種技術,高通自然使命必達。
在峰會開場時,高通公司總裁兼CEO安蒙花了大量篇幅,闡述了對下一代AI和人機交互方式變革的理解。
當AI出現時,人們問的最多的問題莫過于,AI的Killer App(王牌應用)是什么?安蒙隨后說道,AI不存在Killer App的思維定式問題,因為AI變革的是人與計算機的交互方式,讓計算機可以理解人的所見所聞、所思所想,所以,未來會出現成千上萬的應用,而所有的應用都可以是王牌應用。
安蒙提及了一個銀行App的例子。每個人手機中的銀行App,都有同樣繁瑣的頁面,但是未來在AI的幫助下,用戶與銀行App的交互完全可以用自然語言來完成,比如“幫我把這個單買了吧。”“我的本期賬單是多少?”“什么儲蓄計劃適合我?”用戶只需要用語言表達,AI就會自動完成操作。甚至用戶在網上購物,只需要問購物App,“我想用我的借記卡購買,我的錢夠嗎?”購物App會自動關聯到銀行App,評估你的財力情況,在自動付款的同時也避免沖動消費。
這背后的一切,是“AI優先(AI First)”的體驗,高通用一張圖,具像化了這種AI變革體驗。
首先AI要理解人的輸入/輸出(I/O),包括語言、觸摸、空間環境等,所有這些都會進入AI Agent(智能體);然后Agent理解用戶的個性化數據,包括工作、娛樂、健康各種,再通過一系列多模態模型,最終所有的體驗都是個性化且人性化的體驗。這種體驗,就打破了傳統App的孤島,App之間將會自由聯動。
這將是一個巨變,會改變所有架構,包括操作系統、應用商店、算力平臺等。用戶可以有很多選擇,選擇更喜歡的Agent,選擇更適合你的工作生產力、娛樂方式,數字生活。
為了讓大家更易理解這種巨變,此處引用高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉(Durga Malladi)在會后與科技行者的采訪所說:
自智能手機問世以來,人機交互一直依賴雙手,而有了利用規劃器、智能體化AI處理,App在某種程度上被隱藏了起來,用戶不再需要在手機中頻繁切換不同的應用。“雖然高通并不設計終端,但隨著這樣的全新技術出現,未來可能會有新的終端產品形態,或者智能手機是否還會繼續存在還是個未知數。隨著用戶交互方式的變革,這應該是很多終端設備廠商,尤其是手機廠商亟待思考的問題。”
在驍龍峰會2024期間,科技行者采訪高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉(Durga Malladi)
“我們看到了未來,未來即將實現,驍龍一定會幫大家把最好的技術落地,把明天的體驗帶到今天,把不可能變為可能。”安蒙強調。
而回應這句話最好的詮釋,就是首先要有一顆“AI優先”的芯。
自研芯片架構,未來都是“至尊版”
高通技術公司手機、計算和XR事業群總經理阿力克斯·卡圖贊(Alex Katouzian)登臺,以一句話控場,也為他接下來的發布定調——“我們不滿足于漸進式提升(所謂的擠牙膏),高通希望打造一款全新的產品。”
高通技術公司手機、計算和XR事業群總經理阿力克斯·卡圖贊(Alex Katouzian)
去年驍龍峰會上,高通就劇透了驍龍X Elite,而在今年,高通正式發布新一代移動平臺:“Snapdragon 8 Elite”,中文命名“驍龍8至尊版”。
這次的命名沒有延續傳統,而是來個畫風轉變,是因為它與驍龍X Elite(驍龍的PC處理器)一樣,也用了高通自研的Oryon CPU架構,區別是,這次進化到了第二代Oryon。按照高通的命名規則,Elite就代表了旗下性能最強的旗艦產品。這些年來,高通一直在加大自研技術投資,Oryon CPU就是在這一背景下誕生,它由高通收購的初創團隊Nuvia開發,該團隊領導者正是前任蘋果首席芯片架構師Gerard Williams。
Oryon CPU是驍龍8至尊版的“王炸”,相當于是是給移動端處理器奉上桌面級CPU。高通技術公司高級副總裁兼手機業務總經理Christoper Patrick在隨后的介紹中直指,“Oryon完成了高通整個SoC的最后一塊拼圖。”
性能方面總結而言,驍龍8至尊版采用臺積電第二代3nm工藝,搭載了第二代高通Oryon CPU、高通Adreno GPU、增強的高通Hexagon NPU,三者各司其職。而提到這三者的互相作用,高通技術公司產品管理高級總監Siddhika Nevrekar打了個形象比喻:
假設高通AI引擎是一個交響樂團,Oryon CPU就是一位出色的指揮家,指揮每個音符、每個節奏、每個樂器創作出完美的AI交響樂;而Hexagon NPU就是那位出色的小提琴手,它將在AI最激烈的演奏中,成為舞臺焦點。
接下來我們一一道來。
大家知道,CPU對于管理系統層面的處理相當重要,它能執行來自應用程序、操作系統和用戶輸入的指令,也能運行高端游戲、視頻剪輯軟件、AR、AI、安全等復雜應用。
第二代高通Oryon CPU有兩個重要創新,其一是面向移動端設計的全新微架構,其二是大幅改進的內存架構。
首先在微架構方面,驍龍8至尊版搭載了2個超級內核(Prime)+6個性能內核(Performance Core),「超級內核」的最高主頻達4.32GHz,以應對需要更快響應速度的密集型應用;「性能內核」的最高主頻達3.53GHz,每個性能內核都經過調優,負責運行最密集型的應用程序,同時具有極高能效。
這里值得注意,驍龍的幾代更新已經逐漸減少了效率內核,直到今天被性能內核完全取代。因為后者能提供最佳的性能和功耗組合,更適合這個AI時代的實際用例,所以效率內核就退出歷史舞臺了。
為了進一步證明Oryon CPU的強勁性能,高通也亮出了一系列基準測試。對比第三代驍龍8,驍龍8至尊版商用機在單線程和多線程基準測試中,單核性能提升45%、多核性能提升45%、能效提升44%。
阿力克斯·卡圖贊在現場打趣說,“所有這些基準測試,都是基于高通的參考設計在實際室溫環境下完成,不同于其他廠商在冷凍環境中運行以獲得更高性能。”
此外還有Speedometer基準測試。這里有必要提一下Speedometer,它是用于衡量網頁瀏覽等日常用例用戶體驗的測試工具,網頁瀏覽看似平淡無奇,但它卻是大家使用最頻繁的應用,它會影響頁面加載、快速轉換、流暢滾動和后臺計算等體驗,還影響搜索、購物、研究和學習等日常體驗,以及微信等應用內集成的體驗。在該測試中,Oryon CPU瀏覽器上網性能提升62%(據說這是一個跨代際的提升)、能效提升45%。
高通Oryon CPU大放異彩的另一個領域是大幅改進的「內存架構」,通過采用最大的緩存來增強每一個CPU叢集——每個叢集都擁有12MB的二級緩存,總計24MB緊密耦合的專用緩存。
此外,考慮到生成式AI高度依賴內存,驍龍8至尊版配備了目前最高速的LPDDR5內存,實際頻率5333MHz,等效于10.7GHz。以上,第二代Oryon CPU在微架構和內存方面的升級,讓驍龍8至尊版可以帶來更快的應用啟動、多任務處理很絲滑、以及先進的生成式AI功能。從中受益最大的用例之一——游戲。驍龍8至尊版基于Oryon CPU帶來的能效提升,可以將游戲時長延長2.5小時,同時不妥協流暢的游戲體驗。實際用例上,針對虛幻引擎的Chaos Physics系統,Oryon CPU可以直接在終端側實時模擬物理系統,且能在5毫秒時延內,處理超過1000個物體破壞和碰撞的情景。
2、 Adreno GPU:帶來高保真圖形
當然,CPU并不是驍龍8至尊版唯一重新設計的組件,Adreno GPU也是完全重新設計。高通技術公司產品市場經理Matt Grossman介紹說,“Adreno GPU在開發時,就充分考慮到手游玩家的需求,針對現代圖形工作負載進行調優,能夠提供基于著色處理器的獨立內核,從而實現更佳工作分配和并發性能。”對于圖形密集型游戲,其性能將提升40%,功耗降低40%,驍龍8至尊版的光追性能提高了35%。
除了性能提升之外,高通還在強強聯合,帶來絕佳游戲體驗。現場,驍龍游戲工作室與Feral Interactive合作,將于12月推出《超級房車賽:傳奇(Grid Legends)》移動版,它在驍龍8至尊版上,能夠以2倍幀率運行,且將獨家支持高通自適應性能引擎4.0。在不斷追求“重新定義移動游戲”的過程中,高通與網易伏羲實驗室合作,在《永劫無間》手游中,玩家可以用語音與AI隊友互動,這些AI隊友化身“神隊友”,向新玩家提供策略來玩游戲。而且,雙方還實現了首個游戲內終端側大模型,這意味著,AI隊友可以針對獨特問題,進行定制化對話或給出建議。
更進一步,高通還在瞄準下一代游戲體驗。虛幻引擎5的Nanite解決方案將首次在移動端運行,且僅在驍龍平臺上運行,目前驍龍8至尊版可以支持在移動游戲中渲染電影級質量的3D環境。
3、 Hexagon NPU:帶來更智能的交互為了把端側AI踐行到底,高通一直在磨練高通AI引擎,而它的核心,正是Hexagon NPU。Hexagon NPU這次也有重大改進:首先,所有內核的吞吐量都更強了,以實現更快的AI推理性能;其次,標量和向量的內核都增加了,向量加速器有6個核心,標量加速器則有8個核心,以滿足生成式AI運算需求,支持更長上下文。與第三代驍龍8相比,全新架構的Hexagon NPU性能提升45%,能效提升45%。結合提升的CPU和GPU,驍龍8至尊版能夠跨所有核心動態管理AI負載。
有了高通AI引擎,驍龍8至尊版可以在終端側離線運行個性化、多模態、且安全的AI助手,這位AI助手也是全能助手,因為它的底層有多個模型在支撐,包括自動語音識別(ASR)、大語言模型(LLM)、大視覺模型(LVM)、多模態大模型(LMM)——這些模型,就像訓練有素的團隊一樣運作,這就是異構計算的魔力。
或許在以前,當人與AI助手聊天時,AI響應的第一步,是先把語音轉文本,再讓語言模型通過文本看懂;而現在有了多模態模型,就能省掉這一步。
不要看這一小步,背后是效率提升的一大步。它帶給用戶最直觀的感受,就是語音交互極速響應,幾乎感覺不到延遲,就像和真人說話一樣,AI助手能夠立刻“聽懂”人類語言。
為了讓大家更易理解AI智能體,高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉(Durga Malladi)在會后采訪中舉例說道,比如我拿起手機說:“今晚幫我訂一個墨西哥菜餐廳,距離不要太遠,評分要高,到店時間預計晚上7點30到8點30之間,而且得是我過去三個月沒有去過的餐廳。”
要回答這個問題,智能體會調用各種模型來處理,包括位置信息、個人知識圖譜等,而個人知識圖譜,是存儲在終端側的用戶情境信息(例如喜歡的飲食、鍛煉習慣、常用聯系人和消息、過往偏好歷史),從而幫助手機理解用戶意圖。
“每個廠商都有不同的方向來打造智能體。”馬德嘉說道,高通有非常廣泛的AI合作伙伴,包括Meta、IBM、Mistral、OpenAI、谷歌、智譜、騰訊、百川等。“我相信未來會出現定制的專用智能體,而高通旨在為構建高效的智能體體驗,提供所需的底層軟件技術支持。”
在生成式AI的表現方面,Hexagon NPU在基礎大語言模型上的token生成速率提升了100%;在快速響應方面,在一些主流的大語言模型上,驍龍8至尊版的處理速度超過70 tokens/秒。除了文字和語音交互,AI助手首次可以完全在終端側,通過攝像頭“看到”用戶所看到的內容,如此一來,用戶可以通過相機或傳感器,與AI助手實時互動。
比如吃完飯結賬時,只要直接把攝像頭對準收據和朋友們,AI助手就能擴展到翻譯、匯率換算等相關任務,理解收據上的內容,計算每個人的分攤費用,相當高效。
除了AI助手之外,高通還在把Hexagon NPU與重新設計的AI-ISP結合,重新定義影像體驗。以前,ISP會先處理圖像,然后發送到NPU進行后處理。現在,NPU可以直接訪問RAW原生傳感器數據,在4K 60fps下實現基于AI的實時增強。
我們對AI-ISP進行優化,將ISP吞吐量提高了近35%,能效提升25%。通過這一提升,用戶可以利用三個4800萬像素傳感器同時進行拍攝,也能實現完美的抓拍,包括拍快速移動的的寵物。
圖:高通NPU支持的寵物攝影特性套件,讓智能手機自動對焦跟蹤寵物的眼睛。更夸張的是,手機還能觀察寵物,在寵物看向鏡頭的一瞬間按下快門。在拍照之后,AI會繼續工作,利用雙攝背景虛化,智能增強細節,將照片變驚艷作品。
從移動計算中樞,到AI Hub:霸屏的好友圈里不止是手機
在當下的芯片格局下,讓人驚訝的變化,似乎成了最不會讓人驚訝的事情,前有Intel和AMD歷史性地聯手打造X86生態,后有高通自研芯片架構與好友圈技術共舞。
因為僅憑硬件,無法打造出強大的AI。就好比一輛賽車,油箱里沒有油,一切都是空談,所以高通這次基于驍龍8至尊版,也大力改進了AI軟件。
高通用AI Hub軟件棧,是一套幫助廠商、開發者實現最優化性能表現的工具,充分利用包括CPU、GPU和NPU在內的異構計算技術,所以無論是在手機、PC、汽車、XR任何領域的開發者,都可以用高通AI Hub實現開發自由。
在PC端。高通與微軟持續合作,擴展面向Copilot+PC產品的AI功能。高通指出,PC用戶90%的時間所使用的應用,都能夠在驍龍X系列上原生運行,無論是“AI原生應用”還是“轉譯運行的應用”。高通支持數百款原生應用程序,包括Chrome、Google Drive、Photoshop、Lightroom、Express、Nord VPNs、Whatsapp、Zoom、Slack和Spotify等。
在XR端。目前驍龍賦能超過80款XR設備,高通與所有主流科技巨頭OEM廠商和內容提供商合作創作,推動XR向前發展。
汽車端同樣在進化。高通正在與各大汽車廠商一起,實現“AI上車”,用軟件定義汽車。這次峰會現場,高通汽車產品路線圖中的兩款新品也一起亮相,一款是驍龍座艙至尊版平臺(Snapdragon Cockpit Elite),另一款是驍龍Ride至尊版平臺(Snapdragon Ride Elite)。
值得一提的是,在汽車相關的會議環節,當理想和長城等中國汽車廠商作為一股新面孔站在舞臺中央,臺下的全球媒體給予了超級熱烈的掌聲。喝彩中,中國媒體的自豪感油然而生。外國媒體說:“為什么我們的車就只是在搞車,中國的車在搞音樂搞哲學。”對此,中國媒體同行紛紛交換意見,就喜歡看外國友人“沒見過世面”的樣子。
理想汽車戰略采購負責人吳佐民用三個關鍵詞介紹理想汽車。首先是「目標市場」:汽車是服務于全家人的綜合空間,基于該理念,理想汽車定義了可滿足用戶需求的產品。第二個關鍵詞是「電動化」。理想認為電動化有兩條技術路徑:REEV、HPC BEV。REEV代表增程式電動車,而HPC BEV則意味著充電12分鐘即可補能500公里。第三個關鍵詞是「AI」,特別是應用于智能座艙和自動駕駛的AI,是理想汽車投入大量精力和資源的領域。
長城汽車首席技術官吳會肖現場介紹,基于驍龍8295芯片,長城汽車工程師利用其高性能和高算力開發咖啡智能全新座艙系統Coffee OS 3和“五好”智能座艙。
長城汽車這次空運過來即將發布的摩托車,是全球唯一一臺2000毫升排量水平對置8缸發動機、配備8檔DCT變速箱,搭載了驍龍8155芯片,配備了摩托車行業最大尺寸的12.3英寸LCD可觸控儀表盤,支持OTA遠程升級和語音助手等功能。
從“至尊版”的命名不難看出,這兩款驍龍汽車平臺也采用了高通自研且專為汽車定制的最新一代Oryon CPU,同時配備了面向汽車應用設計的Adreno GPU、以及面向多模態AI設計的專用神經網絡處理器Hexagon NPU,三大部分都完成了自研。
據高通技術公司汽車、行業解決方案和云事業群總經理Nakul Duggal介紹,與前代產品驍龍8295芯片相比,這次驍龍至尊版汽車平臺CPU性能提升3倍、GPU性能提升3倍,NPU的AI性能提升了12倍。可以支持超過40個多模態傳感器,包括多達20個高分辨率攝像頭,實現360度全方位覆蓋和車內監測。
技術參數相當能打,高通的技術交付,也同樣亮眼。我們了解到,全新平臺擁有靈活架構,可為汽車制造商提供多樣化選擇,可以通過驍龍座艙至尊版打造數字座艙,通過驍龍Ride至尊版實現智能駕駛,或者,可以在單一芯片組上同時支持數字座艙和智能駕駛。其中,Snapdragon Ride至尊版支持多個多模態傳感器同時運行,實現基于AI的端到端傳感器融合,能夠生成高度精確和可靠的360度全方位車外覆蓋視圖。同時,Snapdragon Ride至尊版也能運行大型端到端Transformer等算法,處理數據并做出L3和L4級智能駕駛的實時決策,比如A輛車作出實時減速決策,避免了與闖紅燈的B輛車碰撞。
但是,將AI引入汽車,需要多種工具,為了確保汽車制造商和開發者能夠用這些AI工具。高通AI Hub,能夠幫汽車制造商找到合適的AI模型,處理大量的車輛傳感數據,并決定哪些模型可以并行運行。通過高通AI Hub,開發者可以從驍龍汽車平臺中選擇AI模型,也可以引入自主模型(BYOM)并進行優化,還可以用自己的數據來訓練這些模型。
這里讓我想到安蒙開場演講時所說的一句話:“驍龍會一起進化,不僅引領了移動領域的創新步伐,還改變了很多其他行業的創新步伐。”再反觀現場,無論是各領域巨頭的站臺,還是滿屏放不下的高通在各領域的好友圈,無一不在證明驍龍的價值。
驍龍峰會2024現場,為高通驍龍站臺的合作伙伴包括:微軟、Meta、小米、OpenAI、BestBuy、三星、奔馳、寶馬、理想、、長城汽車、通用汽車
驍龍移動平臺好友圈
驍龍汽車平臺好友圈
“當你拿起任何一款基于驍龍打造的旗艦智能手機,都會發現里面有超過40個組件來自高通,包括射頻收發器、電源管理、超聲波指紋識別等組件”,高通技術公司高級副總裁兼手機業務總經理Christoper Patrick總結說道,高通提供的是全面的系統解決方案。這也應了高通的那句話“Snapdragon is everywhere(驍龍無處不在)”。
AI千里之行始于足下,是高通驍龍進化的最佳寫照,也是如今每一個處于AI變革數代的產業角色,體現價值的使命落點。
(作者周雅 來源科技行者)
(新聞稿 2024-10-25)