第三媒體軟件中心軟件網絡資訊互聯網資訊 → GPU之后,NPU再成標配,手機、PC如何承載AI大模型? TTL

GPU之后,NPU再成標配,手機、PC如何承載AI大模型?

上傳:非霧非仙     來源:信息存儲服務     日期:2024-03-12

[摘要]  
   AI產品開發者需要先行一步,早一些讓用戶體驗自己的產品,和用戶建立連接,培養粘性,從而在競爭中占得先機。
 
[正文]    
      摘要:AI產品開發者需要先行一步,早一些讓用戶體驗自己的產品,和用戶建立連接,培養粘性,從而在競爭中占得先機。

  2024注定是AI行業熱鬧非凡的一年。雖然剛剛進入3月份,但是關于AI的新聞已經多次占據了頭條。就在上個月,OpenAI發布了文字生成視頻的大模型Sora,其逼真的效果直接清空了在這個細分賽道苦苦耕耘的創業者。幾天后,英偉達市值站上2萬億美元,成為了歷史上最快實現從1萬億到2萬億美元市值的企業。正所謂“當你發現金礦,最好的生意不是挖礦而是賣鏟子”,英偉達成為了AI時代“軍備競賽”的最大贏家。

  就在大家感嘆“世界上只有兩種AI,一種叫OpenAI,一種叫其他AI”的時候,沉寂了許久的Anthropic放出王炸,這家由OpenAI前研究副總裁創立的公司,發布了最新的Claude3模型,各項指標已經全面超越了GPT4。

  AI行業的風起云涌,也昭示了這個行業還處在一個初級階段。技術迭代太快,暫時領先的企業可能在一夜之間就被新技術顛覆。一些眼花繚亂的新技術,雖然已經問世,但遲遲不公開或者沒有部署。比如上文提到的Sora,截至發文,還沒有正式向公眾開放。

  生成式AI的研發和本地部署之間存在鴻溝。目前,大眾使用的生成式AI產品往往是部署在云端而在本地訪問(比如ChatGPT網頁),但這無法滿足所有需求,并且會產生一些隱患。

  首先,隨著大模型越來越復雜,云端和本地之間的傳輸在有限帶寬下變得捉襟見肘,比如一架波音787飛機每秒鐘產生5G的數據,如果上傳到云端、計算、輸出結果再返回,飛機可能已經飛出去幾公里了(按照800公里/小時估算)。如果在飛機上使用AI功能但是在云端部署,這樣的傳輸速度是無法滿足要求的。

  此外,一些用戶敏感數據、隱私數據,是否一定要上云?顯然放在本地比云端更讓用戶放心。

  不論生成式AI多么強大,如何部署到本地始終是一個無法繞開的問題。這是行業發展的趨勢,雖然目前面臨一些困難。

  困難在于,如何把“大模型”裝入“小設備”。注意,這里的“大小”是相對而言的。云端計算的背后可能是一個占地幾萬平方米的計算中心,而本地部署卻要讓生成式AI在你的手機上跑起來。手機沒有液氮冷卻,也沒有無窮無盡的電力,該如何部署AI呢?

  異構計算,一種可能的解決方案?

  高通的異構計算AI引擎(以下皆稱作高通AI引擎)為行業提供了一種可行的解決方案。即通過CPU、GPU、NPU以及高通傳感器中樞和內存子系統的協作,實現了AI部署和大幅度提升AI體驗的目的。


GPU之后NPU再成標配手機、PC如何承載AI大模型?

圖:專門的工業設計讓不同計算單元更緊湊 來源:高通

  不同類型的處理器所擅長的工作不同,異構計算的原理就是讓“專業的人做專業的事”。CPU擅長順序控制,適用于需要低延時的應用場景,同時,一些較小的傳統模型如卷積神經網絡模型(CNN),或一些特定的大語言模型(LLM),CPU處理起來也能得心應手。而GPU更擅長面向高精度格式的并行處理,比如對畫質要求非常高的視頻、游戲

  CPU和GPU出鏡率很高,大眾已經相當熟悉,而NPU相對而言更像一種新技術。NPU即神經網絡處理器,專門為實現低功耗、加速AI推理而打造。當我們在持續使用AI時,需要以低功耗穩定輸出高峰值性能,NPU就可以發揮最大優勢。

  舉個例子,當用戶在玩一款重負載的游戲,此時GPU會被完全占用,或者用戶在瀏覽多個網頁,CPU又被完全占用。此時,NPU作為真正的AI專用引擎就會負擔起和AI有關的計算,保證用戶的AI體驗流暢。

  總結起來說就是,CPU和GPU是通用處理器,為靈活性而設計,易于編程,本職工作是負責操作系統、游戲和其他應用。NPU則為AI而生,AI是它的本職工作,通過犧牲部分易編程特性而實現了更高的峰值性能和能效,一路為用戶的AI體驗護航。

  當我們把 CPU、GPU、NPU 以及高通傳感器中樞和內存子系統集成在一起,就是異構計算架構。


GPU之后NPU再成標配手機、PC如何承載AI大模型?

圖:高通AI引擎包括Hexagon NPU、Adreno GPU、高通Oryon或 Kryo CPU、高通傳感器中樞和內存子系統 來源:高通

  高通AI引擎整合了高通 Oryon 或 Kryo CPU、 Adreno GPU 、 Hexagon NPU 以及高通傳感器中樞和內存子系統。Hexagon NPU作為其中的核心組件,經過多年的升級迭代,目前已達到業界領先的AI處理水平。以手機平臺為例,集成高通 AI 引擎的第三代驍龍 8 支持行業領先的LPDDR5x內存,頻率高達4.8GHz,使其能夠以非常高速的芯片內存讀取速度運行大型語言模型,如百川、Llama 2等,從而實現非常快的token生成速率,為用戶帶來全新的體驗。


GPU之后NPU再成標配手機、PC如何承載AI大模型?

圖:NPU隨著不斷變化的AI用例和模型持續演進,實現高性能低功耗 來源:高通

  高通對NPU的研究,并不是近幾年才開始的。如果要追溯Hexagon NPU的起源,要回到2007年,也就是生成式AI走入公眾視野的15年前。高通發布的首款Hexagon DSP在驍龍平臺上亮相,DSP控制和標量架構成為了高通未來多代NPU的基礎。

  8年后,也就是2015年,驍龍820處理器集成了首個高通AI引擎;

  2018年,高通在驍龍855中為Hexagon NPU增加了張量加速器;

  2019年,高通在驍龍865上擴展了終端側AI用例,包括AI成像、AI視頻、AI語音等功能;

  2020年,Hexagon NPU迎來變革型架構更新。標量、向量、張量加速器融合,這為高通未來的NPU架構奠定了基礎;

  2022年,第二代驍龍8中的Hexagon NPU引入了一系列重大技術提升。微切片技術提升了內存效率,功耗降低繼續降低并且實現了4.35倍的AI性能提升。

  2023年10月25日,高通正式發布第三代驍龍8。作為高通技術公司首個專為生成式AI而精心打造的移動平臺,其集成的Hexagon NPU是目前高通面向生成式AI最新、也是最好的設計。

  由于高通為AI開發者和下游廠商提供的是全套解決方案(這部分內容會在第三部分詳細敘述),并非單獨提供芯片或者某個軟件應用。這意味著在硬件設計上和優化上,高通可以通盤考慮,找出目前AI開發的瓶頸,做有針對性地提升。

  比如,為何要特別在意內存帶寬這個技術點?當我們把視角從芯片上升到AI大模型開發,就會發現內存帶寬是大語言模型token生成的瓶頸。第三代驍龍8的NPU架構之所以能幫助加速開發AI大模型,原因之一便在于專門提升了內存帶寬的效率。

  這種效率的提升主要受益于兩項技術的應用。

  第一是微切片推理。通過將神經網絡分割成多個獨立執行的微切片,消除了高達10余層的內存占用,此舉最大化利用了Hexagon NPU中的標量、向量和張量加速器并降低功耗。第二是本地4位整數(INT4)運算。它能將INT4層和神經網絡和張量加速吞吐量提高一倍,同時提升了內存帶寬效率。

GPU之后NPU再成標配手機、PC如何承載AI大模型?


圖:第三代驍龍8的Hexagon NPU以低功耗實現更佳的AI性能

  2月26日,世界移動通信大會(MWC 2024)在巴塞羅那拉開帷幕。基于驍龍X Elite,高通向全世界展示了全球首個在終端側運行的超過70億參數的大型多模態語言模型(LMM)。該模型可接收文本和音頻輸入(如音樂、交通環境音頻等),并基于音頻內容生成多輪對話。

  所以,在集成了Hexagon NPU的移動終端上,會有怎樣的AI體驗?以及它是如何做到的?高通詳細拆解了一個案例。

  借助移動終端的AI旅行助手,用戶可以直接對模型提出規劃旅游行程的需求。AI助手可以立刻給到航班行程建議,并且通過語音對話調整輸出結果,最后通過Skyscanner插件創建完整航班日程。

  這種一步到位的體驗是如何實現的?

  第一步,用戶的語音通過自動語音識別(ASR)模型Whisper轉化成文本。該模型有2.4億個參數,主要在高通傳感器中樞上運行;

  第二步,利用Llama 2或百川大語言模型基于文本內容生成文本回復,這一模型在Hexagon NPU上運行;

  第三步,通過在CPU上運行的開源TTS(Text to Speech)模型將文本轉化為語音;

  最后一步,通過調制解調器技術進行網絡連接,使用Skyscanner插件完成訂票操作。

  行業井噴前夕,開發者需要搶占先機

  使用不同的工具測試驍龍和高通平臺的AI性能表現,可以發現其得分比同類競品高出幾倍。從魯大師AIMark V4.3基準測試結果來看,第三代驍龍8的總分相較競品B高出5.7倍,而相較競品C高出7.9倍。

  在安兔兔AITuTu基準測試中,第三代驍龍8的總分比競品B高出6.3倍。針對MLCommon MLPerf推理的不同子項,包括圖像分類、語言理解以及超級分辨率等,也進行了詳盡的比較。

GPU之后NPU再成標配手機、PC如何承載AI大模型?


  進一步對比驍龍X Elite與其他X86架構競品,在ResNet-50、DeeplabV3等測試中,驍龍X Elite表現出明顯的領先地位,其基準測試總分分別是X86架構競品A的3.4倍和競品B的8.6倍。因此,在PC端,無論是運行Microsoft Copilot,還是進行文檔摘要、文檔撰寫等生成式AI應用,體驗都十分流暢。


GPU之后NPU再成標配手機、PC如何承載AI大模型?

  領先的AI性能不全是高通AI引擎的功勞,確切的說,高通對AI廠商的賦能是全方位的。

  首先是高通AI引擎。它包括Hexagon NPU、Adreno GPU、高通Oryon CPU(PC平臺)、高通傳感器中樞和內存子系統。專門的工業設計、不同部件之間良好的協同,這款異構計算架構為終端側產品提供了低功耗、高能效的開發平臺。

  基于先進的硬件,高通又推出了AI軟件棧(高通AI Stack)。這款產品的誕生是為了解決AI開發中的頑疾——同一個功能,針對不同平臺要多次開發,重復勞動。AI Stack支持目前所有的主流AI框架,OEM廠商和開發者可以在平臺上創建、優化和部署AI應用,并且能實現“一次開發,全平臺部署”,大大減少了研發人員的重復勞動。


GPU之后NPU再成標配手機、PC如何承載AI大模型?

圖:高通AI軟件棧幫助開發者“一次開發,全平臺部署” 來源:高通

  此外,還有高通在MWC2024上剛剛發布的AI Hub。AI Hub是一個包含了近80個AI模型的模型庫,其中既有生成式AI模型,也有傳統AI模型,還包括圖像識別或面部識別模型,百川、Stable Diffusion、Whisper等模型。開發者可以從AI Hub中選取想要使用的模型生成二進制插件,做到AI 開發的“即插即用”。

GPU之后NPU再成標配手機、PC如何承載AI大模型?


  綜合來說,如果縱向看深度,高通在硬件(AI引擎)、軟件(AI Stack)和素材庫(AI Hub)三個維度全面加速廠商的AI開發進度。橫向看覆蓋廣度,高通的產品已經覆蓋了幾乎所有的終端側設備(第三代驍龍8支持手機等終端,X Elite賦能AI PC產品)。

  AI應用處于井噴前的醞釀期。

  在教育領域,AI能針對學生的學習能力和進度制定個性化的教學方案;在醫學領域, AI可以用來發掘全新的抗生素類型;在養老方面,未來在一些社會老齡化問題比較嚴重的地區,可以利用AI終端收集老年人家中的所有個人數據,從而幫助預防緊急醫療事故。

  之所以叫“井噴前”,正是因為還沒有大規模部署。另一方面,AI應用,作為最容易讓用戶產生粘性的產品之一,具有很強的先發優勢效應。

  AI產品開發者需要先行一步,早一些讓用戶體驗自己的產品,和用戶建立連接,培養粘性,從而在競爭中占得先機。

   (新聞稿 2024-03-12)

頻道首頁 】【 評論 】 【 打印 】 【 字體:
   上一篇:天貓汽車舉辦新能源商家大會,新用戶背后的新生意經
   下一篇:首創技術:維諦作為英偉達NVIDIA獨家制冷合作伙伴,引領AI應用快速發展
導航:報價 | 大全 | 排行榜 | 產品大全 | 參量 | 訂閱 
 Advertisement
 十大最受關注的新聞
1  國內首款微軟授權分體式手柄「X4幻蝶」正式官宣
2  適合的才是最好的 ,金士頓性價比U盤推薦
3  被微軟選中的天之驕子!小雞「影舞者」手柄正式官宣!
4  HUAWEI Pura 70系列搭載小藝多項AI功能,玩轉智慧體驗
5  參賽者必看 | 拯救者杯OPENAIGC開發者大賽最全攻略指南來啦
6  好評如潮,開放世界競速游戲天花板竟然是它?
7  五一出行記錄精彩 金士頓大容量SD卡推薦
8  極光推送鴻蒙版SDK正式上線,全面適配HarmonyOS NEXT
9  2024年勒索軟件值得關注的三大趨勢
10  搶抓汽車金融市場新機遇,聯眾優車深耕二手車服務
 十大熱門驅動/軟件下載
1  [手機驅動]手機usb萬能
2  [熱門常用軟件]QQ2008正式版下載【騰訊QQ2008官方版Beta1】
3  [熱門常用軟件]E話通下載【E話通4.5 正式版】
4  [手機驅動]Samsung三星 手機USB驅動1.0版For Win98SE/ME/...
5  [手機驅動]Microsoft微軟 ActiveSync同步軟件4.5中文版Fo...
6  [攝像頭驅動]萬能攝像頭 FOR Windows
7  [熱門常用軟件]皮皮播放器下載【PPFilm皮皮播放器 2.1.0....
8  [手機驅動]諾基亞 PC套件下載
9  [熱門常用軟件]面對面游戲下載【面對面視頻游戲大廳】
10  [手機驅動]Microsoft微軟 Windows Mobile Device Center ...
 十大最受關注的品牌
1  三星手機(SAMSUNG)
2  諾基亞手機(NOKIA)
3  華碩筆記本(ASUS)
4  摩托羅拉手機(MOTOROLA)
5  英特爾CPU(Intel)
6  華碩主板(ASUS)
7  LG手機(LG)
8  索愛手機(Sony Ericsson)
9  聯想筆記本(lenovo)
10  宏碁筆記本(acer)
 十大熱門常用軟件下載
1  QQ2008正式版下載【騰訊QQ2008官方版Beta1】
2  E話通下載【E話通4.5 正式版】
3  皮皮播放器下載【PPFilm皮皮播放器 2.1.0.2版】
4  面對面游戲下載【面對面視頻游戲大廳】
5  DVD解碼器下載【NVIDIA DVD Decoder 1.02】
6  迅雷5下載【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下載【騰訊QQ2007官方版本】
8  QQ2006正式版下載【騰訊QQ2006官方版本】
9  聯眾世界游戲大廳下載【聯眾世界2.7.0.8官方版】
10  MTV下載器【MTV下載精靈 8.31版】
11  pplive最新版下載【PPLive網絡電視V1.9.35版】
12  迅雷(Thunder)下載【迅雷v5.7.12.493官方版】
13  騰訊QQ2008下載【騰訊QQ官方版2008極速賀歲版KB1】
14  Total Video Converter下載【Total Video Converter v3.1...
15  QQ拼音輸入法下載【騰訊QQQQ拼音輸入法V1.4.1版】
16  皮皮高清影視播放器下載【PIPIPlayer 2.7.0.3版】
17  eMule下載【電驢eMule官方v0.49a正式版】
18  極點五筆輸入法下載【極點五筆6.1標準版】
19  QQ2009正式版下載【騰訊QQ2009 SP4官方版】
20  Vagaa哇嘎畫時代版下載【哇嘎 2.6.5.10】
   >> 查看評論   
 
   >> 查看更多評論   [共有0條評論]
發表評論
        
        
   點評:
   姓名:  
            字數: 0
     
新聞精選
·JFrog安全研究表明:Docker Hub遭受協同攻擊
·萊克電氣之《心有凈界》重磅登陸CCTV-1 攜手
·EngageLab AppPush引入全封裝語音播報SDK
·專家技術指導,OPENAIGC開發者大賽能量充電走
·愛旭,n型ABC技術開創者的效率登頂之路
·行業大咖齊聚,OPENAIGC開發者大賽超強評審陣
  ·2024攻防演練:4大趨勢凸顯,如何做好常態化
·優化終端交互觸達,極光助力極氪打造智慧服務
·有AI超有愛,520華為小藝帶你解鎖花式表白
·XREAL發布會定檔5月30日,產品方向成關注焦點