支持超過75款AI大模型！高通正式推出高通AI Hub

首頁>科技資訊>>快訊>>>正文

支持超過75款AI大模型！高通正式推出高通AI Hub

在本屆世界移動通信大會(MWC24)上，高通帶來了一系列的最新AI技術創(chuàng)新成果。

這兩年AI已經(jīng)成為全行業(yè)重點關注的體驗，尤其是最近這段時間，終端側AI在手機、PC等設備上的部署和應用已經(jīng)成為了大趨勢。高通認為，終端側AI已經(jīng)到來，為了能夠給開發(fā)者提供更多的支持，賦能其打造全新的、令人期待的應用。高通在本屆MWC上宣布推出全新的高通AI Hub。

高通AI Hub是為開發(fā)者提供全面優(yōu)化的AI模型庫，包括傳統(tǒng)AI模型和生成式AI模型，能夠支持在驍龍和高通平臺上進行部署，開發(fā)者能夠通過高通AI Hub更便利地基于驍龍或高通平臺打造AI應用。

有了高通AI Hub的幫助，開發(fā)者打造AI應用將會變得簡單和高效。開發(fā)者可以選擇應用所需的模型（例如Baichuan-7B），以及其開發(fā)應用所使用的框架（例如Pytorch、Tensorflow）。然后開發(fā)者只需要確認目標平臺，例如一款特定型號的手機、或者一款特定型號的高通平臺。確定以上信息后，高通AI Hub就可以為開發(fā)者提供面向其指定應用、指定平臺進行優(yōu)化的模型。開發(fā)者只需要幾行代碼就可以獲取模型，并將模型集成進應用程序。

據(jù)了解，高通AI Hub將支持超過75個AI模型，包括傳統(tǒng)AI模型和生成式AI模型。通過對這些模型進行優(yōu)化，開發(fā)者運行AI推理的速度將提升高達4倍。同時優(yōu)化后的模型占用的內存帶寬和存儲空間也將大大減少，從而實現(xiàn)更高的能效和更持久的電池續(xù)航。

與此同時，在本屆MWC展會上，高通還帶來了一系列先進的AI技術的應用。

高通展示了全球首個在搭載第三代驍龍8的Android手機上運行的多模態(tài)大模型（LMM）。該LMM模型支持超過70億參數(shù)，不僅能夠接受文本輸入，還可以接受圖像、音頻等其它輸入數(shù)據(jù)類型，并能夠基于輸入的內容進行多輪對話。

該模型能夠實現(xiàn)豐富而強大的應用體驗。比如你可以拍攝一張食物照片，然后詢問AI：這些食材都是什么？根據(jù)這些食材能夠做什么菜？每道菜的熱量是多少？AI助手就能夠基于視覺內容提供豐富的信息。

特別值得一提的是，該模型所有的AI功能完全在終端側運行，能夠以非常及時的響應速度生成token，并且更好地保護隱私。

在搭載全新驍龍X Elite平臺的Windows PC上，高通帶來另一個多模態(tài)AI的演示。這是全球首個在Windows PC上運行的音頻推理多模態(tài)大模型，它能理解鳥鳴、音樂或家中的不同聲音，并且能夠基于這些信息進行對話，為用戶提供幫助。

該多模態(tài)大語言模型能夠理解用戶輸入的音樂類型和風格，為用戶提供音樂的歷史以及相似的音樂推薦，或通過對話的方式為用戶調節(jié)周圍的音樂。同樣，以上模型經(jīng)過優(yōu)化，能夠實現(xiàn)出色的性能和能效，并完全在終端側運行，以充分發(fā)揮驍龍X Elite的強大能力，增強隱私性、可靠性、個性化以及成本優(yōu)勢。

高通還展示了首個在Android手機上運行的LoRA模型。LoRA能夠在不改變底層模型的前提之下，調整或定制模型的生成內容。通過使用很小的適配器（大小僅為模型的2%，便于下載），就能夠個性化定制整個生成式AI模型的行為。

在演示中，模型能夠根據(jù)不同個人或藝術偏好創(chuàng)建高質量自定義圖像。LoRA是面向終端側生成式AI的關鍵技術，它能夠提升效率，可擴展性以及定制化能力。這一技術不僅能夠運用于圖像生成，也可以應用于大語言模型等多種生成式AI模型，是實現(xiàn)個性化生成式AI的高效方式。

高通一直致力于將智能計算擴展至邊緣側幾乎所有類型的終端，包括PC、汽車、智能手機、Wi-Fi設備、網(wǎng)絡基礎設施等，并為其帶來無與倫比的連接、領先的邊緣AI以及高性能低功耗處理能力。憑借這些特性，OEM廠商和開發(fā)者能夠更好地打造具備智能計算能力的終端，為我們帶來更具生產(chǎn)力、更加便捷、更有趣的生活，并推動社會進步與發(fā)展。