原標(biāo)題:體驗(yàn)在AMD Ryzen AI和Radeon上運(yùn)行DeepSeek R1精簡(jiǎn)版"推理"模型
推理模型是一類新型的大型語(yǔ)言模型(LLMs),通過鏈?zhǔn)剿季S(CoT)推理來解決高度復(fù)雜的任務(wù),其代價(jià)是響應(yīng)時(shí)間較長(zhǎng)。DeepSeek R1是最近發(fā)布的前沿“推理”模型,已被提煉成功能強(qiáng)大的小型模型。目前,可以通過LM Studio,輕松將這些DeepSeek R1精簡(jiǎn)版模型部署到AMD Ryzen AI處理器和Radeon顯卡上,并可以使用。
推理模型在生成最終輸出之前加入了一個(gè)“思考”階段——用戶可以通過展開“思考”窗口看到模型給出最終答案前的推理過程。與傳統(tǒng)的大型語(yǔ)言模型(LLMs)直接生成單次響應(yīng)不同,鏈?zhǔn)剿季S(CoT)推理模型會(huì)在回答前進(jìn)行廣泛的推理。LLM所做的假設(shè)和自我反思對(duì)用戶是可見的,這提高了模型的推理和分析能力——盡管這意味著首次(最終輸出)token的響應(yīng)時(shí)間會(huì)顯著增加。
推理模型可能會(huì)在生成最終響應(yīng)之前,先花費(fèi)數(shù)千個(gè)token來分析和處理問題(您可以查看這一思維鏈!)。這種方法使得模型在解決涉及數(shù)學(xué)和科學(xué)的復(fù)雜問題時(shí)表現(xiàn)出色,能夠從多角度深入分析問題后再得出最終答案。根據(jù)您的AMD硬件配置,這些模型將在您的AMD Ryzen AI處理器或Radeon顯卡上提供最先進(jìn)的推理能力。
如何在 AMD Ryzen AI和 Radeon顯卡上運(yùn)行 DeepSeek R1精簡(jiǎn)版"推理"模型
請(qǐng)按照以下簡(jiǎn)單步驟操作,僅需幾分鐘(具體時(shí)間取決于下載速度)即可開始運(yùn)行 DeepSeek R1 精簡(jiǎn)版模型。
請(qǐng)確保您使用的是可選驅(qū)動(dòng)程序 Adrenalin 25.1.1,您可以通過點(diǎn)擊此鏈接直接下載。
第一步:請(qǐng)確保您已安裝 25.1.1 可選版本或更高版本的 Adrenalin 驅(qū)動(dòng)程序。
第二步:請(qǐng)從 lmstudio.ai/ryzenai 下載 LM Studio 0.3.8 或更高版本。
第三步:安裝 LM Studio 后,您可直接跳過引導(dǎo)屏幕。
第四步:安裝LM Studio后,您可以點(diǎn)擊“發(fā)現(xiàn)”選項(xiàng)。
第五步: 選擇您的DeepSeek R1 Distill。像Qwen 1.5B這樣的小型Distill提供了極速的性能(并且是推薦的起點(diǎn)),而更大的Distill則提供更強(qiáng)的推理能力。它們都具有極強(qiáng)的能力。以下表格詳細(xì)列出了最大推薦的DeepSeek R1 Distill尺寸:
* = AMD推薦將所有Distill運(yùn)行在Q4 K M量化模式。
1 = 需要將可變顯存設(shè)置為自定義:24GB。
2 = 需要將可變顯存設(shè)置為高。
* = AMD推薦將所有Distill運(yùn)行在Q4 K M量化模式。
1 = 列出在沒有部分GPU卸載的情況下最大支持的Distill。
第六步:在右側(cè),確保選擇了“Q4 K M”量化模式,然后點(diǎn)擊“下載”。
第七步:下載完成后,返回聊天選項(xiàng)頁(yè),從下拉菜單中選擇DeepSeek R1 distill,并確保勾選了“手動(dòng)選擇參數(shù)”選項(xiàng)。
第八步:在GPU卸載中,將滑塊移到最大值。
第九步:點(diǎn)擊“模型加載”。
第十步:與完全在本地AMD硬件上運(yùn)行的推理模型進(jìn)行交互!
注釋
GD-97 - 提供第三方網(wǎng)站鏈接僅為方便之用,除非明確聲明,AMD對(duì)這些鏈接網(wǎng)站的內(nèi)容不負(fù)責(zé)任,也不表示任何形式的認(rèn)可。
GD-220e - Ryzen AI被定義為結(jié)合了專用AI引擎、AMD Radeon圖形引擎和Ryzen處理器核心的組合,能夠啟用AI功能。需要OEM和ISV支持,某些AI功能可能尚未針對(duì)Ryzen AI處理器進(jìn)行優(yōu)化。Ryzen AI與以下處理器兼容:(a)AMD 銳龍 7040和8040系列處理器以及銳龍 PRO 7040/8040系列處理器,但不包括銳龍 5 7540U、銳龍 5 8540U、銳龍 3 7440U和銳龍 3 8440U處理器;(b)AMD 銳龍 AI 300系列處理器和AMD 銳龍 AI PRO 300系列處理器;(c)所有AMD 銳龍 8000G系列桌面處理器,但不包括銳龍 5 8500G/GE和銳龍 3 8300G/GE;(d)AMD 銳龍 200系列處理器和銳龍 PRO 200系列處理器,但不包括銳龍 5 220和銳龍 3 210;(e)AMD 銳龍 AI Max系列處理器和銳龍 AI PRO Max系列處理器。在購(gòu)買之前,請(qǐng)與您的系統(tǒng)制造商確認(rèn)功能的可用性。
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點(diǎn),亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。