在AMD平臺(tái)運(yùn)行DeepSeek R1"推理"模型

首頁(yè)>科技資訊>>快訊>>>正文

在AMD平臺(tái)運(yùn)行DeepSeek R1"推理"模型

原標(biāo)題：體驗(yàn)在AMD Ryzen AI和Radeon上運(yùn)行DeepSeek R1精簡(jiǎn)版"推理"模型

推理模型是一類新型的大型語(yǔ)言模型（LLMs），通過鏈?zhǔn)剿季S（CoT）推理來解決高度復(fù)雜的任務(wù)，其代價(jià)是響應(yīng)時(shí)間較長(zhǎng)。DeepSeek R1是最近發(fā)布的前沿“推理”模型，已被提煉成功能強(qiáng)大的小型模型。目前，可以通過LM Studio，輕松將這些DeepSeek R1精簡(jiǎn)版模型部署到AMD Ryzen AI處理器和Radeon顯卡上，并可以使用。

推理模型在生成最終輸出之前加入了一個(gè)“思考”階段——用戶可以通過展開“思考”窗口看到模型給出最終答案前的推理過程。與傳統(tǒng)的大型語(yǔ)言模型（LLMs）直接生成單次響應(yīng)不同，鏈?zhǔn)剿季S（CoT）推理模型會(huì)在回答前進(jìn)行廣泛的推理。LLM所做的假設(shè)和自我反思對(duì)用戶是可見的，這提高了模型的推理和分析能力——盡管這意味著首次（最終輸出）token的響應(yīng)時(shí)間會(huì)顯著增加。

推理模型可能會(huì)在生成最終響應(yīng)之前，先花費(fèi)數(shù)千個(gè)token來分析和處理問題（您可以查看這一思維鏈！）。這種方法使得模型在解決涉及數(shù)學(xué)和科學(xué)的復(fù)雜問題時(shí)表現(xiàn)出色，能夠從多角度深入分析問題后再得出最終答案。根據(jù)您的AMD硬件配置，這些模型將在您的AMD Ryzen AI處理器或Radeon顯卡上提供最先進(jìn)的推理能力。

如何在 AMD Ryzen AI和 Radeon顯卡上運(yùn)行 DeepSeek R1精簡(jiǎn)版"推理"模型

請(qǐng)按照以下簡(jiǎn)單步驟操作，僅需幾分鐘（具體時(shí)間取決于下載速度）即可開始運(yùn)行 DeepSeek R1 精簡(jiǎn)版模型。

請(qǐng)確保您使用的是可選驅(qū)動(dòng)程序 Adrenalin 25.1.1，您可以通過點(diǎn)擊此鏈接直接下載。

第一步：請(qǐng)確保您已安裝 25.1.1 可選版本或更高版本的 Adrenalin 驅(qū)動(dòng)程序。

第二步：請(qǐng)從 lmstudio.ai/ryzenai 下載 LM Studio 0.3.8 或更高版本。

第三步：安裝 LM Studio 后，您可直接跳過引導(dǎo)屏幕。

第四步：安裝LM Studio后，您可以點(diǎn)擊“發(fā)現(xiàn)”選項(xiàng)。

第五步：選擇您的DeepSeek R1 Distill。像Qwen 1.5B這樣的小型Distill提供了極速的性能（并且是推薦的起點(diǎn)），而更大的Distill則提供更強(qiáng)的推理能力。它們都具有極強(qiáng)的能力。以下表格詳細(xì)列出了最大推薦的DeepSeek R1 Distill尺寸：

* = AMD推薦將所有Distill運(yùn)行在Q4 K M量化模式。

1 = 需要將可變顯存設(shè)置為自定義：24GB。

2 = 需要將可變顯存設(shè)置為高。

* = AMD推薦將所有Distill運(yùn)行在Q4 K M量化模式。

1 = 列出在沒有部分GPU卸載的情況下最大支持的Distill。

第六步：在右側(cè)，確保選擇了“Q4 K M”量化模式，然后點(diǎn)擊“下載”。

第七步：下載完成后，返回聊天選項(xiàng)頁(yè)，從下拉菜單中選擇DeepSeek R1 distill，并確保勾選了“手動(dòng)選擇參數(shù)”選項(xiàng)。

第八步：在GPU卸載中，將滑塊移到最大值。

第九步：點(diǎn)擊“模型加載”。

第十步：與完全在本地AMD硬件上運(yùn)行的推理模型進(jìn)行交互！

注釋

GD-97 - 提供第三方網(wǎng)站鏈接僅為方便之用，除非明確聲明，AMD對(duì)這些鏈接網(wǎng)站的內(nèi)容不負(fù)責(zé)任，也不表示任何形式的認(rèn)可。

GD-220e - Ryzen AI被定義為結(jié)合了專用AI引擎、AMD Radeon圖形引擎和Ryzen處理器核心的組合，能夠啟用AI功能。需要OEM和ISV支持，某些AI功能可能尚未針對(duì)Ryzen AI處理器進(jìn)行優(yōu)化。Ryzen AI與以下處理器兼容：（a）AMD 銳龍 7040和8040系列處理器以及銳龍 PRO 7040/8040系列處理器，但不包括銳龍 5 7540U、銳龍 5 8540U、銳龍 3 7440U和銳龍 3 8440U處理器；（b）AMD 銳龍 AI 300系列處理器和AMD 銳龍 AI PRO 300系列處理器；（c）所有AMD 銳龍 8000G系列桌面處理器，但不包括銳龍 5 8500G/GE和銳龍 3 8300G/GE；（d）AMD 銳龍 200系列處理器和銳龍 PRO 200系列處理器，但不包括銳龍 5 220和銳龍 3 210；（e）AMD 銳龍 AI Max系列處理器和銳龍 AI PRO Max系列處理器。在購(gòu)買之前，請(qǐng)與您的系統(tǒng)制造商確認(rèn)功能的可用性。

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。