春節(jié)期間,DeepSeek-r1大火,被稱之為國(guó)運(yùn)級(jí)的軟件。筆者春節(jié)假期一大半時(shí)間都在和DeepSeek聊天,確實(shí)很好用。但是“人”紅是非多,太火造成訪問量劇增,深度求索的服務(wù)器經(jīng)常人滿為患,響應(yīng)不及時(shí),相信大家經(jīng)常看到以下畫面:
偶爾了解到DeepSeek-r1可以本地化部署,連忙去找教程。作為新網(wǎng)紅,網(wǎng)上教程多如牛毛。一圈看下來,筆者有些眼花繚亂,以為本地化部署DeepSeek-r1會(huì)是一個(gè)很復(fù)雜的工程,既要考慮計(jì)算機(jī)配置又要考慮python版本,還要顧及GPU、CUDA等方面。試過幾次之后,不是CUDA版本不匹配,就是外網(wǎng)無法訪問。
正值一籌莫展之際,偶然間遇到了“羊駝”,一番折騰之后,順利完成本地化部署,從而實(shí)現(xiàn)與“網(wǎng)紅”對(duì)話自由。? ? ?教程極為簡(jiǎn)單,幾乎無門檻,只要會(huì)上網(wǎng),windows系統(tǒng),只要5分鐘即可掌握。
一、根據(jù)計(jì)算機(jī)配置明確具體模型
可以參考配置表,選擇合適的模型。不過也不用擔(dān)心,也沒有那么嚴(yán)格,筆者顯卡為3070Ti,顯存只有8Gb,大著膽子選擇了deepseek-r1:14b,主要是想讓本地化大模型更聰明一些,完成更復(fù)雜的任務(wù)。當(dāng)然越級(jí)配置也是要付出代價(jià)的,部署成功之后,只要是簡(jiǎn)單的對(duì)話,GPU風(fēng)扇就開始瘋轉(zhuǎn),真擔(dān)心會(huì)燒掉,還是要悠著點(diǎn),不能給計(jì)算機(jī)壓過重的擔(dān)子。二、安裝ollamahttps://ollama.com/打開官網(wǎng),無需魔法,無需注冊(cè),直接下載即可。筆者理解來看,ollama相當(dāng)于大模型版的docker,簡(jiǎn)單易用。
下載完成后,和正常安裝軟件沒有任何區(qū)別。
安裝完成后,計(jì)算機(jī)任務(wù)欄會(huì)出現(xiàn)一個(gè)萌萌的羊駝。
打開網(wǎng)頁,輸入本地11434端口,會(huì)出現(xiàn)ollama is running的提示。三、下載運(yùn)行模型打開CMD命令行工具輸入:ollama run deepseek-r1:14b注:冒號(hào)之后為具體模型版本,根據(jù)計(jì)算機(jī)配置選擇。
小貼士:建議在下載模型之前,設(shè)置OLLAMA_MODELS系統(tǒng)變量,指定下載目錄,從而避免C盤爆滿。設(shè)置之后,最好注銷一下生效再下載。
教程極簡(jiǎn),時(shí)間主要消耗在模型下載方面,體積比較大。14B為9Gb,需要等待一段時(shí)間,然后自動(dòng)安裝,像不像docker拉取、運(yùn)行鏡像操作。命令行出現(xiàn)success之后,就可以直接對(duì)話了。四、安裝UI工具理論上經(jīng)過第三步,本地大模型已經(jīng)可以正常工作。不過在現(xiàn)在而今眼目下的信息時(shí)代,還面對(duì)著黑屏,總是有點(diǎn)顯得太low。還好有chatbox,分分鐘出現(xiàn)界面。關(guān)鍵是也很簡(jiǎn)單。登錄官網(wǎng):https://chatboxai.app/zh可以下載客戶端,也可以直接啟用網(wǎng)頁版。
筆者下載了客戶端,一路下一步,完成安裝。
打開軟件后,選擇第二個(gè)。
進(jìn)入詳細(xì)設(shè)置后,最關(guān)鍵的三個(gè)設(shè)置參數(shù),特別是第三個(gè)模型,一定要選擇自己實(shí)際運(yùn)行的模型才行。
一切準(zhǔn)備就緒,開始暢聊。只需5分鐘,擁有本地的DeepSeek-r1,您學(xué)會(huì)了嗎?