普通筆記本W(wǎng)indows私有化部署DeepSeek模型

本文描述普通筆記本(集成顯卡)上安裝和運(yùn)行DeespSeek模型的方法。最終效果如圖


image.png

安裝步驟

安裝Ollama

訪問(wèn)Ollama主頁(yè),點(diǎn)擊下載 -> Download For Windows,下載并安裝。
安裝完畢后打開(kāi)windows命令行cmd

# 檢查ollama版本
> ollama --version
ollama version is 0.5.7
# 檢查已經(jīng)安裝的模型,默認(rèn)是空
>ollama list
NAME                  ID              SIZE      MODIFIED

確認(rèn)安裝成功

下載和運(yùn)行模型

# 啟動(dòng)模型,如果沒(méi)有安裝則會(huì)自動(dòng)下載安裝
ollama run deepseek-r1:1.5b
# 等待一定時(shí)間后顯示以下界面表示運(yùn)行成功
>>> Send a message (/? for help)
# 退出模型
>>> /bye

可以直接在命令行打字交互。
可以安裝更多的模型。

#
>ollama list
NAME                  ID              SIZE      MODIFIED
deepseek-r1:7b        0a8c26691023    4.7 GB    42 minutes ago
deepseek-r1:32b       38056bbcbb2d    19 GB     55 minutes ago
deepseek-r1:14b       ea35dfe18182    9.0 GB    2 hours ago
deepseek-r1:latest    0a8c26691023    4.7 GB    3 hours ago
deepseek-r1:1.5b      a42b25d8c10a    1.1 GB    4 hours ago

修改模型存儲(chǔ)位置(可選)

默認(rèn)模型存在 C:\Users\XXX\.ollama\models,如果要修改模型存儲(chǔ)的位置。
在電腦環(huán)境變量中新建變量
OLLAMA_MODELS = D:\XXXX
改變后重啟電腦,注意一定要重啟電腦才能生效

image.png

模型實(shí)測(cè)比較

以本人筆記本 R7 4750+32G內(nèi)存,實(shí)測(cè)模型占用的內(nèi)存和性能大概如下:

模型 內(nèi)存占用 速度
1.5b 1~2 GB 較快,與線(xiàn)上模型相似
7b 4~5 GB 每秒5-8詞
14b ~10 GB 每秒2-3詞
32b ~20GB 每秒1詞

回答質(zhì)量上,1.5b的模型在回答國(guó)內(nèi)冷門(mén)區(qū)域的旅游景點(diǎn)時(shí)會(huì)胡編亂造,7b偶爾會(huì)中英夾雜但意思對(duì),其余都可以較正確回答。

安裝Docker

訪問(wèn)Docker wiki說(shuō)明文檔,下載 Docker Desktop for Windows - x86_64 并安裝。
安裝后,運(yùn)行桌面的Docker Desktop

image.png

Docker中安裝運(yùn)行open-webui

在Docker中可以直接安裝運(yùn)行open-webui,因此不用額外獨(dú)立安裝

# 端口3000可修改為其他端口
> docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# 輸出信息
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
af302e5c37e9: Pull complete
...
aa537a9b900a: Pull complete
Digest: sha256:b2c83b5c7b9b244999307b4b1c0e195d41268f3d3a62b84b470c0cea5c5743fd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
a8750b9857788452e981249168dcc520fe5cea4c0d917e50b58c694aca214de4

# 查看當(dāng)前運(yùn)行的容器
> docker ps
# 輸出信息
CONTAINER ID   IMAGE                                COMMAND                   CREATED          STATUS
 PORTS                    NAMES
a8750b985778   ghcr.io/open-webui/open-webui:main   "bash start.sh"           31 minutes ago   Up 31 minutes (healthy)   0.0.0.0:3000->8080/tcp   open-webui
839a434b163a   docker/welcome-to-docker:latest      "/docker-entrypoint.…"   47 minutes ago   Up 47 minutes
0.0.0.0:8088->80/tcp     welcome-to-docker

使用

瀏覽器打開(kāi)
http://localhost:3000/
輸入設(shè)置用戶(hù)名密碼

image.png

可以直接對(duì)話(huà),左上角選擇模型
image.png

相關(guān)資源鏈接

DeepSeek-R1 本地部署指南:Ollama 助你輕松實(shí)現(xiàn),支持2G顯卡
open-webui Github主頁(yè)
open-webui wiki 說(shuō)明文檔
Docker wiki說(shuō)明文檔
Ollama主頁(yè)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容