DeepSeek 本地部署教程(極其簡單)
DeepSeek 本地部署教程
DeepSeek-R1模型在各項指標(biāo)直逼甚至超越OpenAI及同類產(chǎn)品，迅速成為業(yè)界焦點。更令人驚喜的是該模型基于MIT協(xié)議免費開源，允許任何公司或個人自由商用，無需任何授權(quán)限制，一時間在AI界掀起了巨大波瀾。
最近DeepSeek服務(wù)被外海攻擊，有時候無法訪問，既然DeepSeek-R1是開源的，那么我們其實可以部署自己的DeepSeek-R1模型，如果再結(jié)合Webman AI，效果將更加完美。
廢話不多說，直接上教程教怎么本地部署DeepSeek-R1服務(wù)。
前提
電腦有顯卡，顯卡越好效果越好
一、安裝ollama
二、根據(jù)配置安裝合適的版本
| 參考量 | 顯存需求 | 顯卡推薦 | 命令 |
|---|---|---|---|
| 1.5B | 通常4GB左右 | GTX 1050 | ollama run deepseek-r1:1.5b |
| 8B | 一般8-10GB | GTX 1660 | ollama run deepseek-r1:8b |
| 14B | 12GB以上，16GB以上運行流暢 | RTX 3060 | ollama run deepseek-r1:14b |
| 32B | 16GB以上，21GB以上運行流暢 | RTX 3060 | ollama run deepseek-r1:32b |
| 70B | 24GB以上，40GB以上運行流暢 | RTX 3090、RTX 4090 | ollama run deepseek-r1:70b |
| 671B | 1342GB | 16張NVIDIA A100 80GB顯卡 | ollama run deepseek-r1:671b |
根據(jù)顯存選擇合適的版本，有條件的建議上32B或者70B，效果非常好。
如果顯存不夠，并且使用了高版本，會自動使用CPU+顯存的方式來運行，但是輸出很慢，每秒1-2個字。
三、對話
安裝完之后就可以直接在命令行對話了。
以下內(nèi)容為可選項
配合 Webman AI (可選)
如果你有 Webman AI 程序，則可以接入自己的 deepseek-r1，提升用戶體驗的同時，使自己從中獲取收益。
ollama 默認(rèn)在命令行中對話，UI界面并不友好，如果配合 Webman AI 也可以有更好的交互體驗。
假設(shè)你已經(jīng)部署了Webman AI程序，通過以下步驟接入 DeepSeek-R1。
進(jìn)入到Webman AI 管理后臺
-
新增模型
-
設(shè)置對外模型名稱
-
新建角色
-
測試
9個回答
如何訓(xùn)練自已的知識庫呢？
-
walkor 2025-03-07http://www.wtbis.cn/doc/ai/install/embedding.html
訓(xùn)練方式一樣，回答問題時可以選擇用deepseek回答 -
liziyu 2025-03-07
請教下老大：
1、向量的那個啥算法是自研的還是調(diào)用哪個的呀？
2、上傳的文檔目前只能是 .txt與.md的嗎？比如：docx與ppt能支持嗎后面？
3、webman/ai與deepseek一起離線部署在局域網(wǎng)（不聯(lián)網(wǎng)）可以訓(xùn)練知識庫使用嗎？
