Webman AI 發(fā)布5.4.0版本,支持選擇任意embedding模型,這一突破性更新使得用戶能夠?qū)ebman AI與本地
DeepSeek等開源模型無縫結(jié)合,打造專屬的私有知識(shí)庫系統(tǒng)。通過本地化訓(xùn)練與部署,用戶可以無需依賴網(wǎng)絡(luò)連接即可實(shí)現(xiàn)內(nèi)部專有AI知識(shí)庫助理。
以下是完整的教程,如果你之前執(zhí)行過相關(guān)訓(xùn)練操作,有些步驟可以直接跳過。
假設(shè)你已經(jīng)安裝了webman/ai
docker pull docker.1ms.run/redis/redis-stack
mkdir /home/data/redis -p
docker run --name redis-stack -v /home/data/redis:/data -p 6380:6379 -d redis/redis-stack
webman-v2版本 webman根目錄執(zhí)行
composer require -W webman/redis illuminate/events
webman-v1版本 webman根目錄執(zhí)行
composer require -W illuminate/redis illuminate/events
新建 plugin/ai/config/redis.php
,內(nèi)容如下
<?php
return [
'default' => [
'host' => '127.0.0.1',
'password' => null,
'port' => 6380,
'database' => 0,
],
];
安裝 ollama,并執(zhí)行
ollama pull nomic-embed-text
ollama pull deepseek-r1:14b
提示
nomic-embed-text 是向量模型,訓(xùn)練必須安裝
除了 deepseek-r1:14b 還可以選 deepseek-coder-v2:latest qwen2.5:14b 等模型
Linux: webman根目錄運(yùn)行 php start.php restart -d
Windows: 按ctl c
停止webman,然后運(yùn)行 php windows.php start
提示
如果提示 Class'Redis' not found 是因?yàn)闆]有給PHP安裝Redis擴(kuò)展。
訓(xùn)練的文本樣例
注意:訓(xùn)練內(nèi)容沒有固定格式,訓(xùn)練的數(shù)據(jù)最好頂部加上一個(gè)對(duì)本內(nèi)容的總結(jié)性標(biāo)題或提問,這樣效果才會(huì)最好。類似上面這個(gè)截圖
完整的webman手冊(cè)樣本數(shù)據(jù),點(diǎn)擊這里下載
提示
導(dǎo)入數(shù)據(jù)目前只支持txt和md為后綴的文件,單個(gè)文件大小不能大于9k。支持壓縮包上傳,同理壓縮包內(nèi)每個(gè)文件大小不能大于9k。
AI訓(xùn)練數(shù)據(jù) 里的 內(nèi)容向量 里有值,說明此條記錄已經(jīng)訓(xùn)練完畢,內(nèi)容向量 同時(shí)會(huì)在redis-stack里存儲(chǔ)一份,用來快速檢索。
注意
如果你不想讓你訓(xùn)練的模型回復(fù)訓(xùn)練內(nèi)容以外的數(shù)據(jù),可以在角色提示詞里明示。例如webman手冊(cè)助手的角色提示詞如下:
“webman是一個(gè)高性能php框架,你是一個(gè)webman助手,以下是webman文檔,請(qǐng)根據(jù)文檔回復(fù),如果無法得到答案或者不是webman相關(guān)的問題則回復(fù)文檔中未找到對(duì)應(yīng)的答案。請(qǐng)確保回復(fù)正確。”
在需要使用訓(xùn)練數(shù)據(jù)的角色里選擇訓(xùn)練集,保存。(前端用戶需要刷新頁面角色才能生效)
AI就會(huì)使用訓(xùn)練集里的數(shù)據(jù)回復(fù)問題。
nomic-embed-text 這個(gè)模型,對(duì)硬件要求高嗎? 不帶顯卡的x86服務(wù)器可以部署嗎?
這種問題,要善于AI:
nomic-embed-text 模型對(duì)硬件要求較低,尤其適合資源有限的場(chǎng)景,不帶獨(dú)立顯卡的x86服務(wù)器可以部署。以下是具體分析:
OLLAMA_MODELS
),避免占用系統(tǒng)盤空間。nomic-embed-text 是一款輕量級(jí)嵌入模型,對(duì)硬件要求較低,無顯卡的x86服務(wù)器完全能夠部署。其優(yōu)勢(shì)在于低資源占用和靈活的部署方式,適合個(gè)人開發(fā)者或中小團(tuán)隊(duì)構(gòu)建本地知識(shí)庫、RAG(檢索增強(qiáng)生成)系統(tǒng)等應(yīng)用場(chǎng)景。若需處理大規(guī)模數(shù)據(jù)或追求更高性能,可考慮升級(jí)CPU或引入GPU加速。
完全照步驟走,不報(bào)錯(cuò)也不執(zhí)行,訓(xùn)練數(shù)據(jù)列表的“內(nèi)容向量”也不出來,不知道怎么回事。