【本地化部署】Dify大語言模型(LLM) 應(yīng)用開發(fā)平臺【小白教程】

0 評論 2732 瀏覽 1 收藏 9 分鐘

不想連云端也依賴?這份教程手把手帶你把 Dify LLM 應(yīng)用平臺部署到本地,從環(huán)境配置到啟動調(diào)試全流程復(fù)刻,助你在數(shù)據(jù)私有性、系統(tǒng)自控性上實現(xiàn)真正“自己掌握主動權(quán)”的開發(fā)體驗。

Dify是一款開源的大語言模型(LLM) 應(yīng)用開發(fā)平臺。它融合了后端即服務(wù)(Backend as Service)和LLMOPs的理念,使開發(fā)者可以快速搭建生產(chǎn)級的生成式 AI 應(yīng)用。

具體關(guān)于dify的說明,請看說明文檔:https://docs.dify.ai/zh-hans

本地化部署的概念

是將AI應(yīng)用和大模型部署在企業(yè)自己的電腦上,而非依賴于第三方云服務(wù)提供商。這種部署方式允許企業(yè)完全掌控AI應(yīng)用的運行環(huán)境、數(shù)據(jù)存儲和處理過程。

本地化部署Dify的優(yōu)勢

1. 數(shù)據(jù)安全與隱私保護(hù)

本地化部署Dify的首要優(yōu)勢在于數(shù)據(jù)安全和隱私保護(hù)。

2. 性能與響應(yīng)速度優(yōu)勢

本地化部署Dify可以顯著提升AI應(yīng)用的性能和響應(yīng)速度。(也要看你電腦的性能哈)

3. 成本效益

本地化部署Dify可以顯著降低個人企業(yè)的運營成本。通過本地部署Dify并接入本地大語言模型(如Ollama、DeepSeek等),可以顯著降低API調(diào)用成本。對于高頻使用場景,本地部署能將模型調(diào)用成本降到0,真正實現(xiàn)token自由。

首先準(zhǔn)備工具:

電腦(win、mac都可以)

工具:docker、dify源碼、windows子系統(tǒng)

電腦要求4cpu、8G內(nèi)存以上

電腦親測:

2015款macmini 英特爾4核、4G內(nèi)存,能運行、卡頓,

②不知名win筆記本,英特爾4核、8G內(nèi)存、英偉達(dá)940MX顯卡,可運行、能用的流暢,cpu占用70%左右

③2025款輕薄本,英特爾ultra5 18核 24G內(nèi)訓(xùn)、集成顯卡,非常流暢運行,cpu占用20%以下

以上是個人電腦部署實驗,請參考

下面開始部署。。。

第一步:下載docker

docker下載地址:https://docs.docker.com/get-started/get-docker/

選擇版本:我是筆記本電腦安裝,先擇的這個版本

首先點擊下載鏈接:Docker Desktop for Windows – x86_64,

無法下載的情況下,點擊下方的Release notes。從中選擇想要的版本下載。

第二步:安裝docker

安裝完成后會重啟電腦。

第三步:安裝WSL

安裝WSL命令如下:

其實就是輸入:wsl –update

如圖下面示例:

安裝后記得關(guān)閉后重啟docker desktop:

你會安裝上面軟件,不用管,繼續(xù)打開docker

再次打開docker就打先可以運行docker了;

第四步:部署dify

1、下載dify文件

Dify源碼地址:https://github.com/langgenius/dify

下載原碼文件,解壓到本地文件夾。

2. 啟動服務(wù)

a. 進(jìn)入Dify的docker目錄

可以打開CMD工具或者powershell命令窗、或者在docker中>_terminel,下面用docker中的工具來演示,

C:UsersAdministrator>E:E:>cdAIdifydockerE:AIdifydocker>

代碼是表示要進(jìn)入你本地下載的dify源碼文件中的docker文件夾

b. 創(chuàng)建默認(rèn)配置

復(fù)制一個配置示例為可用配置:

E:AIdifydocker>copy.env.example.env已復(fù)制1個文件。

c. docker鏡像源配置

國內(nèi)或沒有加速器的需要配置docker鏡像源:

紅框位置換成下面的代碼:這一步很關(guān)鍵,我在這里卡住好多次,只有替換成下面鏈接才能完成安裝;

{“builder”:{

“gc”:{

“defaultKeepStorage”:”20GB”,

“enabled”:true

}

},

“experimental”:false,

“registry-mirrors”:[

“https://docker.m.daocloud.io”,

“https://docker.imgdb.de”,

“https://docker.hlmirror.com”,

“https://cjie.eu.org”

]

}

d. 啟動容器

命令如下:dockercompose up -d# 請注意docker版本,如果較老,需要加上橫杠docker-compose up -d

第一次啟動需要下載很多東西:如果一次啟動不成功,可以多嘗試幾次,

安裝完成效果

執(zhí)行完成后再執(zhí)行一次可以看到全部執(zhí)行成功:

可以通過docker desktop查看已運行成功的鏡像,也通過命令(docker compose ps)查看:

======到這里docker安裝完成、dify部署完成=====

e. 訪問Dify

打開瀏覽器,輸入訪問地址初始化管理員:http://localhost/install,創(chuàng)建管理員后登錄進(jìn)入主頁。

登錄的界面

=====到這里本地化部署dify完成=====

本文由 @董方旭 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!