用開(kāi)源版Coze,快速搭了個(gè)“痛風(fēng)你別吃”

0 評(píng)論 443 瀏覽 2 收藏 13 分鐘

Coze 開(kāi)源+豆包 1.6 flash 0715 帶來(lái)超強(qiáng)圖像理解能力,3 分鐘一鍵部署、再花幾行代碼,就做了一款拍照就能識(shí)別食物嘌呤值的小工具——「痛風(fēng)你別吃」?,F(xiàn)在,只要把鏡頭對(duì)準(zhǔn)餐桌,哪盤(pán)是“痛風(fēng)套餐”、哪盤(pán)放心吃,手機(jī)秒告訴你!

黃叔其實(shí)一直有個(gè)痛苦,就是痛風(fēng),喝不了酒,吃不了海鮮,剛開(kāi)始中招那會(huì),收到了各種圖片,上面寫(xiě)了一大堆哪些能吃哪些不能吃,搞得每次吃飯都得掏出來(lái)自己比對(duì),麻煩死了。

最近Coze開(kāi)源,加上豆包發(fā)布了豆包1.6 flash 0715,大幅增強(qiáng)了圖像理解能力,并且能輸出圖片標(biāo)注,黃叔眼前一亮,于是,“痛風(fēng)你別吃”出爐了:

歡迎大家體驗(yàn):tong.superhuang.me

真的,可以線上訪問(wèn)的,但是被微信封殺了,大家可以復(fù)制鏈接,用瀏覽器打開(kāi)訪問(wèn),也可以在PC端上體驗(yàn)哈哈,免費(fèi)!

很強(qiáng),識(shí)別準(zhǔn)確度非常高,不光是能直接在圖上圈選出來(lái),并且可以識(shí)別是什么食物,還能把具體的嘌呤值給到,現(xiàn)在每次吃飯前,我都要掏出手機(jī),拍照識(shí)別一下!

那這套產(chǎn)品得益于開(kāi)源Coze,以及最新的豆包1.6 flash 0715,很方便就實(shí)現(xiàn)了,下面來(lái)給大家講解下如何實(shí)現(xiàn)的:

第一步:3分鐘完成開(kāi)源Coze部署

Coze開(kāi)源后,很快在GitHub就拿到了14.9k+ Stars了,很強(qiáng),但是要下載到本地再部署,總歸還是難倒了不少朋友。

沒(méi)事,火山直接提供了一鍵部署方案,3分鐘全部完成線上部署!真的,簡(jiǎn)單到這份上,黃叔沒(méi)話說(shuō)了:

目前有兩個(gè)版本可以一鍵部署,對(duì)應(yīng)兩個(gè)入口,分別是:

Coze Studio(開(kāi)發(fā)者工具,本次教程內(nèi)容):https://v2mg.cn/pbzSXXos5Wk/

Coze Loop(扣子羅盤(pán)):https://v2mg.cn/_RCsVbO7YDQ/

咱們這次開(kāi)發(fā)用的是Coze Studio,直接復(fù)制上面的鏈接,登錄火山賬號(hào),點(diǎn)擊立即部署。

需要配置完密碼和管理員郵箱,這個(gè)會(huì)作為你 Coze 的管理員賬號(hào)。

點(diǎn)擊提交訂單后,完成支付,它就馬上開(kāi)始部署了。

等部署完成,系統(tǒng)會(huì)返回訪問(wèn)地址。

不需要自己配機(jī)器,也不需要寫(xiě)部署腳本,部署完之后給你一個(gè)公網(wǎng)地址,點(diǎn)進(jìn)去就是完整的系統(tǒng)界面:

第二步:添加最新的大模型

但是,這時(shí)默認(rèn)配置的模型里還沒(méi)有最新的doubao 1.6 flash 0715,需要用遠(yuǎn)程連接添加一下模型:

先進(jìn)入火山引擎「云服務(wù)器」

https://console.volcengine.com/ecs

遠(yuǎn)程鏈接需要服務(wù)器的密碼,先重置一下密碼:

重置密碼的時(shí)候把立即重啟的選項(xiàng)勾上,然后點(diǎn)確定,咱們的密碼修改就搞定了。

接下來(lái)就可以進(jìn)入遠(yuǎn)程連接了:

用你剛剛設(shè)置好的密碼進(jìn)入遠(yuǎn)程服務(wù)器的終端,這個(gè)時(shí)候別慌,也很簡(jiǎn)單:

cd workspace/coze-studio*/docker/

vim .env

翻一翻,找到上面Settings for Model部分,找著把下面這部分代碼新增進(jìn)去到上面這個(gè)部分的后面:

(先在屏幕上點(diǎn)擊i開(kāi)啟編輯模式)

export MODEL_PROTOCOL_1=”ark” # protocol

export MODEL_OPENCOZE_ID_1=”100002″ # id for record

export MODEL_NAME_1=”doubao-seed-1-6-flash-250715″

export MODEL_ID_1=”doubao-seed-1-6-flash-250715″

export MODEL_API_KEY_1=”f9772eba-6dd6-4154-adbf-***”

export MODEL_BASE_URL_1=”” # model base url

注意,黃色部分填入你自己的API Key

正常的形狀是這樣的:

然后就可以按下ESC,退出編輯模式,再輸入完成對(duì).env文件的保存:

:wq

接著,執(zhí)行如下指令,重啟一下coze-server的Docker容器,讓配置生效:

docker compose –profile “*” restart coze-server

第三步:配置Coze

好了,再回到Coze,登錄進(jìn)去,這時(shí)就有了最新的大模型:

然后就是workflow的配置,也很簡(jiǎn)單:

在LLM節(jié)點(diǎn)里,注意我們要選擇doubao 1.6 flash 0715

然后提示詞可以用:

請(qǐng)仔細(xì)分析{{image}}圖片中的食物。如果圖片中沒(méi)有明確的食物內(nèi)容,或者圖片模糊無(wú)法識(shí)別,請(qǐng)回復(fù)”無(wú)法識(shí)別”。

如果能識(shí)別到食物,請(qǐng)按以下要求分析:

分析要求:

1. 仔細(xì)觀察圖片中的每個(gè)盤(pán)子和食物

2. 識(shí)別具體的食物種類(如:生蠔、螃蟹、魚(yú)類、蝦類、蔬菜等)

3. 根據(jù)嘌呤含量準(zhǔn)確分類:

– 高嘌呤 >150mg/100g:海鮮(生蠔、螃蟹、蝦、貝類)、內(nèi)臟、濃湯

– 中嘌呤 50-150mg/100g:魚(yú)肉、普通肉類、豆制品

– 低嘌呤 <50mg/100g:蔬菜、水果、蛋類

位置標(biāo)注要求(非常重要):

– 仔細(xì)觀察每個(gè)食物在圖片中的確切位置

– 使用精確的百分比坐標(biāo)(0.0-1.0,保留2位小數(shù))

– x, y 是邊界框左上角的位置(從圖片左上角開(kāi)始計(jì)算)

– width, height 是邊界框的寬度和高度

– 確保邊界框緊密貼合食物邊緣,不要過(guò)大或過(guò)小

– 對(duì)于盤(pán)裝食物,框選整個(gè)盤(pán)子區(qū)域

示例坐標(biāo)說(shuō)明:

– x=0.10 表示距離左邊10%的位置

– y=0.20 表示距離頂部20%的位置

– width=0.25 表示寬度占圖片25%

– height=0.15 表示高度占圖片15%

重要:

請(qǐng)只返回標(biāo)準(zhǔn)JSON格式,不要包含markdown標(biāo)記或其他解釋文字。

如果無(wú)法識(shí)別食物,請(qǐng)直接回復(fù)”無(wú)法識(shí)別”:

{ “highPurineFoods”: [{“name”: “具體食物名”, “purine”: 具體數(shù)值, “description”: “簡(jiǎn)要描述”}], “mediumPurineFoods”: [{“name”: “具體食物名”, “purine”: 具體數(shù)值, “description”: “簡(jiǎn)要描述”}], “lowPurineFoods”: [{“name”: “具體食物名”, “purine”: 具體數(shù)值, “description”: “簡(jiǎn)要描述”}], “coordinates”: { “high”: [{“x”: 0.xx, “y”: 0.xx, “width”: 0.xx, “height”: 0.xx}], “medium”: [{“x”: 0.xx, “y”: 0.xx, “width”: 0.xx, “height”: 0.xx}] } }

測(cè)試后就可以保存,回到Bot頁(yè)面,就配置好了:

這個(gè)時(shí)候我們可以看到Coze能夠正常輸出內(nèi)容了。

第四步:開(kāi)發(fā)網(wǎng)頁(yè)

然后可以把它發(fā)布成API,點(diǎn)擊右上角的Publish,然后選擇發(fā)布成API,并且配置后,生成一個(gè)Access Token,用這個(gè)API就可以用各種AI編程工具,比如Trae,來(lái)開(kāi)發(fā)一個(gè)網(wǎng)頁(yè):

這個(gè)真的不能吃。。。痛風(fēng)套餐!

注意,最后這一步,建議大家先把圖片上傳到圖床,拿到圖片鏈接,再給Coze處理比較好。

開(kāi)源真好

寫(xiě)到這里,不得不為扣子和火山引擎的這波“開(kāi)源普惠”鼓個(gè)掌。

扣子的開(kāi)源,給了我們開(kāi)發(fā)者一個(gè)完整可用的工程模版,更關(guān)鍵的是,火山引擎已經(jīng)把“部署難”這個(gè)痛點(diǎn)給一鍵解決了——自動(dòng)化部署!完成了進(jìn)一步的技術(shù)普惠。

是的,目前只有火山引擎單獨(dú)的開(kāi)發(fā)了這套自動(dòng)化的扣子開(kāi)源版部署方案,這樣我們開(kāi)發(fā)者就可以快速的在火山引擎體驗(yàn)到扣子的的全棧能力,并充分適配和調(diào)用更多火山的工具和能力!

開(kāi)源的Coze + 開(kāi)放的火山引擎,這個(gè)組合正在催化一個(gè)更有活力的AI Agent生態(tài)。今天還有朋友找我,問(wèn)一個(gè)企業(yè)內(nèi)解決方案,我想都沒(méi)想就回他,用Coze呀!

是的,如果你有需要,也可以試試這套方案。

本文由人人都是產(chǎn)品經(jīng)理作者【Super黃】,微信公眾號(hào):【AI產(chǎn)品黃叔】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!