AI界的“魔法棒”:LoRA解鎖智能體創(chuàng)作新體驗!

0 評論 1838 瀏覽 2 收藏 9 分鐘

在AI技術(shù)飛速發(fā)展的當(dāng)下,LoRA(Low-Rank Adaptation)模型作為一種新興的微調(diào)技術(shù),正逐漸成為解鎖智能體創(chuàng)作新體驗的“魔法棒”。本文將深入探討LoRA模型在智能體創(chuàng)作中的應(yīng)用實踐,從項目背景、玩法創(chuàng)新、明確方向到模型訓(xùn)練及落地收益,全方位展示如何通過LoRA提升圖像生成質(zhì)量、精準(zhǔn)表達(dá)提示詞,并確保圖像輸出風(fēng)格的穩(wěn)定性與獨特性

AIGC工具的出現(xiàn)為整個設(shè)計行業(yè)帶來了革命性變化,其強大之處有目共睹。

設(shè)計師們借助它大大提高了創(chuàng)作效率,同時它也可以將設(shè)計師的各種想法化為充滿創(chuàng)意的畫面,讓我們可以將更多精力投入到創(chuàng)意構(gòu)思和細(xì)節(jié)優(yōu)化上。

但目前AI生圖仍存在生成隨機性強、AI同質(zhì)化嚴(yán)重等問題,為了避免這些負(fù)面影響,我們將訓(xùn)練自有的LoRA模型作為一種解決方案,添加LoRA模型進(jìn)行生圖不僅可以提升圖像生成質(zhì)量、精準(zhǔn)表達(dá)提示詞,也能確保圖像輸出風(fēng)格的穩(wěn)定性與獨特性。

在通過深入了解并使用LoRA模型后,我們開始思考如何將其與玩法結(jié)合并落地于業(yè)務(wù)的運營活動中。

一、項目探索

1.項目背景

文小言作為一款A(yù)I原生產(chǎn)品,其中囊括了眾多AI相關(guān)的特色功能。

在已上線的「二十四節(jié)氣-寫詩成畫」智能體中,我們期望文小言能依據(jù)用戶提示詞,創(chuàng)作出與當(dāng)下節(jié)氣相契合的精美藏頭詩海報,但目前AI在此過程中的參與度稍顯不足,僅參與了藏頭詩部分的生成,節(jié)氣底圖仍依賴設(shè)計師繪制。

為深度挖掘AI的潛力,我們考慮將LoRA生圖能力落地在智能體的底圖生成中,通過將兩者巧妙結(jié)合,制成精美且充滿意境的國風(fēng)水墨系列海報,從立春之始,至歲末大寒,讓每一幅海報都似精美水墨畫卷般緩緩展開。

2.玩法創(chuàng)新

通過LoRA將AI生圖能力落地在「二十四節(jié)氣-寫詩成畫」智能體中,做到快速生成多張相同風(fēng)格的節(jié)氣海報,同時也使生成的畫面創(chuàng)意倍增,極大強化玩法的AI屬性與趣味性,提升用戶的生成體驗。

另一方面,通過一次性搭建配置平臺,只需簡單更換節(jié)氣提示詞即可做到節(jié)氣風(fēng)格切換,極大簡化玩法前期配置所需環(huán)節(jié)。

同時,該玩法歷經(jīng)長期的更新迭代,已經(jīng)積累了大量優(yōu)質(zhì)的訓(xùn)練集,并形成一套完整的水墨風(fēng)格體系,基本可以滿足節(jié)氣風(fēng)格LoRA的訓(xùn)練所需。

3.明確方向

訓(xùn)練前期,將現(xiàn)有節(jié)氣海報圖片匯總排列,分析并提煉其共同點和風(fēng)格特征,從而確定了LoRA風(fēng)格訓(xùn)練的幾大方向:

  • 保持國風(fēng)水墨風(fēng)格:確保LoRA在圖像生成時能夠凸顯畫面的意境氛圍和水墨暈染的筆觸,使觀者仿若置身于詩意的山水畫卷之中。
  • 強調(diào)畫面上方留白:留白不僅是國風(fēng)水墨畫中凸顯意境的常見藝術(shù)手法,同時也為藏頭詩的融入提供了相應(yīng)的區(qū)域,二者相輔相成,共同展現(xiàn)出獨特的藝術(shù)魅力。
  • 支持節(jié)氣靈活切換:為確保圖像生成的多樣化體驗,需在滿足以上兩點的同時,實現(xiàn)單一LoRA模型對二十四節(jié)氣的靈活適配,這要求我們深入理解四季變換的自然規(guī)律與美學(xué)特征,并制定針對性訓(xùn)練策略,讓LoRA在生圖時充分彰顯四季更迭的獨特魅力。

4.模型訓(xùn)練

在明確了訓(xùn)練方向后,我們正式啟動了模型訓(xùn)練流程,遇到問題采取相應(yīng)策略,見招拆招!

1)訓(xùn)練集補全

由于目前已更新的節(jié)氣尚未覆蓋全年二十四節(jié)氣,所以首先需要對缺失圖集進(jìn)行補全。

我們通過將已有圖集上傳至Midjourney,利用已有圖集墊圖控制生成風(fēng)格,在提示詞方面強調(diào)水墨意境與畫面留白的描述,二者結(jié)合共同引導(dǎo),快速補全24節(jié)氣缺失圖集。

經(jīng)過多輪生成嘗試得出結(jié)論,關(guān)于景色的描述越簡潔,畫面則越有意境,所以我們借助了文小言的文言文生成能力,得到了簡潔優(yōu)美的畫面提示詞。

2)訓(xùn)練集處理?

由于AI生成具有極強的隨機性,因此我們在訓(xùn)練集準(zhǔn)備階段,通過PS對圖像布局進(jìn)行調(diào)整,并根據(jù)訓(xùn)練集畫面提煉對應(yīng)的描述詞模版,旨在特意強調(diào)畫面中的留白部分。這一操作不僅是為了給藏頭詩預(yù)留區(qū)域,留白同樣也是水墨畫中不可或缺的元素,它不僅能夠賦予畫面呼吸的空間,更能夠凸顯畫面所蘊含的深邃意境與無限遐想。

3)訓(xùn)練及成果測試

通過調(diào)整合適的訓(xùn)練參數(shù)進(jìn)行LoRA訓(xùn)練,多次訓(xùn)練結(jié)果對比顯示,若是采取將訓(xùn)練集按季節(jié)細(xì)致分類的策略,可以增強模型對季節(jié)特征的辨識與學(xué)習(xí)能力,有效避免季節(jié)特征間相互污染,確保LoRA中四季的劃分。

隨后,通過將LoRA結(jié)合大模型進(jìn)行生圖測試,尋找最佳生圖參數(shù),并通過總結(jié)高質(zhì)提示詞模版,做到更換季節(jié)、場景描述即可完成高質(zhì)量、高泛化的圖像生成。

4)生圖功能落地

最后我們將生成的圖像與AI藏頭詩巧妙融合,制作出一系列畫面精美、意蘊深遠(yuǎn)的節(jié)氣藏頭詩海報。

這些海報不僅展示了中國傳統(tǒng)文化的獨特魅力,還通過現(xiàn)代科技的手段,讓古老的節(jié)氣文化煥發(fā)出新的生機與活力,更為我們帶來了全新的視覺與心靈享受。

二、落地收益

我們將生圖能力整合落地至「二十四節(jié)氣-寫詩成畫」智能體后,實現(xiàn)了圖像創(chuàng)作的全AI化,它能夠根據(jù)用戶的個性化需求,生成豐富多樣的視覺內(nèi)容。這不僅極大吸引了用戶的注意力,還激發(fā)了他們的創(chuàng)意互動熱情,為用戶帶來了全新的玩法體驗。

這種創(chuàng)新性的運營玩法不僅顯著提升了用戶參與度,強化了產(chǎn)品的AI屬性,更在無形中增強了品牌影響力。后續(xù)我們也會通過不斷優(yōu)化訓(xùn)練集內(nèi)容對LoRA進(jìn)行版本迭代,在圖像創(chuàng)作領(lǐng)域為用戶帶來更好的體驗。

本文由人人都是產(chǎn)品經(jīng)理作者【百度MEUX】,微信公眾號:【百度MEUX】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!