【AI應(yīng)用教學(xué)】如何使用AI生成解說漫畫視頻的全流程拆解分享
AI賦能內(nèi)容創(chuàng)作早已不是新鮮事,但如何真正“快速高質(zhì)”產(chǎn)出一條可分發(fā)的解說漫畫視頻?本篇將拆解一個(gè)完整流程,從文案生成、腳本設(shè)計(jì)、漫畫創(chuàng)作到視頻剪輯與配音,幫助你理解文生視頻的全鏈路操作方式,探索如何將AI工具變成你的創(chuàng)作助理。
開頭先啰嗦兩句,之前我的很多關(guān)于AI的分享,內(nèi)容主要是涉及到AI的業(yè)界進(jìn)展和個(gè)人研究的心得。期間時(shí)不時(shí)就有朋友問我說能不能講講日常使用AI的一些心得技巧。于是乎,我計(jì)劃開啟一個(gè)新的系列——“AI應(yīng)用教學(xué)”,計(jì)劃是聚焦到一個(gè)小的應(yīng)用場景,全流程拆解它的步驟,既講操作,也講過程心得經(jīng)驗(yàn)。
希望大家會(huì)喜歡。
場景拆解
我在之前發(fā)布的關(guān)于探討假如AI可以完美復(fù)刻過世之人的視頻中,就插入了一段關(guān)于“忒修斯之船”的解說漫畫視頻。后來就有朋友好奇,這樣的解說漫畫視頻,是怎么制作出來的?于是,我也就順著這次機(jī)會(huì),打算開啟一個(gè)新的系列“AI應(yīng)用教學(xué)”。不定期地把我在日常中應(yīng)用AI的一些場景或技巧,其中的一些落地細(xì)節(jié),全流程地一一整理,分享給大家。
回到我們這次要分享的場景——解說漫畫視頻,先說說它的適用場景:針對一些相對通行的概念或事件,進(jìn)行動(dòng)畫化的演示說明。“相對通用”,意味著我們只需要給AI說明該概念即可,而不必去詳細(xì)構(gòu)想每一幅畫面。動(dòng)畫化演示,意味著是“先生圖再圖生視頻”,“圖生視頻”尤其是動(dòng)畫,對真實(shí)性要求也沒這么高,當(dāng)前的AI是完全可以勝任的。我全程使用的是AI產(chǎn)品,是字節(jié)跳動(dòng)出品的“豆包”。
具體而言,我們可以將這個(gè)場景,拆分為三個(gè)步驟:
- 針對要解說的“概念”,用AI拆解說明步驟并生成對應(yīng)的圖片。
- 針對各個(gè)圖片,生成動(dòng)態(tài)的視頻。
- 將各個(gè)視頻進(jìn)行拼接,并配上配樂、旁白、字幕等內(nèi)容,剪輯成片。
接下來,我們就針對這些步驟,進(jìn)行詳細(xì)介紹。
第一步:生成圖片
第一步先使用AI對我們要解說的概念或事件進(jìn)行“步驟拆解”,并基于拆解的步驟,生成對應(yīng)的配圖。這里嚴(yán)格來講,步驟拆解、生成配圖,是“兩個(gè)步驟”。前面我們就有提到,對于相對通行的概念或事件,比如我本次想要解說的是哲學(xué)上著名的“忒修斯之船”悖論,AI預(yù)訓(xùn)練的內(nèi)容肯定是有包含的。所以我在操作時(shí)就將它合并為一步直接進(jìn)行處理了。
比例 「9:16」幫我創(chuàng)作一系列的漫畫風(fēng)格的圖片,介紹“忒修斯之船”悖論(以及它的另外組建新船延伸討論),上面不要有任何文字
如各位所見,我的提示詞相當(dāng)?shù)睾唵?。?dāng)然,如果你要解說的概念或事件比較陌生,也可以先通過向AI描述,讓AI來拆解具體步驟(可以告訴AI后續(xù)需要制作解說漫畫,具體需要AI拆解為五個(gè)步驟之類的)。拆解后再將每一張圖片的內(nèi)容合并,作為生成圖片的提示詞。
當(dāng)然,生成圖片這里仍然有可能遇到生成出來的圖片并不合我們心意,比如我生成的第一個(gè)版本,我就覺得畫面過于復(fù)雜。此時(shí)就要嘗試讓AI多生成幾次,挑選合適的版本(業(yè)內(nèi)俗稱“抽卡”)。至于具體如何操作,就要看遇到的“不合心意”的情況,比如風(fēng)格是對的只是不夠美觀,那就直接再次生成;又比如風(fēng)格或內(nèi)容方向不對,那么就修改提示詞后再次生成。而豆包是支持直接通過對話來修改圖片的,因此我也就偷了個(gè)懶,直接通過對話來引導(dǎo)豆包生成其他的風(fēng)格的圖片了。
經(jīng)過3次的對比,我最終挑選了“簡筆畫”這個(gè)風(fēng)格的圖片,作為下一步“圖生視頻”的素材。(實(shí)操過程中還有針對個(gè)別圖片進(jìn)行進(jìn)一步調(diào)整,此處不再一一展示。)
第二步:圖生視頻
完成了圖片素材的生成,就可以進(jìn)入到第二步,“圖生視頻”。具體的方式是將生成的每張圖片分別作為該次視頻生成的參考圖片,并補(bǔ)充希望轉(zhuǎn)成視頻后,畫面如何運(yùn)動(dòng)的描述,也就是對應(yīng)的提示詞。
類似的任務(wù),目前國內(nèi)的各大視頻生成AI產(chǎn)品都可以滿足,包括我前面用來生成圖片的豆包,它也可以支持“圖生視頻”。我們只需要選擇“視頻生成”的技能,點(diǎn)擊打開具體的圖片,將其添加為參考圖,再加上對應(yīng)的視頻畫面描述即可(比如我截圖描述的就是“帆船在大海中航行”)。如果各位使用的是其他的AI產(chǎn)品,操作過程應(yīng)該也是類似的,只不過需要多一步“下載再上傳圖片”的操作而已。
同樣地,如果遇到生成出來的視頻并不合我們心意,處理方法和前面所說的類似,“抽卡”應(yīng)對之。而由于我這次的圖片相對簡單,所以也沒有在這里花費(fèi)太多時(shí)間。不過得多提一句是,生成視頻所需要耗費(fèi)的資源(Token)遠(yuǎn)高于生成圖片。因此在前面描述畫面時(shí)建議盡量想齊全想清楚并表達(dá)準(zhǔn)確。至于如何做到,可以多學(xué)習(xí)平臺(tái)上優(yōu)秀作品的提示詞,更多的是多去實(shí)踐,才能熟能生巧。
第三步:剪輯成片
將每個(gè)步驟的配圖都生成視頻后,就可以作為素材進(jìn)行拼接,并附上配樂、解說、字幕等內(nèi)容,最終剪輯成片了。
我在本次的“忒修斯之船”的案例中,由于錄制視頻時(shí)我原本設(shè)想的是口頭表達(dá),當(dāng)時(shí)還沒想到要用“解說漫畫”來替代。所以我其實(shí)是先錄制了口頭的解說,再用視頻上去匹配的。如果你是把這一步放到最后,那么可以繼續(xù)利用AI,讓它生成對應(yīng)的解說詞(具體如何控制文案長度、風(fēng)格這里就不展開了),然后自行錄制或者使用AI來生成對應(yīng)的旁白。
如果各位是希望嘗試AI生成旁白(事實(shí)上如果不是先錄制好了我自己的解說,我肯定會(huì)嘗試用AI來生成),那么我可以推薦另一款產(chǎn)品,由Minimax稀宇科技出品的Hailuo AI的“聲音生成”。它最新的Speech 02模型,增加了Voice Design聲音設(shè)計(jì)的能力,可以支持用戶選擇各類聲線、各類語調(diào)乃至于通過自然語言描述的音色來生成音頻。這對于我們想制作解說漫畫視頻,可謂是無比適配。
旁白也準(zhǔn)備好了,我們就可以將它們拼接在一起。
這里我使用的是產(chǎn)品倒沒什么特別,就是“剪映”。
需要補(bǔ)充的一點(diǎn)經(jīng)驗(yàn)就是,因?yàn)樯梢曨l的長度往往是固定的(比如5秒、10秒),而對應(yīng)的解說旁白則不可能剛好對齊。此時(shí)處理就比較簡單的,可以音、畫兩邊都嘗試變速,在盡可能小影響的范圍內(nèi)對齊即可。
額外的一些總結(jié)
我在去年開發(fā)自己的AI課程時(shí),針對AI生成圖片/生成視頻的領(lǐng)域,總結(jié)過當(dāng)時(shí)面臨的三大挑戰(zhàn):
- 肢體的協(xié)調(diào)性,尤其是生成人物的手指;
- 文字的生成,去年時(shí)的AI生圖還無法處理文字,但這方面隨著近半年的快速迭代,已經(jīng)可以說是基本被解決了;
- 角色一致性,也就是生成多張圖片時(shí)是否能保持其中角色形象的一致性。
而我之所以使用豆包來生成,很重要的一點(diǎn)是它在第3點(diǎn)的角色一致性上有長足的進(jìn)步。這里再提供我利用豆包生成的另一組圖片,讓大家可以更好地感受豆包生圖的角色一致性。
在這一組名為“AI時(shí)代下產(chǎn)品經(jīng)理的工作變化”為主題的5幕圖片中,可以看出,其中的主人公形象是保持一致的。
同樣地,細(xì)心的朋友或許會(huì)發(fā)現(xiàn),我所使用的都是偏向漫畫的風(fēng)格,這當(dāng)然是經(jīng)過老考量。如前面所說,AI生圖在圖像的真實(shí)性上仍有不足(也就是說AI生成的圖片在真實(shí)性上還是比不過攝影作品)。而像漫畫這樣的風(fēng)格,畫面內(nèi)容相對簡單,也對于畫面的真實(shí)性沒有過高的要求,此時(shí)AI就可以很好地勝任,非常適配像解說概念或事件這樣的場景。
與此同時(shí),我們也期待迭代進(jìn)化“一日千里”的AI,能夠在多模態(tài)領(lǐng)域持續(xù)進(jìn)步?;蛟S在不遠(yuǎn)的某一天,我們就可以用上更真實(shí)、更易用、更強(qiáng)大的多模態(tài)AI產(chǎn)品。
作者:產(chǎn)品經(jīng)理崇生,公眾號:崇生的黑板報(bào)
本文由作者原創(chuàng)投稿/授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自 unsplash,基于CC0協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!