一個平臺用遍主流生圖視頻模型,Seko這波功能更新太香了

0 評論 245 瀏覽 0 收藏 15 分鐘

在人工智能飛速發(fā)展的今天,AI 生圖和視頻生成技術(shù)正不斷刷新我們的創(chuàng)作體驗。商湯 Seko 平臺近期的功能更新,更是讓創(chuàng)作者們眼前一亮。從豐富的生圖模型選擇到多樣的視頻模型支持,從精準的對口型功能到新增的粵語和英語音色,Seko 正在成為視頻創(chuàng)作者的得力助手。

趁著他們即夢4.0和Nano模型正在限時免費、VEO3 模型半價的時候再更新一篇,探索他們現(xiàn)階段的整個視頻Agent的工作流程。

目前發(fā)現(xiàn)最棒的幾點優(yōu)化:

1. 在生成圖片階段就可以選擇指定生圖模型;

2.可以選擇指定視頻模型,非常齊全,我們的愛用款都在里面了;

3.增加了大量對口型音色,增加了新的語言粵語和英語。

不過這里要注意,目前最好選擇上傳主體,這樣才會出現(xiàn)生圖模型的選擇。

目錄

1. 一致性生圖模型超全

2. 多人場景一致效果

3. 動物與物品一致效果

4. 粵語對口型

5. VEO 3 有聲版效果

6. 小結(jié)

1. 一致性生圖模型超全

這個視頻中我全程使用的是即夢4.0生成圖片,可靈2.1首尾幀,一共有32張分鏡圖??

提示詞:

為@阿真制作一個 30 秒左右的冒險短片,主角為參考圖中的藍色頭發(fā)、藍色外套的可愛卡通女孩。影片需要 10 個分鏡場景,每個分鏡既有不同環(huán)境,又有不同景別,整體連貫,帶有冒險故事氛圍。

分鏡要求

場景多樣化:森林、雪山、沙漠、城堡、海底、未來都市、古代遺跡、天空之島、火山口、星空草原。

景別變化:遠景展示環(huán)境、全景交代人物、近景突出動作、特寫強調(diào)表情。

動作線索:奔跑、探索、攀爬、驚訝、戰(zhàn)斗、微笑、發(fā)現(xiàn)寶物。

畫面風格:明亮、治愈、夢幻的動畫渲染,柔和色彩,卡通Q版視覺。

首先我們在主頁打開添加出演主體,添加后輸入提示詞。如果沒有主體,可以直接點擊【畫風】選擇指定畫風。另外注意主體,最好選擇正面、近距離、清晰且動作不會遮擋面部細節(jié)的圖片。

點擊【添加新主體】,主體的圖片可以自行上傳,也可以直接輸入提示詞,點擊AI生成。輸入提示詞的時候,可以要求場景或者分鏡數(shù)量,另外景別、畫面風格等都可以有。

然后是繪圖和整個策劃部分。值得注意的是生成分鏡圖這里的生圖模型可以選擇了,有Seko IDX 、即夢4.0、Flux.1 Kontext Pro、Nano,現(xiàn)在最頂一致性最好的幾個生圖模型全都在了。

我這里選擇了即夢4.0,首先是好用,其次是限時免費,看大家個人喜好,Nano也免費嘿嘿?!井嬅姹壤恳部梢赃x擇了,現(xiàn)在預(yù)設(shè)有4個常用比例,橫豎屏都有。

注意一點,那就是Nano會根據(jù)上傳的主體圖片的比例生成圖片啊啊啊一定要注意。

下方可以看到生成好的分鏡圖已經(jīng)按照我們的要求出現(xiàn)在操作區(qū)了,這里它基本上是每個場景生成了3個不同景別的分鏡圖??

這個視頻我在前一步的分鏡圖片生成那里選擇的即夢4.0,我保存了幾張分鏡圖,從生成視頻效果可以看到一致性效果真的非常不錯。

在生成視頻之前,有覺得不合適的圖也可以換掉。比如最開始這個場景,仙人掌感覺好像有點太扎了,選擇【重新生成】

等圖片都調(diào)整好了,就可以開始轉(zhuǎn)視頻了,轉(zhuǎn)視頻也有兩種,一種是分鏡生視頻,相信大家也都比較熟悉了,這里的視頻模型非常多和全。

下方是分鏡生視頻可以選的模型??

另外就是首尾幀視頻支持的模型,我上面的視頻很絲滑就是使用了首尾幀功能,使用方法是點擊下方的【轉(zhuǎn)視頻】然后選擇【使用下一分鏡首幀圖】。然后選擇小正方體點選視頻模型,這幾個模型也都非常哇塞。

有一點要非常注意!那就是當我們在生成視頻之前務(wù)必要考慮清楚使用什么分辨率,不要直接就點擊生成。因為如果我選擇的是720P,那么接下來的所有分辨率都只可以使用720了。因為為了效果,成片多個鏡頭渲染導(dǎo)出一定是統(tǒng)一分辨率的。模型可以使用多種不同的,根據(jù)需要使用就可以。

2. 多人場景一致效果

在前面我們已經(jīng)看到了,一個主體效果挺好的,那么多個呢?

來啊,把男主角和女主角呈上來!(狗血小短劇看多了后遺癥)

這個視頻中我使用的是即夢4.0生成圖片,海螺02分鏡轉(zhuǎn)視頻,部分使用對口型視頻??

可以看看連續(xù)多分鏡的情況下的角色效果。連續(xù)分鏡功能真的很不錯,可以一次性制作超過2分鐘的視頻內(nèi)容,幾十個鏡頭一次輸出分鏡圖,而且角色形象保持一致效果很不錯。對做較長視頻的創(chuàng)作者來說很方便了。復(fù)雜的劇情表達、不同的拍攝角度、精準的位置關(guān)系,現(xiàn)在都可以好好嘗試一下了??

提示詞如下(來自DeepSeek AI編劇大大的狗血劇情,如果有同名實在對不住啊):

這里我使用旁白成片,就選了2個主體,小角色就讓Seko自己生成得了(主要是懶)。

在分鏡轉(zhuǎn)視頻的時候,可以自己修改提示詞??

其他操作和前面還是一樣的,最后我感覺有點安靜,導(dǎo)出后加了一點環(huán)境音音效。

3. 動物與物品一致效果

然后我嘗試了動物和物品融合后的一致性保持效果。下面是2個主體??

提示詞:

@貓教父 貓代言 @手機,無旁白無對話。

貓咪是直接讓Seko在主體中生成的,因為Iphone 17我只上傳了一張背部的圖片,所以厚度它是不好判斷的,但是背殼的一致性保持很不錯,從圖片到視頻都比較穩(wěn)定,個別圖片不滿意點擊了重新生成。

這個視頻中我使用的是即夢4.0生成圖片,海螺02首尾幀視頻??

4. 粵語對口型

另外我還嘗試了下粵語對口型效果。這里致敬一下經(jīng)典電視劇,看過的朋友們估計他一開口就知道了。

這個視頻中我使用的是對口型視頻??

提示詞:

“什么?你連七萬塊都存不到?你吃也廉價,穿也廉價,全身都廉價,你哪有地方需要花錢的?你的理財能力也太差了吧?”只需要這一個鏡頭場景。

別罵了,別罵了哈哈哈??

來來,看看操作方式,非常簡單,對口型效果也好。

這里如果我們想要的圖片是我們原始的那張,可以點擊分鏡圖位置,會出現(xiàn)一個小加號圖標,可以在這里上傳自己的圖片??

我直接上傳了新的圖片,去掉了舊的圖片。然后左邊選擇配音-對口型,然后輸入全部臺詞??

值得一提的是聲音音色增加了非常多,粗略看了下至少60種以上,還增加了聲音情緒,有8種情緒可以選:

還有關(guān)于視頻時長的一點,視頻時長方面,現(xiàn)在有三種選擇:5秒、10秒,或者直接按配音長度來定。如果選了”裁剪至配音時長”這個選項,視頻就會自動匹配我們的旁白或角色對話的長度。也可以手動調(diào)整,點擊分鏡按鈕里的剪裁圖標就能自定義時長了??

覺得滿意,直接右上角點擊導(dǎo)出視頻就可以了。

5. Veo3 有聲版效果

下面這個視頻中我全程使用的是即夢4.0生成圖片,VEO3 音效版生成視頻,直出沒怎么優(yōu)化粗糙了點,大家將就看一下哈哈哈??

最后補充一個知識點,在想要增加或重新生成分鏡圖片的時候,可以輸入@來艾特我們之前設(shè)定好的主體,這樣就可以保持一致性了,這個很好用。

小結(jié)

基于本次嘗試,Seko在下面這些方面都做得很不錯??

  • 圖片視頻模型選擇:生圖有即夢4.0、Flux.1、Nano,生視頻有海螺02、可靈2.1、VEO3、SeedDance等等一大堆,基本上現(xiàn)在最頂?shù)哪P投箭R了。也不用到處跑平臺,一個地方就能都用上。
  • 一致性保持:不管是單人還是多人場景,連續(xù)幾十個分鏡下來角色都不會跑偏,個別圖片可以直接選中,通過對話優(yōu)化修改再生成視頻,這個對做視頻的朋友來說真的很省心。@主體功能很貼心,直接艾特就能保持一致性。
  • 音色與對口型:多種音色、8種情緒,選擇更豐富,我們在視頻中安排多個角色也有了更多音色選擇??谛屯胶芎茫虦约业氖孢m區(qū)了。
  • 工作流:從分鏡到成片一條龍,首尾幀功能讓視頻過渡非常絲滑,從頭做到尾也不用幾個工具反復(fù)橫跳了。除了分辨率選定后不能改這點要注意,整體用下來是很流暢的。

上次我寫Seko提到過的一些小問題,比如生圖不能選,滑塊拉動之類的細節(jié)現(xiàn)在都優(yōu)化了,很貼心。

本文由人人都是產(chǎn)品經(jīng)理作者【阿真Irene】,微信公眾號:【阿真Irene】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!