常用Photoshop的小伙伴都要面對(duì)一個(gè)頭痛的現(xiàn)實(shí):更換畫面中的某個(gè)要素,太費(fèi)事了。
要么小心翼翼的選中,一點(diǎn)點(diǎn)擦掉,再放入新的素材;要么使用所謂的魔術(shù)繩索插件,來(lái)進(jìn)行替換。
無(wú)論是哪種方式,都無(wú)法非常完美的實(shí)現(xiàn),最終還是要靠細(xì)致的手工活來(lái)處理。
隨著大模型的快速迭代,如今這個(gè)工作可以交給AI來(lái)解決。
Meta(原Facebook)公司發(fā)布了一組開(kāi)源大模型,可以識(shí)別、分割畫面里的任何物體(Anything),有創(chuàng)作者基于這個(gè)大模型做了一個(gè)stable diffsion的插件,叫“萬(wàn)物皆可分”(Segment Anything)。
主要功能就是利用AI大模型,鼠標(biāo)輕輕一點(diǎn),就可以分割出畫面里的某些元素,然后再結(jié)合stable diffsion的繪畫功能,實(shí)現(xiàn)部分元素的替代。
先看一個(gè)最簡(jiǎn)單的效果對(duì)比。
在花海里奔跑的女孩:
這是一張用AI生成的圖片,
模型:sdxl_counterfeitxl_v10
提示詞:
A girl is waving her hands vigorously in the air. She is wearing sandals and a white dress, her skirt swaying in the wind. Colorful petals are dancing in the air. There are many flowers around. The sky is clear blue with summer clouds., masterpiece, best quality
使用Segment Anything,可以簡(jiǎn)單幾個(gè)鼠標(biāo)操作,把原來(lái)的花海變成了玫瑰花:
妙不可言。
一、Segment Anything的安裝
這個(gè)插件的安裝包括兩個(gè)步驟。
1、安裝地址
擴(kuò)展--從網(wǎng)址安裝,輸入以下地址:
https://gitcode.net/ranting8323/sd-webui-segment-anything.git
注意?。。。“惭b完成后不要急著重啟啟動(dòng)器,先把模型下載并安裝好后再啟動(dòng),否則啟動(dòng)器會(huì)報(bào)錯(cuò)。
2、安裝模型
(1)Meta大模型(SAM模型)
https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth
https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth
三個(gè)模型只需要下載一個(gè)即可,區(qū)別是體積越大,識(shí)別越精準(zhǔn)。推薦下載最大的第一個(gè),2.56G。
模型安裝地址:
extensions\sd-webui-segment-anything\models\sam
(2)GroundingDINO 模型
https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swinb_cogcoor.pth
https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swint_ogc.pth
兩個(gè)模型均需要下載,
模型安裝地址:
extensions\sd-webui-segment-anything\models\grounding-dino
三、Segment Anything的使用
上述模型安裝完畢后,重啟啟動(dòng)器。
可以在WebUI界面看到Segment Anything,模型安裝正確的話,可以看到SAM模型的名稱。
Segment Anything使用很簡(jiǎn)單,通常在圖生圖(強(qiáng)調(diào)!)界面使用。
(1)上傳需要替換元素的圖片
(2)左鍵點(diǎn)擊需要替換的元素,會(huì)顯示出一個(gè)黑點(diǎn)
如圖,我想要替換兩邊的花海,就分別在兩邊各點(diǎn)一個(gè)黑點(diǎn)。
右鍵點(diǎn)擊會(huì)出現(xiàn)紅點(diǎn),意思是反向選擇,大多數(shù)情況下,使用左鍵即可。
(3)點(diǎn)擊預(yù)覽(Preview Segmentation)
插件會(huì)自動(dòng)生成三張識(shí)別好的圖片,一般是從輕到重的順序,本次識(shí)別,我覺(jué)得第三張比較好。如果仍然不夠完美,可以增加黑點(diǎn)、紅點(diǎn)的方式,來(lái)進(jìn)行更加精準(zhǔn)的選擇。
(4)選擇要使用的自動(dòng)識(shí)別的畫面
三張畫面的排序分別是0、1、2,第三張也就是2
同時(shí)選中:Copy to Inpaint Upload & img2img ControlNet Inpainting
(5)在局部重繪上傳原圖,并輸入要替換的內(nèi)容的提示詞:flower sea,red_rose
重繪區(qū)域選擇蒙版,修改步數(shù)和重繪幅度(0.5左右為佳)。
點(diǎn)擊生成:
可以看到,畫面其他要素沒(méi)有發(fā)生變化的情況下,重繪后背景變成了美麗的玫瑰花海。
繼續(xù)修改了一下提示詞,變成了海灘。
聯(lián)系客服