我們知道,在stable diffusion中,ControlNet主要是用來控制圖像中物體的姿態(tài)。
在5月份的時(shí)候,ControlNet迎來了重大更新,新更新的功能叫“reference-only”,它不需要任何的控制模型,只需要在文本提示詞的指導(dǎo)下,調(diào)節(jié)圖像的細(xì)節(jié)。
這就相當(dāng)于讓軟件自己學(xué)會(huì)了PS,我們只需要在旁邊給指導(dǎo)提示詞就可以了。不得不感嘆一句,AI終于學(xué)會(huì)自己P圖了
比如你給定了一張狗的圖片,然后給定提示詞語:一只狗在草地上奔跑
這種方法很想Stable-Diffusion中的inpaint功能,但是區(qū)別在于,inpaint功能往往需要先在圖片上mask掉需要替換的部分,而且生成的部分和原始圖像風(fēng)格不太一致。比如我之前生成的圖片:
但是ControlNet的這個(gè)新功能,在圖像風(fēng)格上保持了統(tǒng)一,同時(shí)細(xì)節(jié)上更能夠進(jìn)行調(diào)節(jié),比inpaint功能好用很多。
基于Prompt生成
在二次元領(lǐng)域方面,只要你給他輸入原圖,ControlNet就會(huì)給你返回不同姿勢(shì)的圖片,且其風(fēng)格保持一致:
而在真人圖像領(lǐng)域上,作者lllyasviel 首先利用Midjourney生成一張真人圖片
然后再用ControlNet生成不同姿態(tài)的圖片,其過程僅僅只輸入了簡單的提示詞:woman in street, masterpiece, best quality
下載插件ControlNet和模型
打開網(wǎng)頁的“擴(kuò)展”,利用URL下載ControlNet插件:
https://github.com/Mikubill/sd-webui-controlnet.git
看到安裝成功后,重啟界面就可以了:
同時(shí)要下載對(duì)應(yīng)的ControlNet模型,可以跳轉(zhuǎn)到:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 進(jìn)行下載
然后把模型放到stable-diffusion-webui\extensions\sd-webui-controlnet\models路徑下
其中不同模型有不同的功能,在具體使用的時(shí)候可以選擇不同的模型進(jìn)行導(dǎo)入:
Reference-only具體使用方法
首先可以去C站(https://civitai.com)任意下載一個(gè)生成人物的模型,比如我這里選擇一個(gè)叫majicMIX的模型:
下載完成后放置到models/Stable-diffusion目錄下:
導(dǎo)入模型后,利用提示詞生成真人圖片
提示詞:best quality, masterpiece, ultra high res, photorealistic, 1girl, offshoulder, smile
反向提示詞:ng_deepnegative_v1_75t, (badhandv4:1.2), (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) watermark, moles
把生成的圖片保存后,可以導(dǎo)入到ControlNet中:
然后點(diǎn)擊生成,就可以看到不同姿態(tài)的同一個(gè)人物的形象:
想要同一個(gè)人物,換不同的背景也很簡單,只需要在提示詞上限定“in street”就可以:
這種方法,能夠很方便的讓你在保持圖像的同時(shí),調(diào)節(jié)細(xì)節(jié)部分,因此有人稱
是時(shí)候把之前丟棄的圖片拿回來修復(fù)了
雖然這個(gè)方法目前還不是很完美,但是假以時(shí)日,技術(shù)的不斷進(jìn)步將會(huì)更加方便我們。
好了,以上就是本期內(nèi)容了,我是leo,我們下期再見~
聯(lián)系客服