本文使用工具，作者:秋葉aaaki
免責(zé)聲明:
工具免費(fèi)提供 無任何盈利目的
大家好，我是風(fēng)雨無阻。
今天為大家?guī)淼氖?AI 繪畫Stable Diffusion 研究（三）sd模型種類介紹及安裝使用詳解。
目前，AI 繪畫Stable Diffusion的各種模型層出不窮，這些模型都有什么作用？又該怎么安裝使用？對(duì)于新手朋友來說，是非常大的困擾。
這篇文章將會(huì)為你介紹AI 繪畫Stable Diffusion的模型種類、模型的安裝及使用方法、以及模型的選擇和下載。
不同的模型有不同的畫風(fēng)如：線條風(fēng)格、手繪風(fēng)格、立體風(fēng)格、科幻風(fēng)格、真人風(fēng)格。
還有不同的概念，例如：人物、物體、動(dòng)作等。
這些都是目前Stable Diffusion 模型眾多的原因。
那么，Stable Diffusion的模型具體有哪些種類呢，都有什么作用呢？
一、Stable Diffusion的模型詳解
1、模型種類
當(dāng)前，常見的模型可以分為兩大類：
大模型：這里的大模型特指標(biāo)準(zhǔn)的 latent-diffusion 模型，擁有完整的 TextEncoder、U-Net、VAE。
微調(diào)大模型的小模型
由于想要煉制、微調(diào)大模型非常的困難，需要比較好的顯卡、比較高的算力， 因此更多的選擇是去煉制小型模型。
這些小型模型通過作用在大模型的不同部分，來修改大模型，從而達(dá)到目的。
常見的用于微調(diào)大模型的小模型又分為以下幾種：
還有一種叫做 VAE （VAE, Variational autoencoder，變分自編碼器，負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像）的模型，通常來講 VAE 可以看做是類似濾鏡一樣的東西，會(huì)影響出圖的畫面的色彩和某些極其微小的細(xì)節(jié)。
如圖：
其實(shí)大模型本身就自帶 VAE 的，但是一些融合模型的 VAE壞了 （例如：Anything-v3），有時(shí)畫面發(fā)灰就是因?yàn)檫@個(gè)原因。所以需要外置 VAE 的覆蓋來補(bǔ)救。
由于模型的種類不同、作用位置也不同，所以想要使用這些模型必須分清這些模型類別，并且正確的使用，模型才會(huì)生效。
2、模型的區(qū)分方法
如何區(qū)分這些模型對(duì)新手來說是一件非常困難的事情，因?yàn)樗麄兌伎梢該碛幸粯拥暮缶Y名。
這里感謝 秋葉aaaki 提供的模型種類檢測(cè)工具 ，在本地將模型文件拖入即可識(shí)別。
3、模型后綴名詳解
目前，常見的 AI繪畫標(biāo)準(zhǔn)模型后綴名有如下幾種：
ckpt
pt
pth
這三種是 pytorch（深度學(xué)習(xí)框架）的標(biāo)準(zhǔn)模型格式，由于使用了 Pickle，會(huì)有一定的安全風(fēng)險(xiǎn) 。
safetensors：新型的模型格式 。正如同名字：safe，為了解決前面幾種模型的安全風(fēng)險(xiǎn)而出現(xiàn)的，safetensors 格式與 pytorch 的模型可以通過工具進(jìn)行任意轉(zhuǎn)換，只是保存數(shù)據(jù)的方式不同，內(nèi)容數(shù)據(jù)沒有任何區(qū)別。
注意：safetensors模型需要 webui 更新到2022年12月底以后的版本才能用。
4、常見模型安裝及使用方法
（1）、大模型安裝及使用
大模型，常見格式為 ckpt，顧名思義，就是大。大小在GB級(jí)別，常見有 2G、4G、7G模型，模型大小不代表模型質(zhì)量。
安裝方法：放在Stable-diffusion文件夾內(nèi)。
\sd-webui-aki-v4.2\models\Stable-diffusion
如圖：
使用方法：
第一步，在 webui 左上角選擇對(duì)應(yīng)的模型
第二步，手動(dòng)選擇vae并應(yīng)用保存
前面也說到，部分合并出來的大模型VAE爛了，畫面會(huì)發(fā)灰，因此需要去設(shè)置中手動(dòng)選擇vae并應(yīng)用保存。
（2）、Embedding (Textual inversion)模型安裝及使用
embedding 模型，常見格式為 pt、png圖片、webp圖片，大小一般在 KB 級(jí)別。
例如：
安裝方法：
放在 embeddings 這個(gè)文件夾里面
\sd-webui-aki-v4.2\embeddings
使用方法：
生成圖片的時(shí)候需要帶上文件名作為 tag。
例如，上面這張圖里面的 shiratama_at_2-3000.pt 這個(gè)模型，使用的時(shí)候就需要帶上這個(gè)tag：shiratama_at_2-3000
(3)、Hypernetwork安裝及使用
常見格式為 pt，大小一般在幾十兆到幾百兆不等，由于這種模型可以自定義的參數(shù)非常多，也有的 Hypernetwork 模型可以達(dá)到 GB 級(jí)別。
例如：
安裝方法：放在hypernetworks 文件夾內(nèi)。
\sd-webui-aki-v4.2\models\hypernetworks
使用方法：
第一步，點(diǎn)擊生成下方的第三個(gè)按鈕
第二步，選擇hypernetworks 標(biāo)簽頁
如圖所示
（4）、LoRA模型安裝及使用
常見格式為 pt、ckpt，大小一般在8mb~144mb不等。
安裝方法：模型需要放在 Lora 文件夾。
\sd-webui-aki-v4.2\models\Lora
使用方法：
第一步，點(diǎn)擊生成下方的第三個(gè)按鈕
第二步，選擇Lora 標(biāo)簽頁
如圖：
第三步，點(diǎn)擊一個(gè)模型以后會(huì)向提示詞列表添加類似這么一個(gè)tag， 也可以直接用這個(gè)tag調(diào)用lora模型。
<lora:模型名:權(quán)重>
（5）、VAE 模型安裝及使用
常見格式為 .pt ，如圖：
安裝方法：模型需要放在 VAE 文件夾。
\sd-webui-aki-v4.2\models\VAE
模型放置完畢后，在設(shè)置頁面進(jìn)行如下設(shè)置，并重啟。
如果沒有sd_vae 選項(xiàng)，則需要補(bǔ)充上。
添加在 sd_model_checkpoint 之后，語法如下：
,sd_vae
好，由于篇幅原因，模型的安裝和使用就介紹到這里。
大家都知道，要用Stable Diffusion畫出漂亮的圖片，首先得選好模型。
目前，模型數(shù)量最多的兩個(gè)網(wǎng)站是civitai 和huggingface。
civitai又稱c站，有非常多精彩紛呈的模型，有了這些模型，我們分分鐘就可以變成繪畫大師，用AI畫出各種我們想要的效果。
我們這里就以 civitai 站下載模型進(jìn)行安裝為例，進(jìn)行詳細(xì)說明。
二、模型的下載及選擇方法
1、直接搜索想要的模型
最上面是搜索框，我們可以直接通過關(guān)鍵詞來搜索想要的模型。
2、按照菜單分類選擇模型
點(diǎn)擊左上角菜單，可以看到這里是按照 以下幾項(xiàng)來分類的：
3、按照時(shí)間排序來選模型
點(diǎn)擊右上角，可以按照時(shí)間排序來選模型：最近一周、最近一月、所有時(shí)間的。
4、按照模型類型、Stable Diffusion版本選擇模型
Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0 768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等版本。
注意:
通常來說版本越高，效果越好。
目前比較流行的還是1.5版本，1.5之前的版本沒啥限制，可以自由出各種圖片。
2.0以上版本提供了一個(gè) 圖像無損放大模型：Upscaler Diffusion ，可以將生成圖像的分辨率提高 4 倍，適合出高清大圖。2.0加入了一些限制，不能出一些不可描述的圖片。
所以，具體使用哪個(gè)版本，還是要根據(jù)自己的需求來選擇。
挑到喜歡的模型后，怎么安裝模型呢？
三、模型的下載安裝實(shí)操
接下來我們來說明一下安裝實(shí)操步驟。
1、下載模型文件，在c站 搜搜到喜歡的模型，并下載
2、下載成功后，我們會(huì)獲得模型文件
3、將模型文件使用模型種類檢測(cè)工具 獲取模型的種類
如圖：
將模型文件拖入該工具后，會(huì)獲得以下信息：
文件名 dunhuangV3.safetensors 文件大小 144.11 MB 模型種類 LoRA 模型 模型用法 放入 models/Lora 文件夾后，在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。 Info { ss_batch_size_per_device:'6' ss_bucket_info:{} ss_bucket_no_upscale:'True' ss_cache_latents:'True' ss_caption_dropout_every_n_epochs:'0' ss_caption_dropout_rate:'0.0' ss_caption_tag_dropout_rate:'0.0' ss_clip_skip:'None' ss_color_aug:'False' ss_dataset_dirs:{} ss_enable_bucket:'True' ss_epoch:'10' ss_face_crop_aug_range:'None' ss_flip_aug:'False' ss_full_fp16:'False' ss_gradient_accumulation_steps:'1' ss_gradient_checkpointing:'False' ss_keep_tokens:'0' ss_learning_rate:'0.0001' ss_lowram:'False' ss_lr_scheduler:'cosine_with_restarts' ss_lr_warmup_steps:'0' ss_max_bucket_reso:'1024' ss_max_grad_norm:'1.0' ss_max_token_length:'None' ss_max_train_steps:'6750' ss_min_bucket_reso:'256' ss_min_snr_gamma:'None' ss_mixed_precision:'fp16' ss_network_alpha:'64.0' ss_network_dim:'128' ss_network_module:'networks.lora' ss_new_sd_model_hash:'e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7' ss_noise_offset:'None' ss_num_batches_per_epoch:'675' ss_num_epochs:'10' ss_num_reg_images:'0' ss_num_train_images:'4050' ss_optimizer:'bitsandbytes.optim.adamw.AdamW8bit' ss_output_name:'dunhuang_20230625021029' ss_prior_loss_weight:'1.0' ss_random_crop:'False' ss_reg_dataset_dirs:'{}' ss_resolution:'(512, 768)' ss_sd_model_hash:'1d5a534e' ss_sd_model_name:'majicmix_realv6_fp16.safetensors' ss_sd_scripts_commit_hash:'(unknown)' ss_seed:'2361018997' ss_session_id:'801586992' ss_shuffle_caption:'False' ss_tag_frequency:{} ss_text_encoder_lr:'1e-05' ss_total_batch_size:'6' ss_training_comment:'None' ss_training_finished_at:'1687645290.3126323' ss_training_started_at:'1687630234.599286' ss_unet_lr:'0.0001' ss_v2:'False' sshs_legacy_hash:'14dab82f' sshs_model_hash:'f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa' }
根據(jù)工具輸出信息可知， dunhuangV3.safetensors 模型的模型種類是LoRA 模型。
4 、將模型dunhuangV3.safetensors 放入 models/Lora 文件夾。
5、在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。
好，今天的內(nèi)容就到此結(jié)束，我們來總結(jié)一下。
今天主要給大家分享了 Stable Diffusion的模型種類說明，以及常見模型的下載、安裝、使用方法， 沒理解到的朋友，請(qǐng)收藏起來多看幾遍。
關(guān)注我，后續(xù)繼續(xù)分享sd更多干貨 ， 敬請(qǐng)期待。
聯(lián)系客服
