參考圖(ControlNet)
參考圖(ControlNet)用來控制生成的構圖:依照參考圖的姿勢、深度(前後遠近)、線稿或輪廓來畫,服裝與畫風則依照提示詞。
開啟參考圖視窗
Section titled “開啟參考圖視窗”點選生成台左側的「參考圖」格,開啟「參考圖(ControlNet)」視窗。按「+ 新增參考圖」可以新增,最多同時使用 3 張;每張可以單獨開關或拿掉。
選擇參考圖的方式:
- 「從圖庫選」或「從電腦選」,也可以直接把圖拖進視窗。
- 在圖庫或探索看大圖時,按「當參考圖」。
| 種類 | 用途 |
|---|---|
| 姿勢 | 依照人物的姿勢(身體、手、臉的方向)生成 |
| 深度 | 依照畫面的前後遠近生成,構圖與人物輪廓會很接近參考圖 |
| 線稿 | 依照線稿重畫並上色,線條幾乎不變 |
| 輪廓 | 依照輪廓生成,比線稿細碎,背景的邊緣也會保留 |
| 軟邊緣 | 依照較柔和的邊緣生成,約束比線稿寬鬆 |
| Tile | 依照參考圖的顏色與構圖生成,常用於把小圖或模糊的圖重畫得更清楚 |
「參考圖類型」用來指定參考圖的類型:
- 一般的圖:CoCo 會先從圖中抽出姿勢、算出深度或找出線條。
- 已經是姿勢圖/深度圖/線稿:直接使用。自己畫的線稿或草稿(黑線白底)請選這一項。
按「查看處理結果」可以先確認抽出的內容,例如姿勢圖會顯示找到幾個人。動作幅度很大的姿勢有時抽取不完整,建議先確認。
視窗左下方的「模型」區可以下載需要的模型:
| 模型 | 用途 | 大小 |
|---|---|---|
| union promax | 一個模型可以用於所有種類,精修的「接縫更自然」也會用到 | 約 2.5 GB |
| DWPose | 從一般的圖抽出姿勢 | 約 350 MB |
| Depth Anything V2 | 從一般的圖算出深度 | 約 100 MB |
模型資料夾中已有的 ControlNet 模型會自動辨識,並列在「模型資料夾中的模型」。SD 1.5 用的 ControlNet 模型無法使用,會另外標示。
| 項目 | 說明 |
|---|---|
| 強度 | 參考圖的影響程度,數值越大越貼近參考圖 |
| 從(步數)、到(步數) | 參考圖作用的步數範圍。只在前段作用時,構圖依照參考圖、細節交給模型 |
| 比例不同時 | 參考圖與生成尺寸的比例不同時:「裁切填滿」或「完整顯示」 |
| 輪廓的低門檻、高門檻 | 只有「輪廓」有。門檻越低,抓到的線條越多 |
送到生成區時
Section titled “送到生成區時”使用參考圖生成的圖,在看大圖按「送至生成台」時,參考圖與模型、種類、強度、作用範圍會一併帶回。送回沒有使用參考圖的圖時,生成台上開著的參考圖會先關閉(不會刪除)。
參考圖沒有開啟時,ControlNet 模型完全不會載入。使用時才載入,生成完成後會釋放;抽取姿勢、深度用的模型閒置 2 分鐘後會自動卸載。