IP Adapter 使用指南（上）

Hello，大家好，欢迎来到今天的 Web UI 学习频道。这节课我们一起来学习 IP Adapter。 IP Adapter 的概念最早可追溯至 2023 年，由 GitHub 用户 Motional 首次提出。其核心思想是利用预训练的图像生成模型（如 Stable Diffusion），通过特定算法对图像进行编辑与修改。 接下来我们介绍 IP Adapter 的安装与部署流程： 1. 进入 Hugging Face 网站，搜索 “IP Adapter”，进入对应模型页面； 2. 在“Files and versions”中，下载以下四个文件： - 两个后缀为 `.bin` 的文件； - 两个 LoRA 文件； 3. 将两个 `.bin` 文件放入 `models/IP-Adapter/` 目录下； 4. 将两个 LoRA 文件也放入同一目录； 5. 点击模型作者链接，在 `models` 分支中找到 IP-Adapter 相关文件，下载并保存至相同路径； 6. 打开 `sd_xl_models` 目录，同样将对应文件下载并放置于该路径下。 以上即为 IP Adapter 的安装与部署过程。 目前，IP Adapter 主要具备以下三种功能： - **人脸替换**：可精准识别参考图中的面部特征，并将其迁移至生成图像中； - **材质迁移**：除面部特征外，还能识别参考图中的材质信息，并迁移至结果图； - **风格迁移**：在前两者基础上，进一步识别并迁移参考图的整体视觉风格。 下面我们通过具体案例演示 IP Adapter 的使用方法： **案例一：人脸替换** 1. 先生成一张动漫风格人物作为参考图，提示词为 `one girl, twin tails`； 2. 打开 ControlNet，设置控制类型为 `IP-Adapter`，启用并勾选“完美像素模式”； 3. 预处理器选择 `Face ID Plus`（最新版，集成多项功能）； 4. 模型选择 `IP-Adapter Face ID Plus V2`（最新版本）； 5. 将刚才生成的动漫人物图像拖入参考图区域； 6. 再次生成图像，可见人物面部特征得到较好保留。 再试一个真实系示例： 1. 模型选用写实风格模型（如 Maiju Realistic）； 2. ControlNet 启用，勾选“完美像素模式”，控制类型仍为 `IP-Adapter`； 3. 预处理器与模型均选择 `Face ID Plus`； 4. 参考图上传“马老师”照片； 5. 提示词输入 `one man, garden`； 6. 生成结果为马老师置身花园的图像，效果自然。 **案例二：材质迁移** 1. 启用 ControlNet，控制类型设为 `IP-Adapter`，预处理器选择 `Auto`，模型选择 `IP-Adapter Plus SD1.5`（避免因未检测到人脸而报错）； 2. 上传材质贴图（如黄金材质图），点击“爆炸按钮”（即 Apply）； 3. 新增第二个 ControlNet 单元，上传一朵玫瑰作为参考图，启用“完美像素模式”和“允许预览”，控制类型设为 `Soft Edge`，预处理器选 `HED Safe`，模型选对应项，点击 Apply； 4. 新增第三个 ControlNet 单元，再次上传玫瑰图，控制类型设为 `Depth`，预处理器选 `Zoe`，模型选对应项，点击 Apply； 5. 输入基础提示词（如 `rose`），加入相关正向提示词； 6. 生成结果中，玫瑰成功替换为黄金材质。 还可尝试其他材质图，例如： - 上传水晶图片 → 生成水晶材质玫瑰； - 同时融合黄水晶与蓝水晶 → 生成双色水晶玫瑰。 更多创意组合，欢迎自行探索实践。