AI修补扩扣流程

Date:2024-12-15 Categories:AI影像

文章目录
  • 重绘效果  ⬇
  • 扩图效果  ⬇
  • 抠像效果  ⬇

    • 前言

    UP

     

    以上为B站up主【垌月岚的蟹黄堡秘方】制作的AI修补图的流程，是针对关于修补漫画，方便mad与字幕组的一个重绘流程，会从的软件安装到流程使用，带你上手这个流程，并最终使用工具高效的完成MAD素材的修复。

    本次使用的模型为Flux_Fill模型目前最强大的重绘与外扩开源模型，具有120E参数，可以部署在本地

    可以先查看飞书文档来获取基本流程分享信息和效果展示

    模型使用显存测试（较为主观仅供参考）⬇

    更详细的安装方法和comfyui的使用方法可以观看up主【醉石散客】的小白教程和文章了解基本的原理和概念
    使用到的插件与模型的项目链接  ⬇
    1. clip：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
    2. vae：https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
    3. Fill：https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main
    4. T8量化Fill：https://huggingface.co/t8star
    5. FluxExt-MZ：https://github.com/MinusZoneAI/ComfyUI-FluxExt-MZ
    6. RMBG2.0：https://github.com/gorillaframeai/GF_nodes
    7. BEN：https://github.com/DoctorDiffusion/ComfyUI-BEN
    8. Inspyrenet：https://github.com/john-mnz/ComfyUI-Inspyrenet-Rembg
    9. BiRefnet v2：https://github.com/ZhengPeng7/BiRefNet
    如果没有魔法可以在网盘中下载
    下面为流程的安装文字版示例：
    在网盘中有这些文件夹，首先选择下载启动器，两个均为秋叶的绘世启动器
    ①为秋叶的最新的1.5版本没用进行文件插件的配置可以先观看小白教程进行使用；
    ②为我使用秋叶的1.5版本删去和安装好了一些插件的压缩包，因为模型文件太大我去掉了模型进行单独的下载。

    效果展示

    详情图片可以在飞书查看

    重绘效果  ⬇

    扩图效果  ⬇

    抠像效果  ⬇

    安装教程

    基础文件

    接着我们进行必要的模型下载，clip、Vae、unet(unet文件分为原版模型与量化模型具体使用情况根据自己的显存情况下载，只要下载一个模型就可以运行)为必下文件把下载好的文件分别放入comfyui的根目录文件夹中如
    Comfyui\models\clip
    Comfyui\models\vae
    Comfyui\models\unet
    百度网盘文件位置⬇
    插件安装
    如果使用的是秋叶的原版启动器的话需要额外多做一步插件的安装,如果是使用打包好的整合包可以跳过此步骤

    第一步

    第二步

    第三步

    安装完以上插件时，还要手动安装一个插件，因为此插件并没有加入comfyui库，需要手动安装，下载压缩包解压后把文件放置在此目录⬇
    Comfyui\custom_nodes
    网盘下载插件
    抠像文件
    如果你使用的是打包整理好的文件可以跳过安装抠像插件的流程，如果不是就按照安装教程中的插件安装就可以了（PS：记得开启魔法）
    在插件完成安装后把抠像文件拖入models文件夹中即可⬇
    Comfyui\models
    网盘下载地址

     

    注意：因为在抠像流程中插件会自动下载部分模型需要开启魔法请勿中断

    使用方法

    一、重绘

    打开绘世启动器运行，等到弹出工作界面的时候把工作流程文件（json文件）拖入界面
    之后我们得到下图的一个工作流程
    PS:文字与方框为提示描述和流程缩略图⬇

    第一步

    把图片拖入加载图像，右键点击在遮罩编辑器中打开绘制蒙版区域，之后保存
    蒙版操作技巧

    旧版蒙版操作方法⬇

    ①在涂抹蒙版的时候滚轮操控画笔大小

    ②鼠标左键+Ctrl拖动画布位置

    ③Alt+鼠标左键进行擦除蒙版

    新版蒙版操作方法⬇

    ①左边工具栏有画笔、橡皮擦、吸管和翻转遮罩工具来绘制蒙版

    ②在界面右侧有详细的参数调节，类似PS界面

    *新版本comfyui有更好的操作界面，推荐自己上手调节或者看视频介绍

    第二步

    在蒙版处理部分可以适当进行数值更改（可以保持不动）

    第三步

    适当书写提示词，也可以不用写，Flux模型的能力非常的强大

    第四步

    完成上面步骤之后点击执行队列等待出图即可

    二、扩图

    打开绘世启动器运行，等到弹出工作界面的时候把工作流程文件（json文件）拖入界面
    之后我们得到下图的一个工作流程
    PS:文字与方框为提示描述和流程缩略图

    第一步

    把图片拖入加载图像

    第二步

    修改外补画板的数值，调整想要扩展的方向和范围（点击预览图像圆点可以产看扩展的范围）

    第三步

    书写适当的提示词（可以不输入让模型自行理解或者使用适当填写自己的扩展想法或使用反求插件配合使用）

    第四步

    完成上面步骤之后点击执行队列等待出图即可

    三、抠像

    使用了BiRefNet V2、Ben、RMBG-2、Inspyrenet四种抠像模型组合在一起，选择合适的抠像结果
    输出带有透明通道的png图像和蒙版。

    第一步

    打开绘世启动器运行，等到弹出工作界面的时候把工作流程文件（json文件）拖入界面，之后我们得到下图的一个工作流程 PS:文字与方框为提示描述和流程缩略图

    第二步

    把图片拖入加载图像

    第三步

    完成上面步骤之后点击执行队列等待出图即可

    结语

    本篇 ComfyUI 教程中，我们基于Flux_Fill的强大图像能力和理解能力，来完成了对于图像的快速补图，扩图处理
    使用RMBG2.0、BEN、Inspyrenet、BiRefnet v2来进行简单的图片抠像，但是目前对于动漫类较差。