开新坑ComfyUI的折腾

发表于 更新于 分类于

纯新手入门（先用起来）文生图

第一次使用ComfyUI，别学原理，先跑通一次，先用起来。
（1）下载ComfyUI
下载地址：https://www.comfy.org/zh-cn/download
图片
下载下来就是Windows最简单的下一步安装，全部默认。

（2）双击运行
双击运行就会进入到这个界面，这个就是一个默认的【工作流】。这时候先别动任何东西，先解决模型的问题。
图片

（3）解决模型的问题
刚刚下载安装好的ComfyUI是没有任何模型的，需要我们自己去下载。
国内建议在https://www.liblib.art/或https://hf-mirror.com/下载模型
譬如我下载的是：https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540?versionUuid=d303ad58c0fc4c989b60351d5eac68e6
这是一个CheckPoint模型，先不要管什么是CheckPoint模型，第一次玩只下载CheckPoint模型就行。
图片
图片

把模型放在这里目录中：C:\Users\Brian\Documents\ComfyUI\models\checkpoints
图片

如图：在【工作流】界面，把这个模型选择出来。
图片

把本来连在一次空模型的框的线（紫、黄、橙），分别连到这个新模型上。鼠标拉出来一条线，链接两个框的紫、黄、橙点就能连上。旧的【CheckPoint加速器（简易）】的框可以删掉了。
图片

（4）提示词
填写正向和反向提示词

  • 正向提示词：因为只接受英文，建议用一个大模型来给你做翻译，如我这里。
    图片

  • 反向提示词：下载的模型就给了，直接用就好。
    图片

（5）运行测试
如无意外，现在就可以运行测试了。
其他的框都保持默认就好，跑通了再去一个参数学习怎样调整。
点击【运行】就会自己跑流程，图片出来后鼠标右键，就能打开、保存、浏览图片了。
图片
默认保存的图片在：C:\Users\Brian\Documents\ComfyUI\output
图片

文生图KSampler的推荐参数

  • seed = 0
  • steps = 25
  • cfg = 8.0
  • sampler = dpmpp_2m_karras
  • denoise = 1.0

图生图

（1）先去下载模版
下载地址：https://comfyui-wiki.com/zh/workflows/img2img
把里面的图片另存下来，丢进去ComfyUI中。
图片
图片

标准例子需要的是v1-5-pruned-emaonly.ckpt模型，下载地址如下：
https://gitee.com/modelee/stable-diffusion-v1-5/blob/main/v1-5-pruned-emaonly.ckpt

我这里就不用例子中的模型，还是用前面已经下载了的majicMIX realistic 麦橘写实_v7.safetensors

（2）测试运行
选择一张图片，并点击运行。就能跑出来结果了。
图片

（3）工作原理

  • Load Image
    这是用来加载图片的节点，很容易理解，就不解析了。
    图片

  • VAE Encode
    这是用来把图片的像素点，通过模型的影响，变成Latent格式数据的节点。
    图片

  1. 【输入】Pixels：用来接受图片的像素点
  2. 【输入】VAE：用来对接模型，用于做像素转化为Latent数据计算。如图中的CheckPoint模型：majicMIX realistic 麦橘写实_v7.safetensors。
  3. 【输出】Latent：输出Latent数据给KSampler。
  • KSampler
    用来加载模型并配置参数节点。
    图片
  1. 【输入】model：调用模型。前面接Load CheckPoint
  2. 【输入】positive：正面效果提示词。前面接CLIP Text Encode(Prompt)
  3. 【输入】negative：负面效果提示词。前面接CLIP Text Encode(Prompt)
  4. 【输入】latent_image：来自的初始潜图的Latent数据。前面接Load Image
  5. 【输出】latent：新的Latent数据输出。后面接VAE Decode
    参数
  • seed：（随机）种子，AI画师的灵感来源，设为 0 或 -1 通常代表“随机”。种子数字不变的话（其他参数也不变），出图的效果就不会变。
  • control after generate：生成后控制
    • randomize：随机，每次都采用随机新的 Seed 值。
    • fixed ：固定 Seed 值。
    • increment：每次生成后 Seed 值加 1。
    • decrement：每次生成后 Seed 值减 1。
  • setps：步数（AI计算的次数），一般20~40，越多效果越好，但是消耗的时间也会越长。步数一般超过40就意义不大了。
  • cfg：引导值，控制提示词的匹配程度，过低会让图片不像提示词描述的，过高图片会就很呆板。常见设置为 5 ~ 8。
  • samoler_name：采样算法名称。控制去噪过程的方式，如 euler（默认）、dpmpp_2m_sde_gpu、res_multistep等等。
  • scheduler：调度器。sampler_name 和 scheduler 可以说是 AI 在创作时所采用的“绘画技法”。使用 euler 和 normal 组合，简单且稳定性高。若采用 dmp 2M（dpmpp 2M）并搭配 Karras 调度器，可以在算图速度与画质之间取得良好的平衡。
  • denoise：降噪。denoise 值代表就是这个降噪的强度（百分比）。

ComfyUI Desktop V0.6.0 （无外网使用方法）

这是一个新版，使用起来更加方便了
现在的版本内置了很多例子（模版），直接选择就能开始用了。当然在内网还是需要自己手动下载模型啦，后面会教。
电脑必须要英伟达显卡，最低4G显存。苹果电脑必须是M系列芯片，最低16G内存即可。

下载并安装

下载ComfyUI：https://www.comfy.org/zh-cn/download
图片
下载完直接安装即可，傻瓜式的全下一步
图片
双击桌面端的图标就能进去了，初始化会比较长时间，需要耐心等一下。
图片
启动过程中要安装啥的，全都安装就好了
图片
现在正是启动了
图片
这样就进来了，因为我这是升级安装，有一些历史数据，新打开只有一个最简单的例子自动加载。
图片

文生图练手

打开后，选择【模版】【图像生成】来练手，即最简单的【文生图】
图片
告诉我们缺模型了，这里不用管，关了就是。
图片
缺的模型，我们去https://www.liblib.art/下载就好
图片
还是下载我建议的这个模型：https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540?versionUuid=d303ad58c0fc4c989b60351d5eac68e6
这是一个CheckPoint模型，先不要管什么是CheckPoint模型，第一次玩只下载CheckPoint模型就行。
图片
✔️只下载CheckPoint模型，大多数支持4G或以下。
❌不是CheckPoint F.1、CheckPoint FX、CheckPoint Qwen-Image这些，一般要8G、16G、24G的显卡才能用。
图片
现在的模型都放要放在C:\Users\<你的用户名>\Documents\ComfyUI\models\checkpoints里面。下载了新的模型，要关闭了ComfyUI从新打开才能选择到。
图片
这样就能在CheckPoint加载器（简易）里面选择你下载好的模型了。现在选择majicMIX realistic 麦橘写实_v7.safetensors这个我们下载好的大模型。
图片
大佬们发的大模型，一般都有参数设置的。尽量按照大佬的模版去配置。
图片
提示词CLIP文本编码：只支持英文，这是生图的关键中的关键，写得好，出图就符合预期。
负面条件（提示词）：我们按照大佬的填(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark
图片
正面条件（提示词）：我们直接抄下面的例子

1
nsfw,((masterpiece)), (((best quality))), ((ultra-detailed)), ((illustration)), dynamic angle,1girl,0d,black pantyhose,high heels,full body,Black hair,Half-up, half-down hairstyle,jacket,Contrapposto pose,feeding,looking at viewer, playground,sunlight, (long legs:1.3),

图片
图片
其他的配置如下图：

  • K采样器
    • 种子：不管，就是一个随机数，每次自己都会变
    • 步数：AI计算的步数，超过40后一半意义已经不大
    • cfg：AI对提示词的遵守程度，越大越严格遵守，越小偏离越多。
    • 采样器名称：除非你用的大模型有指定，不然就选dpmpp_2m
    • 调度器：除非你用的大模型有指定，不然就选karras
    • 降噪：问生图就选1，是用来控制输入空Latent图像的噪声多少的。
  • 空Latent图像
    • 宽度：图像的宽，SD1.5模型建议最大就512。
    • 高度：图像的高，SD1.5模型建议最大就512。
    • 数量大小：每次生成多少张图，看计算速度，速度快的可以4至9张。
      全部都配置好就可以点【运行】
      图片
      如果没有报错，这样就证明系统在跑计算了。等一下就能出来图。
      图片
      出来了图了，看到效果非常一般，这因为我们还有一些滤镜、小模型没有用上，这个需要多学习和尝试才能达到想要的效果。
      图片
      通过一些调整，下面这次效果就好一些了，看来这个majicMIX realistic 麦橘写实_v7.safetensors模型不需要高质量提示词，只需要简单的几个提示词就可以。
      图片