开新坑ComfyUI的折腾

发表于 更新于 分类于 阅读次数：

纯新手入门（先用起来）文生图

第一次使用ComfyUI，别学原理，先跑通一次，先用起来。
（1）下载ComfyUI
下载地址：https://www.comfy.org/zh-cn/download
图片
下载下来就是Windows最简单的下一步安装，全部默认。

（2）双击运行
双击运行就会进入到这个界面，这个就是一个默认的【工作流】。这时候先别动任何东西，先解决模型的问题。
图片

（3）解决模型的问题
刚刚下载安装好的ComfyUI是没有任何模型的，需要我们自己去下载。
国内建议在https://www.liblib.art/下载模型
譬如我下载的是：https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540?versionUuid=d303ad58c0fc4c989b60351d5eac68e6
这是一个CheckPoint模型，先不要管什么是CheckPoint模型，第一次玩只下载CheckPoint模型就行。
图片
图片

把模型放在这里目录中：C:\Users\Brian\Documents\ComfyUI\models\checkpoints
图片

如图：在【工作流】界面，把这个模型选择出来。
图片

把本来连在一次空模型的框的线（紫、黄、橙），分别连到这个新模型上。鼠标拉出来一条线，链接两个框的紫、黄、橙点就能连上。旧的【CheckPoint加速器（简易）】的框可以删掉了。
图片

（4）提示词
填写正向和反向提示词

  • 正向提示词：因为只接受英文，建议用一个大模型来给你做翻译，如我这里。
    图片

  • 反向提示词：下载的模型就给了，直接用就好。
    图片

（5）运行测试
如无意外，现在就可以运行测试了。
其他的框都保持默认就好，跑通了再去一个参数学习怎样调整。
点击【运行】就会自己跑流程，图片出来后鼠标右键，就能打开、保存、浏览图片了。
图片
默认保存的图片在：C:\Users\Brian\Documents\ComfyUI\output
图片

文生图KSampler的推荐参数

  • seed = 0
  • steps = 25
  • cfg = 8.0
  • sampler = dpmpp_2m_karras
  • denoise = 1.0

图生图

（1）先去下载模版
下载地址：https://comfyui-wiki.com/zh/workflows/img2img
把里面的图片另存下来，丢进去ComfyUI中。
图片
图片

标准例子需要的是v1-5-pruned-emaonly.ckpt模型，下载地址如下：
https://gitee.com/modelee/stable-diffusion-v1-5/blob/main/v1-5-pruned-emaonly.ckpt

我这里就不用例子中的模型，还是用前面已经下载了的majicMIX realistic 麦橘写实_v7.safetensors

（2）测试运行
选择一张图片，并点击运行。就能跑出来结果了。
图片

（3）工作原理

  • Load Image
    这是用来加载图片的节点，很容易理解，就不解析了。
    图片

  • VAE Encode
    这是用来把图片的像素点，通过模型的影响，变成Latent格式数据的节点。
    图片

  1. 【输入】Pixels：用来接受图片的像素点
  2. 【输入】VAE：用来对接模型，用于做像素转化为Latent数据计算。如图中的CheckPoint模型：majicMIX realistic 麦橘写实_v7.safetensors。
  3. 【输出】Latent：输出Latent数据给KSampler。
  • KSampler
    用来加载模型并配置参数节点。
    图片
  1. 【输入】model：调用模型。前面接Load CheckPoint
  2. 【输入】positive：正面效果提示词。前面接CLIP Text Encode(Prompt)
  3. 【输入】negative：负面效果提示词。前面接CLIP Text Encode(Prompt)
  4. 【输入】latent_image：来自的初始潜图的Latent数据。前面接Load Image
  5. 【输出】latent：新的Latent数据输出。后面接VAE Decode
    参数
  • seed：随机种子，AI 画师的灵感来源，设为 0 或 -1 通常代表“随机”。
  • control after generate：生成后控制
    • randomize：随机，每次都采用随机的 Seed 值。
    • fixed ：固定 Seed 值。
    • increment：每次生成后 Seed 值加 1。
    • decrement：每次生成后 Seed 值减 1。
  • setps：步数，一般20~40，越多效果越好，但是消耗的时间也会越长。
  • cfg：引导值，决定了 AI 在创作时会发挥多大的“创意”。常见设置为 7 ~ 10。
  • samoler_name：采样算法名称。控制去噪过程的方式，如 euler（默认）、dpmpp_2m_sde_gpu、res_multistep等等。
  • scheduler：调度器。sampler_name 和 scheduler 可以说是 AI 在创作时所采用的“绘画技法”。使用 euler 和 normal 组合，简单且稳定性高。若采用 dmp 2M（dpmpp 2M）并搭配 Karras 调度器，可以在算图速度与画质之间取得良好的平衡。
  • denoise：降噪。denoise 值代表就是这个降噪的强度（百分比）。