前 Stability AI 成员 Robin Rombach 创立了 Black Forest Labs 并发布了三个开源模型:FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell];
- [pro] 是最顶级的模型,但是仅可通过 API 调用;
- [dev] 是由[pro]提炼,开源但非商用,质量和效果与[pro]类似;
- [schnell] 是经过蒸馏的 4 步模型,速度比 [dev] 快 10 倍,Apache 2 许可。
FLUX.1 [pro] 和 [dev] 在视觉质量、提示遵循性、 尺寸/纵横的多样性、字体排印和输出多样性方面均超过了 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra 等流行模型(官方说的,事实如何我们看后面的对比);
目前 ComfyUI 已支持此模型,更新到最新版即可使用。
使用 FLUX 不仅需要使用 FLUX 本体,还需要下载 CLIP 以及对应的 VAE;
大家可以根据下方的官方地址下载
下载 CLIP 模型:
需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors (建议 fp8 版本,如果你显存超过 32G 可选择 fp16 版本)和 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中;
此模型和 SD3 使用的是一样的,如果文件夹中已有,可以不用下载
下载地址: https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
下载 VAE 模型:
下载 ae.sft 存放至 ComfyUI/models/vae/ 目录;
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft
下载 Flux 模型:
FLUX 模型有四个可选,FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8;
① FLUX.1 [dev] :官方版本满配版,没几个小伙伴跑的动;
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/flux1-dev.sft
② FLUX.1 [dev] fp8:大佬优化 [dev] 后版本,建议选择此版本,最低 12G 显存可跑;
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
③ FLUX.1 [schnell]:4 步蒸馏模型,(前言有写),大多数显卡可跑。
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft
④ FLUX.1 [schnell] fp8:大佬优化 [schnell] 后版本,建议选择此版本,其他同上,但能适应更低的显卡配置。
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors
存放位置:ComfyUI/models/unet/目录。
1. 文生图
FLUX.1 [dev] 模型:
① FLUX.1 [schnell] 4 步蒸馏模型:
2. 图生图
① FLUX.1 [dev] 模型:
② FLUX.1 [schnell] 4 步蒸馏模型的图生图就不推荐使用了,图生图就是通过调节降噪数值来控制所跳过的生图步数进行的,而 [schnell] 只需 4 步就能生成图片,也就会导致无法得到很好的控制效果。
FLUX.1 [Por] 模型(只有只能通过 API 使用): https://replicate.com/black-forest-labs/flux-pro
FLUX.1 [schnell] 试用: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell