FLUX.1 & ComfyUI:专属图像生成助手

FLUX.1 简介

FLUX.1 是由 黑森林实验室 (Black Forest Labs) 开发的一款高性能图像生成模型,分为以下三个版本:

  • FLUX.1-pro (闭源): 最顶级的版本,具备极高的图像生成能力,支持企业定制化服务。它能够生成高质量的图像,并且拥有卓越的提示词识别与输出多样性。
  • FLUX.1-dev (开源不可商用): 从 FLUX.1-pro 中提炼而来,保留了类似的图像质量和提示词能力,但更高效。该版本适用于研究和开发用途。
  • FLUX.1-schnell (开源可商用): 面向个人开发者和本地部署的版本,具备 Apache 2.0 许可,生成速度快且内存占用低,非常适合资源受限的环境下使用。

FLUX.1 拥有 120 亿训练参数,相比于其他流行模型如 SD3 Medium(20 亿参数)和 Midjourney v6.0,在图像质量、提示词的准确性、尺寸自适应性及输出的多样性方面具备明显优势。

部署流程
1. 创建云资源

进入控制台-GPU云实例,点击 创建实例

image-20240922103750746

在创建页面,按如下配置设置:

  • 付费方式:如果是短期需求,建议按量付费;长期需求则推荐包月。
  • GPU 配置:推荐选择 NVIDIA-GeForce-RTX-4090(60GB 内存,24GB 显存),至少需要 16GB 显存。
  • 数据硬盘:默认 50GB 不足以存储 FLUX.1 模型,建议扩容至 150GB。

image-20240922103946425

配置好实例后,选择预装了 PyTorch 2.4.0 框架的镜像,创建实例并设置密钥对保存到本地以便后续登录。

image-20240922104022125

image-20240922104203939

2. 登录实例

可以使用平台提供的 JupyterLab 工具进行实例管理。启动实例后,在 JupyterLab 中打开终端。

3. 部署 ComfyUI

使用以下命令克隆 ComfyUI 仓库:

# 官方 GitHub 仓库
git clone https://github.com/comfyanonymous/ComfyUI.git

# 或使用 GitCode 镜像仓库
git clone https://gitcode.com/gh_mirrors/co/ComfyUI.git

image-20240922104530564

克隆完成后你会看到以下目录:

image-20240922104641812

进入 ComfyUI 目录并安装依赖:

cd ComfyUI/
pip install -r requirements.txt --ignore-installed

image-20240922104929647

安装完成后,使用以下命令启动 ComfyUI 服务:

python main.py --listen

若遇到 psutil 版本冲突问题,可通过以下命令卸载冲突包后重新安装依赖:

pip uninstall psutil
pip install -r requirements.txt --ignore-installed
4. 部署 FLUX.1

FLUX.1-dev 的下载和部署如下:

首先下载完整的 FLUX.1-dev 模型:

wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar

解压文件:

tar -xf FLUX.1-dev.tar

将解压后的模型文件分别移动到 ComfyUI 的相应目录:

# 进入解压后的文件夹
cd /root/workspace/FLUX.1-dev

# 移动大模型文件
mv flux1-dev.safetensors /root/workspace/ComfyUI/models/unet/

# 移动 VAE 文件
mv ae.safetensors /root/workspace/ComfyUI/models/vae/

接下来下载并部署 Clip 模型:

# 进入 JupyterLab 根目录
cd /root/workspace

# 下载 Clip 模型
wget http://file.s3/damodel-openfile/FLUX.1/flux_text_encoders.tar

# 解压
tar -xf flux_text_encoders.tar

将 Clip 模型文件移动到相应目录:

# 进入解压后的文件夹
cd /root/workspace/flux_text_encoders

# 移动 Clip 文件
mv clip_l.safetensors /root/workspace/ComfyUI/models/clip/
mv t5xxl_fp16.safetensors /root/workspace/ComfyUI/models/clip/
5. 启动 FLUX.1

部署完成后,进入 ComfyUI 目录启动服务:

cd /root/workspace/ComfyUI
python main.py --listen

查看自己的host和端口,你可以通过平台的端口映射功能将此端口暴露至公网,具体操作是:

  • 打开 GPU 云实例页面,选择 访问控制
  • 添加服务的对应端口,并将内网端口映射到公网。

成功映射后,您即可通过浏览器访问 ComfyUI 的图形化界面。

使用 FLUX.1 工作流

可以将下列图像工作流文件导入 ComfyUI 中,分别加载不同的 FLUX.1 模型版本来查看效果。以下是 FLUX.1-dev-FP16 的效果示例。

Example

Example

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐