【comfyui教程】探索AI绘图新境界:ComfyUI工作流入门教程_comfyui底层逻辑
在这个数字化时代,AI技术正逐渐渗透到艺术创作领域。ComfyUI,一个基于Python的图形界面工具,使得即使是0基础的小白也能轻松上手AI绘图。本文将带你走进蓝耘平台,学习如何使用ComfyUI构建基本的工作流,开启你的AI绘画之旅。
大家好我是AIGC阿道夫
前言
在这个数字化时代,AI技术正逐渐渗透到艺术创作领域。ComfyUI,一个基于Python的图形界面工具,使得即使是0基础的小白也能轻松上手AI绘图。本文将带你走进蓝耘平台,学习如何使用ComfyUI构建基本的工作流,开启你的AI绘画之旅。
所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~
初识ComfyUI及其功能
ComfyUI是一个交互式深度学习模型探索工具,特别适用于文本到图像生成模型。它基于Python开发,为用户提供了一个直观的图形界面,通过简单的文字输入即可生成艺术作品、动画、海报等。ComfyUI的核心优势在于其易用性和强大的功能集合,包括但不限于AI换脸/换衣等高级应用。
蓝耘平台与ComfyUI的结合
蓝耘平台提供了一个灵活多样的容器云计费方式和充足的算力资源。用户可以通过账号、短信或二维码登录,并享受新用户注册免费体验18小时算力的优惠。在蓝耘的应用市场中,用户可以找到并部署包括SDcomfyUI在内的多种深度学习模型镜像。部署成功后,通过SSH命令连接到服务器,并启动应用进入ComfyUI操作界面。
打开浏览器输入: www.cloud.lanyun.net ,进入蓝耘GPU智算云平台。
点击「应用市场」,其中部署了很多镜像,有我们今天要使用的SDcomfyUI还有SDwebUI,以及其他的深度学习的YOLO、2D转3D建模的TripoSR等。
点击部署镜像,选择计费方式,立即购买,就会跳转到工作台,等待部署成功。接下来使用Win+R键打开命令行,复制粘贴ssh命令,并复制ssh密码输入。这里不显示ssh密码是正常现象,直接回车就可以。
得到反馈之后,可以看到服务器的基本配置。
接下来就可以启动应用,进入comfyUI操作界面,在这个操作界面可以按住按住鼠标左键拖动,可以更加方便全面的看到每一个工作流,滚动鼠标滚轮可以放大或缩小。
ComfyUI 采用的是@風吟 chenkin 老师精心制作的整合包,此整合包已预先内置众多丰富多样的大模型,能够生成各式各样风格的图片。在该界面中,我们仅需输入所需图片的生成信息,接着点击 Queue Prompt(将提示词加入队列),就能极为清晰地知晓每个工作流的运行状态。随后,通过逐个节点的运作流程,便可顺利生成我们心仪的图片素材。
构建基本的ComfyUI工作流
在ComfyUI的操作界面中,用户可以通过拖动鼠标左键和滚动鼠标滚轮来查看和调整工作流。首先需要加载大模型(Load Checkpoint),然后在CLIP Text Encode提示词框中输入正负面提示词,并设置图片的长宽比、采样器步数等参数。通过这些步骤,最终生成所需的图片素材。
构建基本的ComfyUI工作流-详细步骤
此刻,想必大家对 ComfyUI 的工作流已然有了初步的了解。那么接下来,让我们将其清空,然后完全依靠自身力量,一步一步地手动构建出一套工作流。不知大家是否还记得刚才的步骤?首先,我们得有一个能够调用大模型的工具,操作方式为单击鼠标右键,接着单击 Add Node(添加节点),此时会弹出二级菜单,我们在其中选择 loaders—Load Checkpoint,如此一来,便能获取到一个简易的 Checkpoint 加载器。
长按鼠标左键即可进行拖动操作,当选择下方的大模型框时,便能浏览到其中内置的多种不同风格的大模型,并可从中挑选心仪的模型。
随后,我们要对两个正负词 CLIP 文本编码器进行配置。具体操作是,先单击鼠标右键,在弹出的菜单中依次点击 Add Node—conditioning—CLIP Text Encode(Prompt),这样就能得到一个正负词提示框。接着,我们对该提示框使用快捷键“ctrl C + ctrl V”,从而复制出一个新的提示框,如此一来,正好一个框用于填写正向词,另一个框用于填写负向词。
紧接着,我们要拖动对应的节点,将它们按顺序串联起来。这就如同购买了电脑后,需要用电源线、视频线把各个部件接通一样,只有把工作框相互连接,它们之间才能实现信息流通并开展工作,进而形成真正意义上的“工作流”。当然,在此过程中端口的连接是有规则的,一般而言,我们能够依据颜色以及名称为其找到匹配的接口,而且一个输出端口能够与多个接收端口相连接。
借助这两条线,我们便能将搭载模型的 CLIP 与提示词框顺利连接起来。在此之后,我们还需要添加一个极为关键的工作框。具体操作是,同样点击鼠标右键,然后在 Sampling(采样)选项中找到 KSampler(K 采样器)。
它负责在SDcomfyUI里非常重要的一个环节——采样去噪,我们来一起详细了解一下其中比较重要的功能,首先是control_after_generate,点开后你会发现四个选项:fixed、increment、derement、randomize。
CFG指的是"Classifier Free Guidance"(无分类器指导)。
以及采样器和调度器。
以下为大家列出一些其中常见的参数及其含义,以供大家参考。
然后我们将闲置端口按照的含义和颜色链接起来。
倘若工作流程繁多,线段过于密集,导致分布杂乱无章,你也能够为工作框自定义名称。操作方法很简单,只需右键单击,然后选择其中的 Title 选项,便可进行命名。目前,我们还剩下两个处于闲置状态的端口。其中一个名为 modle,它恰好能够与我们最初创建的 Checkpoint 加载器相连接。另一个端口名为 Latent(潜空间),此时我们需要在空白处右键单击鼠标,在 Latent(潜空间)分类下找到 Empty Latent Image(空白潜空间图像),点击即可完成创建。
把它的端口与我们之前预留的空余端口相互连接起来,如此一来,我们便能对生成图像的长宽比以及生成次数加以控制。最终,我们还缺少一个能够接收并保存图片的工作框(Save Images),其获取方式为同样进行右键单击操作,然后在 Image 选项内即可找到。
在成功建立之后,我们留意到它的端口无论是颜色还是含义均与之前的所有工作框无法匹配。那么在这种情况下应当如何应对呢?此时我们急需一个如同“转接器”一般的部件,其作用在于协助我们把先前的“数据”顺利转换为“图像”,而这个关键的部件就是 VAE(变分自编码器)。
将它的两个端口与相应的地方链接起来,输入我们想要生成图像的正负词,设置一些其他风格 参数,点击右边的Queue Prompt(添加提示词队列)。
完成以上设置,就可以顺利生成图像啦!你可以通过高亮的工作框,清晰的看到每个流程,运转到的节点在哪里。
最后成功输出我们想要的图片,这样一套最基本的工作流就搭建成功,希望本篇文章可以为各位ComfyUI小白玩家带来一些启发。如果在某个步骤怎么设置出现问题,又无法找到问题所在,可以通过最右边的Clear直接清空,导入我们预设的基础工作流,也可以直接体验。
最后:全英文工作流使用起来不方便!提前预设一键汉化!
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
更多推荐
所有评论(0)