大家好我是AIGC阿道夫

前言

大家好,首先希望大家度过了一个愉快的圣诞节!今天带来一些让人兴奋的消息,来自ComfyUI的最新更新——我们现在可以在仅有8GB显存的GPU上运行强大的HunyuanVideo模型啦!是不是很惊讶?别急,接下来让我们一步步来解读这次更新的亮点。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~

请添加图片描述

HunyuanVideo:显存小,效果大!

如果你一直以为强大的视频生成模型只有在32GB显存的高端GPU上才能流畅运行,那你就错过了ComfyUI的最新黑科技!现在,ComfyUI v0.3.10版本支持在显存只有8GB的GPU上运行HunyuanVideo模型。

那么,如何实现这一点呢?关键在于**时间切片(Temporal Tiling)**技术。这项技术让我们能够大幅降低显存消耗,从原先的32GB减少到了8GB,同时仍能保持高质量的生成效果。

什么是“时间切片”?

简单来说,时间切片技术是视频模型的核心优化之一。它和空间切片不一样,空间切片是将图像分成多个块来处理,而时间切片则是处理视频帧之间的时间信息。举个例子,假设你在看一段视频,每一帧都像是一个“切片”,通过合理安排这些“切片”的使用,能有效减少显存占用。

举个直观的例子:传统的处理视频时,假设每一帧都是一个独立的图像处理单元,这样就需要大量的显存。使用时间切片技术后,每个时间片段的“帧”会被压缩,减少计算量,让你的显卡即使显存较小,也能顺利处理视频生成任务。

如何使用时间切片来降低显存消耗?

如果你也想体验这种黑科技,以下是一些简单的操作步骤:

  1. 更新ComfyUI到最新版本

  2. 使用更新后的示例工作流,可以在ComfyUI的官网或社区找到最新的工作流文件。

  3. 在“VAE Decode(Tiled)”节点中,调整tile_size、overlap、temporal_sizetemporal_overlap等参数,尤其是在显存低于32GB的情况下。

  4. 如果你在运行时仍然遇到显存不足的情况,可以选择在“加载扩散模型(Load Diffusion Model)”节点中设置fp8数据类型,以加速推理并降低显存使用。

PixArt模型加入支持:多种分辨率、格式随心切换!

除了HunyuanVideo,ComfyUI还新增了对PixArt模型的原生支持!PixArt是一系列高质量的扩散生成模型,专门用于图像生成。此次更新不仅支持PixArt的Alpha和Sigma模型,而且支持不同分辨率(1024x1024和512x512)以及多种格式的预训练权重。

举个例子,PixArt模型可以帮助用户生成极具艺术感的图像,比如你想要一张梦幻般的城市夜景,或者一幅充满未来感的科技风景,PixArt都能轻松驾驭。更棒的是,你可以根据需要自由切换不同的分辨率和格式,完美适配你的创作需求。

如何使用PixArt模型?
  1. 更新ComfyUI到最新版本。

  2. 下载并安装PixArt模型文件,如PixArt-XL-2-1024-MS(Alpha权重)或PixArt-Sigma-XL-2-1024-MS(Sigma权重),并将其放置在ComfyUI/models/diffusion_models文件夹中。

  3. 下载适用于Alpha和Sigma模型的VAE文件,并放置在ComfyUI/models/vae目录下。

  4. 使用示例工作流文件PixArtSampleWorkflow.json,便捷开始你的图像生成之旅。


这次更新无疑是对广大创作者的一大福音,不论是视频生成还是图像创作,ComfyUI的这次创新都使得更多用户能够轻松实现复杂的生成任务。如果你也有兴趣,不妨立刻更新,体验这一系列酷炫的功能吧!

ComfyUI不仅在技术上不断突破,降低了对硬件的要求,还通过优化带来了更多的创作可能。从HunyuanVideo的时间切片技术到PixArt模型的原生支持,开发者们正在不断刷新我们对AI生成的认知。所以,如果你对AI创作感兴趣,或者正为硬件限制苦恼,不妨试试ComfyUI的最新版本,它将会是你创作路上的得力助手。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

img
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐