【comfyui教程】用ComfyUI 将人物视频转换动漫风格

comfyui教程：1.1 将视频界面人物放大居中。1.2 拍原视频不要运镜，有运镜的部分会影响生成效果，需要重新处理。1.3 将原始视频降为24帧，转换的动画风格一般设定为8帧。二、设置工作流2.1 加载视频路径参数参考三、安装相关节点、模型ComfyUI Nodes for Inference.Corehttps://github.com/LykosAI/ComfyUI-Inference-C

AI绘画小33

1093人浏览 · 2024-11-23 14:15:55

AI绘画小33 · 2024-11-23 14:15:55 发布

前言

一、对原视频进行处理（剪影）

1.1 将视频界面人物放大居中。

1.2 拍原视频不要运镜，有运镜的部分会影响生成效果，需要重新处理。

1.3 将原始视频降为24帧，转换的动画风格一般设定为8帧。

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

二、设置工作流

2.1 加载视频路径

参数参考

三、安装相关节点、模型

ComfyUI Nodes for Inference.Core

https://github.com/LykosAI/ComfyUI-Inference-Core-Nodes

推理的主要节点，核心和稳定性矩阵。重点是不影响启动性能，并使用完全限定的节点名称。

下载后如图：

ComfyUI Essentials

https://github.com/cubiq/ComfyUI_essentials

ComfyUI核心中奇怪地缺少的基本节点。除了少数例外，它们是新功能，而不是商品。我希望这只是一个临时存储库，直到节点被包括在ComfyUI中。

ComfyUI-Advanced-ControlNet

https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet

节点：ControlNetLoaderAdvanced、DiffControlNetLoader Advanced、ScaledSoftControlNetWeights、SoftControlNetWweights、CustomControlNetWeight、SoftT2IAdapterWeights、CustomT2IAdapter Weights

Fizz节点

https://github.com/FizzleDorf/ComfyUI_FizzNodes

动画和实用程序的预定提示、预定float/int值和波形函数节点。兼容帧同步和关键帧字符串生成器，用于Comfyui中的音频同步动画。

Efficiency Nodes for ComfyUI Version 2.0+

https://github.com/jags111/efficiency-nodes-comfyui

注意：该节点最初由 LucianoCirino 创建，但原始存储库不再维护，并已由新维护者分叉。要使用分叉版本，您应该卸载原始版本并重新安装此版本。

ComfyUI Frame Interpolation

https://github.com/Fannovel16/ComfyUI-Frame-Interpolation

节点：KSampler 逐渐添加更多降噪（高效）

ComfyUI’s ControlNet Auxiliary Preprocessors

基于 ControlNet 辅助模型对 comfyui_controlnet_preprocessors 的重写。我认为旧的回购协议不足以维护。所有旧的工作流程仍然适用于此存储库，但版本选项不会执行任何操作。几乎所有 v1 预处理器都被 v1.1 取代，除了 v1.1 中未出现的预处理器。

https://github.com/Fannovel16/comfyui_controlnet_aux

v3_sd15_adapter.ckpt

https://github.com/guoyww/AnimateDiff

运行结果

显存8G，运算能力不足，

后一部分的controlnet无法运行

两次controlnet 效果不理想

本地算力需要10G以上，

参考GPU型号配置

参考

ControlNet 1.1 14 个模型

（11 个生产就绪模型和 3 个实验模型）：

如果您使用8GB GPU，则需要在“config.py”中设置“save_memory = True”。

control_v11p_sd15_canny

使用 Canny 贴图控制稳定的扩散。

control_v11p_sd15_mlsd

使用 M-LSD 直线控制稳定扩散。

control_v11f1p_sd15_depth

使用深度图控制稳定的扩散

control_v11p_sd15_normalbae

使用法线贴图控制稳定扩散。

control_v11p_sd15_seg

通过语义分割控制稳定扩散。

control_v11p_sd15_inpaint

使用 Inpaint 控制稳定的扩散。

control_v11p_sd15_lineart

用艺术线条控制稳定的扩散。

control_v11p_sd15s2_lineart_anime

使用动漫艺术线条控制稳定的扩散。

control_v11p_sd15_openpose

使用 Openpose 控制稳定的扩散。

control_v11p_sd15_scribble

用涂鸦控制稳定扩散。

control_v11p_sd15_softedge

使用软边缘控制稳定的扩散。

control_v11e_sd15_shuffle

通过内容随机播放控制稳定的扩散。

control_v11e_sd15_ip2p

使用 Instruct Pix2Pix 控制稳定扩散。

control_v11f1e_sd15_tile

使用Tiles控制稳定的扩散。

先前的“control_v11u_sd15_tile”已被删除。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。