声明：非广告，是用户的真实体验

CogVideoX-2b简介

智谱 AI 在 8 月 6 日宣布了一个令人兴奋的消息：他们将开源视频生成模型 CogVideoX，目前，其提示词上限为 226 个 token，视频长度为 6 秒，帧率为 8 帧 / 秒，视频分辨率为 720*480，而这仅仅是初代，性能更强参数量更大的模型正在路上。

CogVideoX 的核心在于它的 3D 变分自编码器，这项技术能够将视频数据压缩至原来的 2%，极大地降低了模型处理视频时所需的计算资源，还巧妙地保持了视频帧与帧之间的连贯性，有效避免了视频生成过程中可能出现的闪烁问题。

为了进一步提升内容的连贯性，CogVideoX 采用了 3D 旋转位置编码（3D RoPE）技术，使得模型在处理视频时能够更好地捕捉时间维度上的帧间关系，建立起视频中的长期依赖关系，从而生成更加流畅和连贯的视频序列。

在可控性方面，智谱 AI 研发了一款端到端的视频理解模型，这个模型能够为视频数据生成精确且与内容紧密相关的描述。这一创新极大地增强了 CogVideoX 对文本的理解和对用户指令的遵循能力，确保了生成的视频不仅与用户的输入高度相关，而且能够处理超长且复杂的文本提示。

代码仓库：https://github.com/THUDM/CogVideo
模型下载：https://huggingface.co/THUDM/CogVideoX-2b
技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

创建云实例

登录丹摩智算平台进入控制台，点击GPU云实例进入如下界面：

点击创建实例选择实例配置，本次体验选择按量付费、NVIDIA-L40S（ CogVideoX 在 FP-16 精度下的推理至少需 18GB 显存，微调则需要 40GB 显存）即够用。GPU数量选择1、数据硬盘默认50GB。如下图：


镜像选择 PyTorch2.4.0、Ubuntu-22.04，CUDA12.1

创建密钥对

选择创建好的密钥对

点击立即创建即完成云实例创建。如图：

部署CogVideoX-2b

JupyterLab在线访问实例的 JupyterLab 入口

点击操作下的入口进入JupyterLab 界面如下图：

打开终端，首先拉取 CogVideo 代码的仓库

wget http://file.s3/damodel-openfile/CogVideoX/CogVideo-main.tar

执行结果如图：

解压缩CogVideo-main.tar

tar -xf CogVideo-main.tar

进入 CogVideo-main 文件夹，输入安装对应依赖：

cd CogVideo-main/
pip install -r requirements.txt

执行结果如图：

终端输入 python，然后输入以下代码进行测试：

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

执行成功截图如下：

输入***quit()***退出。执行以下命令，下载 CogVideoX 模型：

cd /root/workspace
wget http://file.s3/damodel-openfile/CogVideoX/CogVideoX-2b.tar

执行结果如图：

解压缩CogVideoX-2b.tar

tar -xf CogVideoX-2b.tar

执行结果如图：

使用CogVideoX-2b

进入CogVideo-main文件夹，运行test.py文件：

cd /root/workspace/CogVideo-main
python test.py

注意：test.py 代码内容如下，主要使用diffusers库中的CogVideoXPipeline模型，加载了一个预训练的 CogVideo 模型，然后根据一个详细的文本描述（prompt），生成对应视频。
执行过程截图如下图：

执行结果如图：
您将在 CogVideo-main 目录中发现一个名为 output.mp4 的视频文件。

体验心得

在丹摩智算平台上部署和使用CogVideoX-2b的体验总体来说非常良好。平台强大的计算能力和友好的用户界面使得部署过程顺利，使用体验也非常出色。通过优化和改进，可以进一步提升用户体验和工作效率。

硬件配置：丹摩智算平台提供了强大的计算能力，硬件配置相对简单，只需选择合适的实例类型即可满足需求。
软件依赖：依赖安装过程中，丹摩智算平台提供了一些预装的依赖库，节省了安装时间，提高了效率。
安装过程：CogVideoX-2b的安装过程相对简单，安装脚本自动化程度高，用户只需按照提示操作即可。
配置文件：在配置文件设置过程中，丹摩智算平台的界面友好，用户可以轻松修改和保存配置参数。