🍑个人主页：Jupiter. 🚀 所属专栏：Linux从入门到进阶 欢迎大家点赞收藏评论😊

@

目录

---

SD3+ComfyUI文生图部署步骤

ChatGLM-6B，作为清华大学与智谱AI联合开源的对话语言模型，凭借其GLM架构和62亿参数的规模，在学术界和工业界均赢得了广泛关注。其强大的语言理解和生成能力，加之轻量级的参数量以及开源特性，使得ChatGLM-6B成为众多应用场景中的优选模型。

以下将详细指导您如何在DAMODEL深度学习平台上部署ChatGLM-6B模型，并通过Web API的方式，使用本地代码与服务器端的模型进行对话。

DAMODEL-ChatGLM-6B 服务端部署

DAMODEL（丹摩智算）是专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。

1.1、实例创建

进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的 GPU 型号，本次实验可以选择选择：按量付费--GPU 数量 1--NVIDIA-GeForc-RTX-4090，该配置为 60GB 内存，24GB 的显存。

继续往下翻，配置数据硬盘的大小，每个实例默认附带了 50GB 的数据硬盘，本次创建可以就选择默认大小 50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择 PyTorch1.13.1 的框架启动，也可以选择 PyTorch2.1.2 版本启动。

点击创建密钥对，输入自定义的名称，创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

1.2、模型准备

启动环境后，打开终端，用 git 克隆ChatGLM-6B项目，若遇到github连接超时，可以选择gitcode站点，或者离线下载并上传到项目中。

cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败，可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git

成功克隆项目后，会显示如下文件夹：

cd 进入该文件夹，使用 pip 安装项目依赖：

pip install -r requirements.txt

可以看到 DAMODEL 平台环境依赖的下载安装速度可以达到 18MB/s 以上，非常迅速，等待片刻显示如下 Successfully installed 则说明依赖安装完成！

依赖安装成功后，我们需要引入模型文件，比较方便的是，DAMODEL（丹摩智算）提供了数据上传功能，用户有 20GB 免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。

这里首先点击文件存储，点击上传文件。

然后下载 Hugging Face 上的 ChatGLM-6B 预训练模型，也可以进入魔塔社区选择Chatglm3-6B里的所有文件进行下载。

然后将下载下来的模型文件及配置进行上传并解压，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。

1.3、模型启动

上传好预训练模型及解压后，我们就可以去启动 python 脚本运行了，ChatGLM-6B 提供了cli_demo.py和web_demo.pys两个文件来启动模型，第一个是使用命令行进行交互，第二个是使用本机服务器进行网页交互。 由于要使用本地模型启动，所以我们需要把从 Hugging Face Hub 加载改为本地路径加载，打开cli_demo.py和web_demo.py文件，将这两行代码改为从本地文件目录加载预训练模型。

然后在终端输入 pythoncli_demo.py就可以成功启动模型了，在cli_demo.py中，main函数启动一个无限循环，等待用户输入。用户可以输入文本与模型进行对话，或输入"clear"清空对话历史并清除屏幕，或输入"stop"退出程序。对于正常的对话输入。 启动模型后的效果如下图所示：

也可以在终端输入python web_demo.py，通过 Web 界面与模型进行交互。

不过由于 Jupyter 的限制，无法直接打开访问服务器的127.0.0.1:7860网页端交互界面，这里可以利用 MobaXterm 建立 ssh 隧道，实现远程端口到本机端口的转发。首先打开 tunneling，新建 SSH 通道，填入 ssh 的相关配置，并将 7860 通道内容转发到本机，点击 start 开始转发：

转发成功后，就可以成功在网页与模型进行交互了，效果如下：

---