目录

一、实践感想

在丹摩平台上部署ChatGLM-6B超大规模AI对话模型的过程中，我体验到了极高的效率和便利性，特别是在资源配置和环境设置方面。作为一名AI工程师，经常需要处理和部署像ChatGLM-6B这样复杂且庞大的模型，而丹摩平台为此提供了无与伦比的支持。

丹摩平台的用户界面设计简洁明了，使得整个部署过程变得非常直观。即使是首次使用该平台的用户，也可以轻松完成从资源选择到实例启动的整个流程。平台提供了一系列预配置的环境，极大地简化了初始设置工作，让我能够将更多精力投入到模型优化和测试上。

在资源配置方面，丹摩平台展示了极高的灵活性。我可以根据具体需求选择不同的GPU型号和数量，这对于像ChatGLM-6B这种需要大量计算资源的模型尤为重要。

平台提供的高性能GPU和可扩展的存储选项确保了模型在运行过程中的稳定性和高效性，大大提升了工作效率。在整个部署和测试阶段，系统运行稳定，没有出现任何中断或延迟。这种稳定性为我在进行模型开发和实验时提供了有力的保障，也增强了我对平台的信心。

二、实例部署

作为AI工程师，我发现丹摩智算（DAMODEL）云平台是我进行AI项目的理想选择。它精准地满足了我在人工智能开发中的各种需求，并且拥有强大的计算能力。平台专为AI开发量身定制，提供丰富的计算资源和可靠的基础设施，大大简化了AI应用的开发、训练和部署过程。

登录DAMODEL平台后，我通常会前往资源选项，选择GPU实例。通过简单地点击“创建实例”按钮，我可以快速启动新项目的配置。整个操作过程直观且高效，显著提升了工作效率和开发体验。

在配置界面，我首先选择实例的付款方式。对于短期项目，按需或按天计费更为灵活，而长期项目则适合选择月度订阅，以节约成本。

建议采用灵活的按需付费方式，选择NVIDIA GeForce RTX 4090 GPU，具备60GB内存和24GB显存。对于初学者来说，50GB的数据硬盘容量已经满足基本需求。

配置实例时，我会选择合适的镜像，平台已提供基础镜像以便于快速启动。通过框架选项，我可轻松选择预装环境的PyTorch 2.4.0镜像。

为确保安全连接，我创建了一个密钥对。通过自定义名称后，让系统生成，并将私钥下载到电脑，改为.pem格式，方便后续本地连接使用。

创建密钥对后，选择刚生成的密钥对并点击立即启动。只需等待片刻，实例便会启动，让我迅速进入项目开发阶段。

三、模型准备

环境启动后，我将打开终端，通过git克隆ChatGLM-6B项目。如果GitHub连接不畅，可切换至gitcode，或将代码下载后离线上传，以确保项目顺利开展。

cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败，可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git

项目克隆成功后，你将看到以下目录结构显示在屏幕上。

进入项目目录后，通过 pip 命令安装所需的依赖库。

pip install -r requirements.txt

在DAMODEL平台上，我体验到超快的依赖下载和安装速度，竟超过每秒18MB。这大大节省了我的时间，仅需片刻，当界面显示“Successfully installed”时，所有依赖便已安装完毕。

依赖安装完毕后，需导入模型文件。值得庆幸的是，DAMODEL平台提供数据上传功能，并赠送20GB免费存储。这些空间挂载于实例的/root/shared-storage目录，并允许不同实例共享。用户需先进入文件存储界面，再选择上传文件。

要获取ChatGLM-6B的预训练模型，你可以访问Hugging Face网站进行下载，操作简单且资源丰富。另一个选择是进入魔塔社区，从Chatglm3-6B项目中选择所需文件进行下载，便捷又高效。

接下来，将下载的模型及配置文件上传并解压。建议保持上传界面在前台，以确保上传顺利完成。上传成功后，再进行其他操作。这一流程能有效减少错误，提升文件管理效率。

四、启动模型

成功上传并解压预训练模型后，你即可运行Python脚本。ChatGLM-6B提供了cli_demo.py和web_demo.py两个关键文件，分别用于命令行与网页交互。需将代码中的Hugging Face Hub路径替换为本地路径，以便使用本地模型。

在终端中输入python cli_demo.py即可启动模型。cli_demo.py中的main函数进入无限循环，等待用户输入。用户可通过输入文本与模型对话，输入"clear"清除记录并刷新，输入"stop"则可退出程序。

在终端中使用命令python web_demo.py，可以通过网页界面与模型进行交互。

在Jupyter环境中，直接访问127.0.0.1:7860的网页界面可能受限。通过MobaXterm建立SSH隧道，可以解决这个问题，实现远程端口的本地转发。打开MobaXterm并创建SSH通道，输入必要的SSH信息，将远程7860端口映射至本地，然后点击“start”以启动端口转发。

一旦端口转发设置成功，即可通过网页界面与模型进行交互。