conda安装 （版本看自己需要）

sh Miniconda3-py38_4.10.3-Linux-x86_64.sh
source ~/.bashrc

vllm安装

pip install vllm==0.5.5

# linux # 运维
Logo
尧米AI

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌，为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐

cover

windows本地部署vllm,运行deepseek大模型

avatar 尧米AI
cover

LightRAG+Ollama本地部署

avatar 尧米AI
cover

本地部署deepseek大模型后使用c# winform调用（可离线）

avatar 尧米AI