为了使用 8 张 A10 GPU，你需要确保正确配置 CUDA_VISIBLE_DEVICES 环境变量来指定使用的 GPU。下面是一些步骤帮助你设置：

1. 确认 GPU 环境：
   使用 nvidia-smi 来确认你的 8 张 A10 GPU 是否被正确识别和安装驱动。

   nvidia-smi
   

   你应该看到每个 GPU 的详细信息，包括使用情况、显存、温度等。

2. 设置环境变量：
   如果你想指定使用特定的 GPU，可以通过设置 CUDA_VISIBLE_DEVICES 来选择。例如，如果你想让 Ollama 使用前 4 张 GPU（编号 0 到 3），可以在启动命令前设置该变量：

   export CUDA_VISIBLE_DEVICES=0,1,2,3
   

   如果你想使用所有 8 张 GPU，可以这么做：

   export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
   

3. 启动 Ollama 使用 GPU：
   设置好环境变量后，运行 ollama run，它应该会自动识别并使用你指定的 GPU。

4. 多 GPU 设置：
   如果你需要进行多 GPU 加速（例如数据并行），需要确保 Ollama 和你的模型支持分布式计算。你可能还需要通过框架（如 PyTorch 或 TensorFlow）配置多 GPU 支持。如果 Ollama 本身没有直接支持多 GPU，你可能需要自行调整代码或配置文件来启用该功能。

5. 监控 GPU 使用情况：
   在启动 Ollama 时，可以继续使用 nvidia-smi 来监控每张卡的使用情况。如果只看到一个 GPU 在工作，可能是配置不正确，或者模型没有正确地并行化到多个 GPU。

这些设置能够确保你的系统尽可能利用所有 8 张 A10 GPU。如果问题仍然存在，可能需要查阅 Ollama 的文档，确认它是否支持多 GPU 并行计算，或对性能进行进一步的优化。