1.需求

在个人计算机上成功安装PDFMathTranslate工具，通过ollama调用本地模型qwen2.5:7b，测试翻译1个8page的科技论文，需要耗时40多分钟，工具虽可用，但十分缓慢，使用效果差。

通过ollama PS查看工具运行过程发现，CPU使用率100%，未激活本机GPU。

。

解决思路：查看本机显卡是否支持GPU计算，如支持，下载相应驱动，加速本地模型运行效率。

2.根据本机显卡安装CUDA Toolkit

（1）计算机右击–>管理–>设备管理器–>显示适配器，查看发现本机具备的显卡型号是NVIDIA Quadro T1000。

查询网友链接页面发现，GPU算力高于5.0时，可以跑模型；本机显卡为7.5支持CUDA计算。

Nvidia GPU 最新计算能力表（CUDA Compute Capability）_cuda计算能力排行-CSDN博客文章浏览阅读1.9w次，点赞7次，收藏30次。Jetson ProductsGPUCompute CapabilityJetson AGX Xavier7.2Jetson Nano5.3Jetson TX26.2Jetson TX15.3Tegra X15.3GeForce and TITAN ProductsGPUCompute CapabilityGeForce RTX 30908.6GeForce RTX 30808.6GeForce RTX 30708.6NVIDIA TITAN RTX7.5Geforce RTX 2080 Ti7.5G_cuda计算能力排行https://blog.csdn.net/Dust_Evc/article/details/125019266

（2）在命令行输入命令nvidia-smi，得出本机CUDA Version为10.1。

输入nvidia-smi后可能报错，显示

'nvidia-smi' 不是内部或外部命令，也不是可运行的程序或批处理文件。

这是是因为，nvidia-smi.exe所在路径未被加入本机的环境变量中，参见以下网友链接可解决。

【Windows】输入nvidia-smi显示不是内部或外部命令也不是可运行的程序解决办法_nvidia' 不是内部或外部命令,也不是可运行的程序-CSDN博客文章浏览阅读4.9w次，点赞47次，收藏87次。1. 确认电脑已经安装驱动在终端输入，显示如下：nvcc -V若如法显示，则说明驱动未安装，安装方式如下：计算机–> 管理–> 设备管理器 -->显示适配器–> 右键选择自动搜索更新即可添加系统环境变量，步骤如下：2、解决nvidia-smi问题把C:\Program Files\NVIDIA Corporation\NVSMI添加到path。再重新打开cmd窗口，输入nvidia-smi查看cuda版本以及安装位置命令如下：nvcc -Vset_nvidia' 不是内部或外部命令,也不是可运行的程序https://blog.csdn.net/qq_44703886/article/details/112554376（3）在命令行输入命令nvcc -V，查看cuda版本及安装位置。

输入nvcc -V后可能报错，显示

'nvcc -V 不是内部或外部命令，也不是可运行的程序或批处理文件。

这是因为，常规电脑自行安装显卡驱动时，仅安装CUDA Driver，就可以正常看视频、办公和玩游戏；如需要使用GPU跑模型，需要单独安装CUDA Toolkit。

打开CUDA Toolkit官方下载页面，找到自己显卡的CUDA版本，下载相应的CUDA Toolkit。

CUDA Toolkit Archive | NVIDIA Developerhttps://developer.nvidia.com/CUDA-TOOLKIT-ARCHIVE

稳妥起见，下载和自己CUDA版本相同的工具箱。

下载完成后，点击安装时，选择自定义安装，取消勾选Visual Studio Integration、Nsight Systems和Nsight Compute三项，其它保持原样不动，点击下一步，完成安装。

完成CUDA Toolkit安装后，再打开cmd，输入nvcc -V进行测试，显示成功。

注意，部分教程介绍，在安装CUDA Toolkit之前，需安装VIsual Studio，且其版本要与CUDA版本兼容。本人个人计算机环境未预装过Visual Studio，直接装CUDA Toolkit，也成功了，仅供参考。

3.ollama激活GPU运行模型

理论上讲，完成CUDA Toolkit后，重新调用模型，即可启用GPU计算，但实际测试发现，ollama调用大模型，仍然使用了仅CPU模式。

那么如何开启GPU运算模式？

其实ollama在安装时，会自行检测该电脑上的显卡驱动，是否已开启CUDA，如已开启，会默认启动CUDA加速。

如安装时未开启，ollama会回退到cpu模式。

这种情况下，在安装完成CUDA后，重新安装一次ollama就可以了。

在启动模型运行时，查看ollama运行状态，发现已启用GPU。

使用PDFMathTranslate工具翻译502页科技报告进行测试，运行时长约16小时完成任务，约967分钟，若按在纯CPU状态下跑一个8页论文需40分钟看，跑500页任务需2500分钟，时间大幅缩减，真不错。

早上程序跑完后手快关掉了命令行页面，只能贴ollama日志记录图对本次测试时间进行记录。

到此，科技论文翻译工具属于可用且好用，本次测试工作取得阶段性成功，快乐。