AMD显卡本地部署DeepSeek

问题描述

如果你的DeepSeek只在CPU和内容中运行(显存占用很低)。

或者是你不知道如何在本地部署DeepSeek,那么本篇文章将帮助你解决这个问题。

1. Ollama部署

Ollama是一个开源的大模型管理框架,可以帮助你在本地部署DeepSeek

你可以从这里访问Ollama的官网下载。

在这里插入图片描述

注意,如果你是AMD显卡,你应该下载OllamaAMD版本,否则大模型会在CPU上运行,推理效率低。

你可以使用ALT+鼠标左键,在新标签中打开链接,防止此页面丢失。

github:ollama-for-amd

打开后点击右侧Releases标签,进入软件列表,将页面拖至最低部,如果你的AMD显卡是6000/7000系列以上(支持ROCm),下载前两个版本,否则下载第三个版本。

视频中此部分内容介绍有误,直接下载第四个OllamaSetup.exe安装包即可

在这里插入图片描述

(鉴于很多朋友无法下载ollama,这里给大家整理好了ollama的安装包,扫描领取即可↓↓↓↓

ollama安装包 macos版本 百度网盘:https://pan.baidu.com/s/1lAWA1FrSJl-iEwKx5zfrXw?pwd=cq9j 提取码: cq9j

获取安装包后一路下一步,直至右下角出现羊驼图标,表明Ollama服务已启动。

2. 下载DeepSeek

2.1 下载DeepSeek

开始菜单处搜索cmd,打开命令行窗口,输入以下命令下载DeepSeek

ollama run deepseek-r1:1.5b

在这里插入图片描述

当看到有百分比显示时,说明DeepSeek已经开始下载。

如果下载过程较慢,耐心等待即可一般不会卡死。

当屏幕出现send a message时,说明DeepSeek已经下载完毕,可以向他提问了。

在这里插入图片描述

2.2 确认是否在显卡中运行

开始菜单处搜索任务,打开任务管理器,切至性能,观察专用显存占用情况,如果很低,证明DeepSeek没有在显卡中运行。

如下图所示:

在这里插入图片描述

此时你需要替换部分文件,才能修复此问题。

访问github:v0.6.1.2

如无法访问github,网盘文件中的rocm.zip即为此内容

页面最低部,根据你的显卡类型,下载对应的文件:

5700xt就下载:rocm.gfx1010-xnack-.for.hip.sdk.6.1.2.7z

在这里插入图片描述

下载完成后,将解压的内容分别对应替换:

C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll
C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library

网盘中我将全部gpu_type的内容都下载下来了,你可以根据自己的显卡类型替换。

主流消费级显卡对照
显卡型号 微架构 GFX 代号 备注
Radeon RX 580 Polaris gfx803 经典 GCN 架构,ROCm 5.0+ 已弃用
Radeon VII Vega gfx906 7nm 工艺,HBM2 显存
Radeon RX 5700 XT Navi 10 gfx1010 首代 RDNA 架构,ROCm 6.0+ 有限支持
Radeon RX 6700 XT Navi 22 gfx1031 RDNA2 架构,主流 ROCm 兼容型号
Radeon RX 6900 XT Navi 21 gfx1030 旗舰 RDNA2,ROCm 官方支持
Radeon RX 7900 XTX Navi 31 gfx1100 RDNA3 架构,需 ROCm 5.6+

专业卡/计算卡对照
显卡型号 GFX 代号 用途场景
AMD Instinct MI50 gfx906 计算卡(Vega 20)
AMD Instinct MI210 gfx90a CDNA2 架构,专为 HPC/AI 优化
AMD Instinct MI300 gfx940 CDNA3 + Zen4 混合架构

APU/集成显卡对照
型号示例 GFX 代号 架构说明
Ryzen 5 5600G gfx902 Vega 架构,ROCm 不支持
Ryzen 7 7840HS gfx1103 移动端 RDNA3(Phoenix APU)

2.3 重启Ollama

再次查看性能,如果专用显存占用有提升,说明DeepSeek已经在显卡中运行。

2.4 UI界面

安装page assist拓展,可以使用Ollama的UI界面。

此拓展需要在谷歌浏览器或火狐浏览器中安装,其中谷歌浏览器的拓展商店需要科学上网才能访问。

如果你无法科学上网,可下载安装火狐浏览器,下载地址

下载完成后,点击右上角拼图图标,打开管理扩展,点击下方添加附加组件,搜索page-assist,打开后点击添加到Firefox

在这里插入图片描述

下载过程可能会比较慢,耐心等待即可。

拓展下载完成后,浏览器右上角会弹窗提示添加,点击添加

击右上角拼图图标,打开page assist界面,在右上角选择你刚下好的模型,在下方输入框输入内容就可以向deepseek提问了。

在这里插入图片描述

2.5 语言设置

语言设置

点击右上角设置图标,你可以设置语言,如下:

在这里插入图片描述

3.主要问题解答

我该下载使用那个版本的DeepSeek

关于B的选择

显存 可用 流畅运行 备注
手机 1.5B 1.5B 玩玩可以
核显 8B 4B 主要靠内存
4G及以下 8B 7B及以下 -
8G 14B 8B 10tokens/s左右
16G 32B 14B 理论上
24G 70B 32B 理论上
32G 70B - 理论上

关于内容使用

可以使用内存来跑,无非就是慢,2-3tokens/s甚至更低。
适合不关注效率的推理。

关于Q的选择

如果你通过其他渠道可以下载模型(Ollame默认是4Q)

  • 建议下载4Q以上版本,Q值越低精度越低。
  • 下载高Q值不如下载高B值的模型。

关于下载多版本

完全可以下载多个版本,哪个好用用哪个,需要哪个用哪个

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐