点击上方“Linux随笔录”,选择“置顶/星标公众号”

  • 前言
  • 本篇环境
  • 部署流程
    • 步骤一:在OK3588板子上安装必要命令
    • 步骤二:安装 `ollama`
    • 步骤三:拖 `deepseek-r1` 镜像
  • 简单测试
  • 总结

前言

上篇讲了下 Deepseek 和 ChatGPT 哪个更适合学习嵌入式技术,Deepseek 和 ChatGPT相比,哪个更适合学习嵌入式技术。本篇讲下如何在板子上部署Deepseek

本篇环境

硬件平台:飞凌OK3588开发板

内核源码:5.10.66-rt53

编译环境:Ubuntu 20.04 LTS

编译工具链:aarch64-linux-gnu-

部署流程

计划:1.安装必要命令; 2.安装 ollama;3.部署 deepseek

步骤一:在OK3588板子上安装必要命令

原生系统如果没有 curl 命令,要先安装 curl

#升级软件
sudo apt-get update
#安装curl
sudo apt-get install curl
通过以上两条指令,完成了curl命令的安装。

步骤二:安装 ollama

打开 Ollama 官网

图片

选择Linux,给出如上图方框所示的一条指令

curl -fsSL https://ollama.com/install.sh | sh

这条指令就是把 ollama 拖下来并执行安装

图片

ollama 的下载速度很快,安装也很快。安装完还提示我说,我的电脑木有独显,只能用CUP模式。

步骤三:拖 deepseek-r1 镜像

依然是在 ollama 的官网上,选择 "Models" ,排名第一的就是 deepseek 了。

图片

由于OK3588开发板内存是8G,剩余内存不到3G(可以用 free -m 看到)。

图片

剩余内存捉襟见肘,先用1.5B的试试看吧。点击进来可以看得到各个版本的信息

图片

1.5B的模型大概1.1G,复制指令黏贴到命令行里,就可以自动开始下载了

ollama run deepseek-r1:1.5b

可以看到下载速度很快

图片

下载完成。至此已部署完毕。

简单测试

做一下测试。

图片

按住 ctrl+d 可以退出。至此,关于 DeepSeek 在RK3588上的部署推理就测试完成了。

总结

本篇学习了如何在OK3588部署基于 Ollama 的 Deepseek-r1 模型,对本篇文章学废的同学,可以一键三连!欢迎关注公众号[Linux随笔录],不定期分享Linux小知识

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐