
在OK3588开发板部署基于Ollama的Deepseek-r1模型
模型,对本篇文章学废的同学,可以一键三连!欢迎关注公众号[Linux随笔录],不定期分享Linux小知识。的下载速度很快,安装也很快。安装完还提示我说,我的电脑木有独显,只能用CUP模式。剩余内存捉襟见肘,先用1.5B的试试看吧。1.5B的模型大概1.1G,复制指令黏贴到命令行里,就可以自动开始下载了。由于OK3588开发板内存是8G,剩余内存不到3G(可以用。编译工具链:aarch64-linu
点击上方“Linux随笔录”,选择“置顶/星标公众号”
- 前言
- 本篇环境
- 部署流程
- 步骤一:在OK3588板子上安装必要命令
- 步骤二:安装 `ollama`
- 步骤三:拖 `deepseek-r1` 镜像
- 简单测试
- 总结
前言
上篇讲了下 Deepseek
和 ChatGPT
哪个更适合学习嵌入式技术,Deepseek 和 ChatGPT相比,哪个更适合学习嵌入式技术。本篇讲下如何在板子上部署Deepseek
本篇环境
硬件平台:飞凌OK3588开发板
内核源码:5.10.66-rt53
编译环境:Ubuntu 20.04 LTS
编译工具链:aarch64-linux-gnu-
部署流程
计划:1.安装必要命令; 2.安装 ollama
;3.部署 deepseek
;
步骤一:在OK3588板子上安装必要命令
原生系统如果没有 curl
命令,要先安装 curl
#升级软件
sudo apt-get update
#安装curl
sudo apt-get install curl
通过以上两条指令,完成了curl命令的安装。
步骤二:安装 ollama
打开 Ollama
官网
选择Linux,给出如上图方框所示的一条指令
curl -fsSL https://ollama.com/install.sh | sh
这条指令就是把 ollama
拖下来并执行安装
ollama
的下载速度很快,安装也很快。安装完还提示我说,我的电脑木有独显,只能用CUP模式。
步骤三:拖 deepseek-r1
镜像
依然是在 ollama
的官网上,选择 "Models"
,排名第一的就是 deepseek
了。
由于OK3588开发板内存是8G,剩余内存不到3G(可以用 free -m
看到)。
剩余内存捉襟见肘,先用1.5B的试试看吧。点击进来可以看得到各个版本的信息
1.5B的模型大概1.1G,复制指令黏贴到命令行里,就可以自动开始下载了
ollama run deepseek-r1:1.5b
可以看到下载速度很快
下载完成。至此已部署完毕。
简单测试
做一下测试。
按住 ctrl+d
可以退出。至此,关于 DeepSeek
在RK3588上的部署推理就测试完成了。
总结
本篇学习了如何在OK3588部署基于 Ollama
的 Deepseek-r1
模型,对本篇文章学废的同学,可以一键三连!欢迎关注公众号[Linux随笔录],不定期分享Linux小知识
更多推荐
所有评论(0)