1、安装ollama

去ollama官网下载对应版本:Download Ollama

下载后安装即可,安装后运行ollama,运行成功没有界面,windows会在状态栏右下角见到图标。

ollama及默认后续模型部署都默认在C盘,部署deepseek需要较大硬盘空间(14b版本9G左右、32b版本19G左右),如果不想占用系统盘C盘,可以将相关路经改到D盘或别的盘符,具体操作如下:

1)将ollama默认安装目录(C:\Users\Administrator\AppData\Local\Programs\Ollama)剪切到新的位置(如果ollama已经运行,要先退出),比如剪切到D盘根目录,D盘就有了D:\Ollama目录。修改用户或者系统环境变量path增加D:\Ollama,删除原来的C:\Users\Administrator\AppData\Local\Programs\Ollama

2)将C:\Users\Administrator\.ollama目录剪切到D:\Ollama目录下

3)在D:\Ollama目录下新建模型部署目录models,并添加用户变量OLLAMA_MODELS指向D:\Ollama\models。(如果是在C盘部署过模型再转移到D盘的,D:\Ollama\.ollama下应该有models文件夹,将OLLAMA_MODELS指向D:\Ollama\.ollama\modles即可)

通过以上三步,C盘转D盘完成

2、部署deepseek

在ollama官网左上部,点击Models,再点击deepseek-r1,根据电脑硬件配置选择想部署的8b、14b、32b版本,然后复制运行命令,比如想部署14b版本,复制运行命令如下:

ollama run deepseek-r1:14b

打开cmd窗口,输入运行命令,即可开始部署。部署就是下载对应包,14b版本9G左右、32b版本19G左右。我先后部署了这两个版本,32b更聪明些,运行也更慢。

部署显示100%即告成功,再在cmd窗口输入运行命令ollama run deepseek-r1:14b,当出现

>>> Send a message (/? for help)

即表示部署成功,可以开始对话了,但此时只能以命令行的形式进行对话,下面介绍如何部署网页。

3、安装open webui

如果没有安装python 3.11或3.12,建议去anaconda官网下载包含对应python版本的anaconda,安装后,打开anaconda prompt窗口,输入如下命令安装open webui

pip install open-webui

安装完成后执行命令启动open webui,这样就启动了AI的web服务

open-webui serve

open webui能自动识别正在运行的allama,并提供模型选择。

4、打开网页开始AI对话

在浏览器中输入http://127.0.0.1:8080,注册邮箱后即可开始AI对话了。

也可以通过docker来执行open webui

步骤如下:

1、安装docker

去docker官网(Docker: Accelerated Container Application Development)下载安装docker desktop,如果win10版本较老,我就是这样,没法安装最新版docker,可以去Release notes | Docker Docs页面下载历史版本4.24.1。安装后需要重启电脑并注册账号。

要运行docker,请确保电脑bios中已打开虚拟化。

2、拉取open webui镜像

在CMD窗口中输入如下命令拉取open webui镜像

docker pull ghcr.io/open-webui/open-webui:main

3、启动open webui并关联ollama

在CMD窗口中输入如下命令启动open webui并关联ollama

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上述命令将8080端口映射到了3000端口。运行成功后可在docker界面的容器看到一条open webui的条目。

4、打开网页开始AI对话

在浏览器中输入http://127.0.0.1:3000,注册邮箱后即可开始AI对话了。

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐