前言

基于大模型的应用，通过linux快速实现部署，相应教程可通过传送门快速了解：
linux-ubuntu安装：U盘安装Ubuntu24.04，乌邦图，UltralISO
linux驱动安装：linux系统，ubuntu安装英伟达NVIDIA4090显卡驱动

• 有何疑问欢迎加好友咨询
  

安装docker

官网：https://dockerdocs.cn/docker-for-windows/install
docker的安装就不明说了，可自行GPT解决

安装Open WebUI

docker指令安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker-compose.yaml安装

version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"

volumes:
  open-webui:

访问网站

• 通过127.0.0.1:3000访问网站
  
  此时会出现一个问题，无法选择模型

无法选择模型问题处理

虽然启动了open-web的镜像，页面也访问正常，但却没有ollama中的模型，通过docker logs -f open-webui查看日志，会发现错误提示

INFO  [apps.openai.main] get_all_models()
INFO  [apps.ollama.main] get_all_models()
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connect call failed ('172.17.0.1', 11434)]

可以理解到172.17.0.1:11434接口访问不通，其实本质问题就是ollama服务的
ip限制，对此，需要解除限制

修改ollama服务配置

vim /etc/systemd/system/ollama.service

在配置中添加两行配置

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

将上面两行加到下图红框中的位置

重启ollama服务

systemctl daemon-reload
systemctl restart ollama

问题解决

重新正常访问页面

• 选择模型，即可开始与模型进行沟通