这一编我们介绍Ollama客户端的设置,那么客户端在这里指的就是你放在家里的Ollama服务器,通过与VPS里安装的OneAPI配合,从而实现了为Ollama生成API访问的服务,并为后端服务器提供安全保障。

一:安装客户端软件

客户端软件的部署请大家自行查找,为使项目可以完成,这里就不再介绍了。

二:客户端安装Ollama

Ollama的安装请参考:

在ubuntu24.04上安装Ollama并设置跨域访问_乌班图执 ollama-CSDN博客

三:在服务器端安装OneAPI

1、OneAPI的安装请参考:

使用OneAPI创建LLM访问API Key-CSDN博客

2、OneAPI使用本地数据库请参考:

Flowise+OneAPI+Ollama搭建本地知识库问答_oneapi ollama-CSDN博客

3、安装Nginx,并为OneAPI设置https访问,请参考以下文件:

使用Nginx反向代理为OneAPI配置https访问-CSDN博客

4、OneAPI的设置关键点

渠道设置时,请将IP写为你设置的客户端VPN分配的IP。

http://10.8.0.2:11434

5、放通防火墙

这里需要放通的有一处:

(1)UFW

sudo ufw allow 11434/tcp

(2)虚拟主机VPS提供商处提供的防火墙无需放通,因为11434端口通过VPN隧道过去了。这也说明了VPN的安全性。

6、生成LLM的访问令牌

复制令牌就可以用啦。 

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐