使用OneAPI+Ollama+Dify搭建一个兼容OpenAI的API发布及AI应用开发系统(二)客户端设置
这一编我们介绍Ollama客户端的设置,那么客户端在这里指的就是你放在家里的Ollama服务器,通过与VPS里安装的OneAPI配合,从而实现了为Ollama生成API访问的服务,并为后端服务器提供安全保障。(2)虚拟主机VPS提供商处提供的防火墙无需放通,因为11434端口通过VPN隧道过去了。这也说明了VPN的安全性。客户端软件的部署请大家自行查找,为使项目可以完成,这里就不再介绍了。渠道设置
这一编我们介绍Ollama客户端的设置,那么客户端在这里指的就是你放在家里的Ollama服务器,通过与VPS里安装的OneAPI配合,从而实现了为Ollama生成API访问的服务,并为后端服务器提供安全保障。
一:安装客户端软件
客户端软件的部署请大家自行查找,为使项目可以完成,这里就不再介绍了。
二:客户端安装Ollama
Ollama的安装请参考:
在ubuntu24.04上安装Ollama并设置跨域访问_乌班图执 ollama-CSDN博客
三:在服务器端安装OneAPI
1、OneAPI的安装请参考:
2、OneAPI使用本地数据库请参考:
Flowise+OneAPI+Ollama搭建本地知识库问答_oneapi ollama-CSDN博客
3、安装Nginx,并为OneAPI设置https访问,请参考以下文件:
使用Nginx反向代理为OneAPI配置https访问-CSDN博客
4、OneAPI的设置关键点
渠道设置时,请将IP写为你设置的客户端VPN分配的IP。
http://10.8.0.2:11434
5、放通防火墙
这里需要放通的有一处:
(1)UFW
sudo ufw allow 11434/tcp
(2)虚拟主机VPS提供商处提供的防火墙无需放通,因为11434端口通过VPN隧道过去了。这也说明了VPN的安全性。
6、生成LLM的访问令牌
复制令牌就可以用啦。
更多推荐
所有评论(0)