RAG 将传统的生成模型(如 GPT)与信息检索系统结合,生成模型在生成文本时,能够实时从外部知识库中检索相关信息,确保生成内容既流畅又准确。

1. 安装 Ollama

1.1下载Ollama

访问 Ollama 的 https://ollama.com/官方网站,下载适合你操作系统的安装包。

1.2 验证安装

打开终端或命令提示符,输入 ollama --version,确保安装成功。

2.安装模型

2.1下载大模型 

ollama run deepseek-v2

2.2 启动大模型

启动和下载模型是同一个命令,如果没有下载过的新模型会直接下载,以及下载过的则直接启动。

ollama run deepseek-v2

2.3下载嵌入模型

ollama pull nomic-embed-text

2.4 启动嵌入模型

启动和下载模型是同一个命令,如果没有下载过的新模型会直接下载,以及下载过的则直接启动。

ollama pull nomic-embed-text

3.安装AnythingLLM

AnythingLLM https://anythingllm.com/desktop是一个功能强大且灵活的开源平台,旨在帮助用户轻松构建和部署基于大型语言模型 (LLM) 的私有化应用程序。

3.1配置大模型

3.2配置嵌入模型

4.使用

4.1上传文档

4.2开启问答

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐