大模型不支持联网搜索？为Qwen、llama等模型添加网络搜索

当我们需要大模型进行联网搜索，但是大模型不支持怎么办？

1. 给平台联系，告诉他顾客就是上帝，赶紧给我支持！！！
2. 使用function_call函数调用
3. 我先搜索，把问题和搜索结果一起给大模型

本文接下来是介绍第三种实现方案，利用SearXNG网络搜索结合大模型，实现联网问答。

在开始之前，基础代码不再编写，在上一篇博文已经进行介绍过了。
请先参考上一篇博文Java快速接入qwen2.5、llama3.1等Ollama平台开源大模型

SearXNG

SearxNG 是一个自托管的搜索引擎，允许用户通过搜索 API 进行网络搜索。内置多款搜索引擎供用户选择或者自由叠加，例如google,bing, google_scholar等等。

SearXNG-GitHub连接：searxng-docker

可以按照官方的readme文档进行部署，已经写得较为清楚了。

重要

注意要修改setting文件，支持json-format

search:
  ...
  formats:
    - html
    - json

坐标引入

注意版本号需要大于等于0.8.1，否则会有一些bug

        <dependency>
            <groupId>io.github.lnyo-cly</groupId>
            <artifactId>ai4j-spring-boot-starter</artifactId>
            <version>0.8.1</version>
        </dependency>

配置yml

在application.yml中添加配置

ai:
  ...
  websearch:
    searxng:
      url: "http://127.0.0.1:8080/search"
      nums: 10
      engines: "duckduckgo,google,bing,brave,mojeek,presearch,qwant,startpage,yahoo,arxiv,crossref,google_scholar,internetarchivescholar,semantic_scholar"

使用

仅需要使用aiService.webSearchEnhance就可以实现联网功能。

    @Autowired
    private AiService aiService;

    @GetMapping("/chat")
    public String getChatMessage(@RequestParam String question) throws Exception {
        // 获取OpenAi的聊天服务
        IChatService chatService = aiService.getChatService(PlatformType.OLLAMA);
        chatService = aiService.webSearchEnhance(chatService);
        // 创建请求参数
        ChatCompletion chatCompletion = ChatCompletion.builder()
                .model("qwen2.5:7b")
                .message(ChatMessage.withUser(question))
                .build();


        System.out.println(chatCompletion);

        // 发送chat请求
        ChatCompletionResponse chatCompletionResponse = chatService.chatCompletion(chatCompletion);

        // 获取聊天内容和token消耗
        String content = chatCompletionResponse.getChoices().get(0).getMessage().getContent();
        long totalTokens = chatCompletionResponse.getUsage().getTotalTokens();
        System.out.println("总token消耗: " + totalTokens);

        return content;
    }

结果测试

问：“鸡你太美”是什么梗
答：**“鸡你太美”是一个网络流行语。**

这个梗源于2016年11月29日SWIN-S发布的歌曲《只因你太美》中的歌词“只因你太美”。由于蔡徐坤在综艺节目《偶像练习生》中自我介绍时唱这句歌词的速度过快，被网友误听为“鸡你太美”。

此后，这句话因其独特的发音效果在网络上广为流传，并且激发出了大量围绕它创作的二创内容。这些作品包括鬼畜恶搞视频等，进一步促进了该梗的社会传播。

参考资料：
- [鸡你太美 - 萌娘百科 万物皆可萌的百科全书](https://mzh.moegirl.org.cn/%E9%B8%A1%E4%BD%A0%E5%A4%AA%E7%BE%8E)
- [被批恶俗的“鸡你太美”是什么梗？律师：涉嫌...</span>](https://www.thepaper.cn/newsDetail_forward_22181243)
- [蔡徐坤的“鸡你太美”到底是什么梗？_网易订阅](https://www.163.com/dy/article/EC11Q091051185V9.html)
- [鸡你太美（网络流行语）_百度百科](https://baike.baidu.com/item/%E9%B8%A1%E4%BD%A0%E5%A4%AA%E7%BE%8E/53592938)