手把手教你用Ollama和Llama3打造Spring Boot AI应用

Ollama在处理自然语言处理（NLP）领域方面非常强大，它能够理解和生成语言，执行与语言相关的多种任务，极大地丰富了人机交互的可能性。ChatClientAppConfig启动Spring Boot应用程序，问以下URL进行测试：也可以在Ollama命令行界面中进行测试。。

AI_小站

925人浏览 · 2024-11-08 13:39:45

AI_小站 · 2024-11-08 13:39:45 发布

Ollama在处理自然语言处理（NLP）领域方面非常强大，它能够理解和生成语言，执行与语言相关的多种任务，极大地丰富了人机交互的可能性。

1 Ollama设置

下载与安装： 从官方网站下载ollama：https://ollama.com/

启动Ollama服务： 安装完成后，打开浏览器访问http://localhost:11434/ 以启动服务。

下载Llama模型： 运行命令“ollama run llama3”以在系统中下载llama3。

2 Spring Boot项目初始化

项目初始化： 通过Spring Initializer进行初始化，选择Web和Ollama AI作为项目依赖。
实验性提示： 这里需要特别指出，本项目目前处于实验阶段，仅提供快照版本，可能存在不稳定因素。

3 项目结构与配置

配置文件： 创建application.properties文件以配置项目属性。

spring.application.name=spring-AI
spring.ai.ollama.base-url=http://localhost:11434/api
spring.ai.ollama.model=llama3
server.port=8686
spring.main.allow-bean-definition-overriding=true

响应模型： 创建LlamaResponse模型以表示服务响应

package com.ai.spring.AI.repsonse;

import lombok.Data;
import lombok.experimental.Accessors;

@Data
@Accessors(chain = true)
public class LlamaResponse {

    private String message;
}

服务接口： 创建LlamaAiService接口

package com.ai.spring.AI.service;

import com.ai.spring.AI.repsonse.LlamaResponse;

public interface LlamaAiService {

    LlamaResponse generateMessage(String prompt);
    LlamaResponse generateJoke(String topic);
}

服务实现： 实现LlamaAiServiceImpl

package com.ai.spring.AI.service.impl;

import com.ai.spring.AI.repsonse.LlamaResponse;
import com.ai.spring.AI.service.LlamaAiService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class LlamaAiServiceImpl implements LlamaAiService {

    @Autowired
    private  OllamaChatClient chatClient;


    @Override
    public LlamaResponse generateMessage(String promptMessage) {
        final String llamaMessage = chatClient.generate(promptMessage);
        return new LlamaResponse().setMessage(llamaMessage);
    }

    @Override
    public LlamaResponse generateJoke(String topic) {
        final String llamaMessage = chatClient.generate(String.format("Tell me a joke about %s", topic));
        return new LlamaResponse().setMessage(llamaMessage);
    }
}

客户端接口： 创建ChatClient接口

package com.ai.spring.AI.service;

public interface ChatClient {
    String generate(String prompt);
}

Ollama客户端实现： 实现OllamaChatClient

package com.ai.spring.AI.service.impl;
import com.ai.spring.AI.service.ChatClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import org.springframework.web.client.HttpClientErrorException;
import org.springframework.web.client.RestTemplate;
import java.util.HashMap;
import java.util.Map;
@Component("customOllamaChatClient")
public class OllamaChatClient implements ChatClient {
    private final RestTemplate restTemplate;
    private final String baseUrl;
    private final String model;
    public OllamaChatClient(RestTemplate restTemplate, @Value("${spring.ai.ollama.base-url}") String baseUrl, @Value("${spring.ai.ollama.model}") String model) {
        this.restTemplate = restTemplate;
        this.baseUrl = baseUrl;
        this.model = model;
    }
    @Override
    public String generate(String prompt) {
        String url = String.format("%s/generate", baseUrl);
        Map<String, Object> request = new HashMap<>();
        request.put("model", model);
        request.put("prompt", prompt);
        request.put("stream", false);
        try {
            // 打印URL和请求负载以进行调试
            System.out.println("URL: " + url);
            System.out.println("Request: " + request);
            return restTemplate.postForObject(url, request, String.class);
        } catch (HttpClientErrorException e) {
            // 记录错误详情
            System.err.println("Error: " + e.getStatusCode() + " - " + e.getResponseBodyAsString());
            throw e;
        }
    }
}

配置类： 创建AppConfig以配置RestTemplate。

package com.ai.spring.AI.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.client.RestTemplate;

@Configuration
public class AppConfig {

    @Bean
    public RestTemplate restTemplate() {
        return new RestTemplate();
    }
}

控制器： 创建LlamaRestController

package com.ai.spring.AI.controller;

import com.ai.spring.AI.repsonse.LlamaResponse;
import com.ai.spring.AI.service.impl.LlamaAiServiceImpl;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.HttpStatus;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.*;

@RestController
public class LlamaRestController {

    @Autowired
    private LlamaAiServiceImpl llamaAiService;


    @GetMapping("api/v1/ai/generate")
    public ResponseEntity<LlamaResponse> generate(
            @RequestParam(value = "promptMessage", defaultValue = "Why is the sky blue?")
            String promptMessage) {
        final LlamaResponse aiResponse = llamaAiService.generateMessage(promptMessage);
        return ResponseEntity.status(HttpStatus.OK).body(aiResponse);
    }

    @PostMapping("api/v1/ai/generate/joke/{topic}")
    public ResponseEntity<LlamaResponse> generateJoke(@PathVariable String topic) {
        final LlamaResponse aiResponse = llamaAiService.generateJoke(topic);
        return ResponseEntity.status(HttpStatus.OK).body(aiResponse);
    }
}