Sping AI + Ollama 초간단 애플리케이션 구현

https://medium.com/stackademic/the-synergy-of-spring-ai-and-ollama-transforming-local-ai-interactions-with-llms-4e5bcc1a1c95

The Synergy of Spring AI and Ollama: Transforming Local AI Interactions with LLMs

위 미디엄 아티클을 보며 실습을 해봤다.

아티클과 다르게 구성한점

• llama2 -> llama3
• 애플리케이션 실행 시 yaml 파일의 model 옵션이 적용이 안됨
  • OllamaEmbeddingsGenerator 클래스에 mistral로 하드코딩 되어 있었음
  • OllamaChatGenerator 의 경우 하드코딩되어 있진 않았으나 yaml 설정이 적용안되어 코드 삽입

    public Map generate(String message) {
        return Map.of("generation", 
                this.ollamaChatClient.withDefaultOptions(OllamaOptions.create().withModel("llama3")).call(message));
    }

 

 

 

아래와 같은 단계로 진행하였다. 

1. Ollama 사이트에서 다운로드 및 설치 : https://ollama.com/download

2. Ollama 를 이용하여 llama3 model pull

ollama pull llama3

3. https://start.spring.io/ 를 이용하여 spring ai 프로젝트 생성

4. 애플리케이션 실행 

5. 테스트