내 컴퓨터에서 LLM 실행하기: Ollama를 활용한 로컬 AI 개발 환경

들어가며

OpenAI나 Anthropic의 API는 강력하지만, 매번 발생하는 비용과 민감한 데이터의 외부 유출 가능성은 늘 고민거리입니다. 하지만 최근 모델의 경량화와 하드웨어의 발전으로 이제는 내 로컬 컴퓨터에서도 훌륭한 성능의 LLM을 직접 돌릴 수 있게 되었습니다.

오늘은 그 중심에 있는 도구인 Ollama를 사용하여 로컬 AI 개발 환경을 구축하고, 실제 애플리케이션에 연동하는 방법까지 핵심만 짚어보겠습니다.

1. 왜 Ollama인가?

로컬에서 LLM을 실행하는 방법은 많지만(Llama.cpp, LM Studio 등), Ollama는 개발자에게 가장 익숙한 경험을 제공합니다.

• Docker와 유사한 사용법: ollama run llama3 명령어 한 줄로 모델 다운로드부터 실행까지 끝납니다.
• 가벼운 리소스 관리: GPU 가속을 자동으로 지원하며, 사용하지 않을 때는 메모리를 점유하지 않도록 효율적으로 관리합니다.
• 표준 HTTP API: 로컬에서 11434 포트로 REST API를 즉시 열어주어 코드 연동이 매우 쉽습니다.

2. 5분 만에 구축하는 로컬 모델

설치는 간단합니다. 공식 웹사이트에서 다운로드 후 터미널에서 다음 명령어를 입력해 보세요.

# Llama 3 모델 실행 (최초 실행 시 다운로드 포함)
ollama run llama3:8b

# 한국어 성능이 준수한 Gemma 2 모델 실행
ollama run gemma2

3. 코드와 연동하기: API 활용법

Ollama의 진가는 개발 환경과의 연동에서 나옵니다. 별도의 SDK 설치 없이도 curl이나 표준 fetch를 통해 대화할 수 있습니다.

// Astro나 Node.js 환경에서의 호출 예시
const response = await fetch('http://localhost:11434/api/generate', {
  method: 'POST',
  body: JSON.stringify({
    model: 'llama3',
    prompt: '왜 개발자는 커피를 좋아해?',
    stream: false,
  }),
});

const data = await response.json();
console.log(data.response);

4. 실무 활용 시나리오

로컬 LLM은 다음과 같은 작업에서 특히 빛을 발합니다.

1. 데이터 전처리: 외부 API 비용 없이 수만 건의 텍스트 데이터를 분류하거나 요약할 때.
2. 민감 정보 처리: 고객 정보나 사내 보안 코드를 분석해야 하는 도구를 만들 때.
3. 임베딩 생성: RAG 시스템 구축을 위해 텍스트를 벡터로 변환하는 작업을 무제한으로 수행할 때.

마치며

이제 AI 개발은 더 이상 거대 기업의 API 키에만 의존하지 않아도 됩니다. Ollama와 같은 도구 덕분에 우리는 언제 어디서나(비행기 안에서도!) 나만의 지능형 애플리케이션을 코딩할 수 있게 되었습니다.

성능이 고민이라면 Llama 3나 Gemma 2의 작은 파라미터 모델부터 시작해 보세요. 생각보다 훨씬 똑똑한 결과에 놀라실 겁니다. 여러분은 로컬 LLM으로 어떤 도구를 가장 먼저 만들고 싶으신가요?