Локальні LLM: Ollama, llama.cpp і квантизація

Хмарні API зручні, але іноді модель потрібна локально: дані не можна виносити за периметр, потрібна робота офлайн або просто хочеться експериментувати без рахунків за токени. Відкриті моделі з вагами (open-weight) сьогодні достатньо хороші для класифікації, вилучення даних, підсумовування і допомоги з кодом.

Скільки потрібно пам'яті

Головне обмеження — пам'ять (VRAM відеокарти або оперативна пам'ять для CPU / Apple Silicon). Грубо: розмір ваг = кількість параметрів × байт на параметр.

До ваг додайте KV-кеш — пам'ять під контекст. Він росте лінійно з довжиною контексту і може займати гігабайти при вікні 32k+ токенів.

Квантизація

Квантизація — зберігання ваг з меншою точністю: замість 16 біт на число — 8, 5 або 4. Модель стає в 2–4 рази меншою і швидшою, а якість падає зовсім трохи — особливо до 4–5 біт.

У форматі GGUF (llama.cpp, Ollama) назви квантизацій виглядають так:

Порада

Більша модель з квантизацією Q4 зазвичай краща за меншу модель у FP16 при тому самому обсязі пам'яті.

Ollama: найшвидший старт

# Встановлення (Linux; для macOS і Windows є інсталятори)
curl -fsSL https://ollama.com/install.sh | sh

# Завантажити і запустити модель в інтерактивному режимі
ollama run llama3.1:8b

# Список завантажених моделей і скільки вони займають
ollama list

Ollama піднімає локальний HTTP-сервер на порту 11434 із OpenAI-сумісним API, тож більшість бібліотек підключаються зміною адреси:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
reply = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "Поясни, що таке inode, у двох реченнях."}],
    temperature=0.2,
)
print(reply.choices[0].message.content)

llama.cpp: більше контролю

llama.cpp — рушій, на якому побудована Ollama. Напряму його беруть, коли потрібен тонкий контроль: скільки шарів вивантажити на GPU, розмір контексту, кількість потоків.

# Сервер з OpenAI-сумісним API.
# -c — розмір контексту, -ngl — скільки шарів віддати на GPU (99 = усі, що влізуть)
./llama-server \
  -m models/qwen2.5-7b-instruct-q4_k_m.gguf \
  -c 8192 \
  -ngl 99 \
  --host 127.0.0.1 --port 8080

Увага

Не виставляйте такий сервер в інтернет без автентифікації та TLS. За замовчуванням будь-хто, хто дістанеться до порту, зможе користуватися вашою моделлю й GPU.

Для продакшену з багатьма користувачами

Ollama і llama.cpp добре працюють для одного користувача чи невеликої команди. Для десятків паралельних запитів дивіться на сервери інференсу з continuous batching і PagedAttention — наприклад, vLLM або SGLang. Вони обробляють кілька запитів одночасно на одній GPU і дають у рази вищу пропускну здатність.

Як вибрати модель

1. Визначте задачу і зберіть 20–30 прикладів з очікуваними відповідями.
2. Візьміть 2–3 моделі, що влазять у вашу пам'ять у Q4_K_M.
3. Прогоніть приклади, порівняйте якість і швидкість (токенів за секунду).
4. Лише потім думайте про донавчання — часто достатньо кращого промпту й кількох прикладів у ньому.