llama.cpp + Qwen
deployment handbook

# Обновляем систему
sudo apt update && sudo apt upgrade -y

# Устанавливаем core зависимости
sudo apt install -y \
  build-essential cmake git curl wget \
  libopenblas-dev liblapack-dev \
  pkg-config libssl-dev \
  python3-pip python3-venv \
  numactl htop nvtop iotop \
  screen tmux

# Включаем huge pages для лучшей производительности
echo 'vm.nr_hugepages=1024' | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

# Проверяем GPU и доступные драйверы
ubuntu-drivers devices

# Устанавливаем рекомендованный драйвер
sudo ubuntu-drivers autoinstall
sudo reboot

# После перезагрузки — устанавливаем CUDA Toolkit
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update && sudo apt install -y cuda-toolkit-12-4

# Добавляем в PATH
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# Проверка
nvidia-smi
nvcc --version

# Официальный установщик ROCm
wget https://repo.radeon.com/amdgpu-install/6.1.3/ubuntu/jammy/amdgpu-install_6.1.60103-1_all.deb
sudo dpkg -i amdgpu-install_6.1.60103-1_all.deb
sudo amdgpu-install --usecase=rocm
sudo usermod -aG render,video $USER
sudo reboot

# Проверка
rocm-smi

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
git log --oneline -5  # смотрим последние коммиты, берём стабильный
# Для продакшна — пинаем на тег, а не latest
git checkout b4210  # пример — используйте актуальный тег

cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES="80;86;89;90" \
  -DGGML_CUDA_F16=ON \
  -DGGML_BLAS=ON \
  -DGGML_BLAS_VENDOR=OpenBLAS \
  -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

# Проверяем что CUDA подхватилась
./build/bin/llama-server --version

cmake -B build \
  -DGGML_HIPBLAS=ON \
  -DAMDGPU_TARGETS="gfx1100;gfx1030" \
  -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

# Проверяем поддержку AVX512
grep -o 'avx[^ ]*' /proc/cpuinfo | sort -u

cmake -B build \
  -DGGML_BLAS=ON \
  -DGGML_BLAS_VENDOR=OpenBLAS \
  -DGGML_AVX512=ON \
  -DGGML_AVX512_VBMI=ON \
  -DGGML_AVX512_VNNI=ON \
  -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_CXX_FLAGS="-march=native"

cmake --build build -j$(nproc)

# Устанавливаем huggingface-hub
pip install huggingface-hub

# Создаём директорию для моделей
mkdir -p /opt/models/qwen

# Скачиваем Qwen2.5-7B Q4_K_M (рекомендуемый вариант)
huggingface-cli download \
  Qwen/Qwen2.5-7B-Instruct-GGUF \
  qwen2.5-7b-instruct-q4_k_m.gguf \
  --local-dir /opt/models/qwen \
  --local-dir-use-symlinks False

# Альтернатива — wget напрямую
wget -c \
  https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-GGUF/resolve/main/qwen2.5-7b-instruct-q4_k_m.gguf \
  -O /opt/models/qwen/qwen2.5-7b-instruct-q4_k_m.gguf \
  --progress=bar:force

# Проверяем целостность — сверяем sha256 с HF страницей
sha256sum /opt/models/qwen/qwen2.5-7b-instruct-q4_k_m.gguf

# Скачиваем оригинальную модель в safetensors
huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir /tmp/qwen-hf

# Конвертируем в GGUF (F16)
python3 convert_hf_to_gguf.py /tmp/qwen-hf \
  --outtype f16 \
  --outfile /opt/models/qwen/qwen2.5-7b-f16.gguf

# Квантизируем в нужный формат
./build/bin/llama-quantize \
  /opt/models/qwen/qwen2.5-7b-f16.gguf \
  /opt/models/qwen/qwen2.5-7b-q4_k_m.gguf \
  Q4_K_M

./build/bin/llama-server \
  -m /opt/models/qwen/qwen2.5-7b-instruct-q4_k_m.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  -c 4096 \
  -t 8 \
  --log-format json

./build/bin/llama-server \
  -m /opt/models/qwen/qwen2.5-7b-instruct-q4_k_m.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  -c 8192 \
  -ngl 999 \       # выгружаем все слои в GPU
  -t 4 \
  --log-format json

# Health check
curl http://localhost:8080/health

# Chat completion (OpenAI-compatible)
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-7b",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Hello! What is 2+2?"}
    ],
    "temperature": 0.7,
    "max_tokens": 256
  }'

# Streaming
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen","messages":[{"role":"user","content":"Count to 5"}],"stream":true}'

{
  "model":          "/opt/models/qwen/qwen2.5-7b-instruct-q4_k_m.gguf",
  "host":           "127.0.0.1",
  "port":           8080,
  "ctx-size":       8192,
  "n-gpu-layers":   999,
  "threads":        4,
  "threads-batch":  8,
  "parallel":       2,
  "flash-attn":     true,
  "mlock":          true,
  "cont-batching":  true,
  "log-format":     "json",
  "metrics":        true,
  "slots-endpoint": true,
  "chat-template":  "chatml",
  "rope-scaling":   "yarn",
  "rope-scale":     1.0,
  "defrag-thold":   0.1
}

[Unit]
Description=llama.cpp Qwen2.5-7B Inference Server
After=network.target
Wants=network.target

[Service]
Type=simple
User=llama
Group=llama
WorkingDirectory=/opt/llama.cpp
ExecStart=/opt/llama.cpp/build/bin/llama-server \
  --config /etc/llama/qwen-7b.json
Restart=always
RestartSec=5
StandardOutput=journal
StandardError=journal

# Лимиты ресурсов
LimitMEMLOCK=infinity
LimitNOFILE=65536
OOMScoreAdjust=-900

# Безопасность
NoNewPrivileges=true
PrivateTmp=true
ProtectSystem=strict
ReadWritePaths=/opt/models /var/log/llama

# Переменные окружения
Environment=CUDA_VISIBLE_DEVICES=0
Environment=GGML_CUDA_NO_PINNED=1

[Install]
WantedBy=multi-user.target

sudo useradd -r -s /bin/false llama
sudo chown -R llama:llama /opt/models /opt/llama.cpp
sudo systemctl daemon-reload
sudo systemctl enable llama-qwen
sudo systemctl start llama-qwen
sudo systemctl status llama-qwen
journalctl -u llama-qwen -f

limit_req_zone $binary_remote_addr zone=llm_api:10m rate=10r/m;

server {
    listen 443 ssl http2;
    server_name llm.yourdomain.com;

    ssl_certificate     /etc/ssl/certs/llm.crt;
    ssl_certificate_key /etc/ssl/private/llm.key;

    location /v1/ {
        limit_req zone=llm_api burst=5 nodelay;
        proxy_pass         http://127.0.0.1:8080;
        proxy_set_header   Host $host;
        proxy_read_timeout 300s;
        proxy_buffering    off;    # критично для streaming!

        # Auth через header
        if ($http_authorization != "Bearer your-secret-key") {
            return 401;
        }
    }

    location /metrics {
        allow 10.0.0.0/8;
        deny  all;
        proxy_pass http://127.0.0.1:8080/metrics;
    }
}

# Разделение слоёв между двумя GPU
# Qwen2.5-32B имеет 64 слоя
./build/bin/llama-server \
  -m /opt/models/qwen/qwen2.5-32b-q4_k_m.gguf \
  -ngl 999 \
  --tensor-split 1,1 \    # равномерное распределение
  --main-gpu 0 \
  -c 16384 \
  --flash-attn \
  --parallel 2

scrape_configs:
  - job_name: 'llama-cpp'
    static_configs:
      - targets: ['localhost:8080']
    metrics_path: '/metrics'
    scrape_interval: 10s

# Производительность
llamacpp:tokens_second           # текущий TPS
llamacpp:prompt_tokens_total     # общий объём промптов
llamacpp:completion_tokens_total # общий объём генерации

# Ресурсы
llamacpp:kv_cache_usage_ratio    # заполнение KV cache
llamacpp:kv_cache_tokens         # токены в кэше
llamacpp:requests_processing     # активных запросов
llamacpp:requests_deferred       # ожидающих слота

# Мониторинг через /slots endpoint
curl http://localhost:8080/slots | jq '.[].state'

# Непрерывный мониторинг GPU
watch -n 1 nvidia-smi

# Подробные метрики в цикле
nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total,temperature.gpu,power.draw \
  --format=csv -l 2

# nvtop — удобный dashboard
nvtop

# Логировать в файл каждые 5 сек
nvidia-smi --query-gpu=timestamp,utilization.gpu,memory.used,temperature.gpu \
  --format=csv -l 5 >> /var/log/gpu-metrics.csv

# 1. Убеждаемся что все слои в GPU
-ngl 999

# 2. Flash Attention — обязательно на CUDA
--flash-attn

# 3. Continuous batching
--cont-batching

# 4. Подбираем threads — не больше физических ядер
-t $(nproc --all)
-tb $(nproc --all)

# 5. CPU pinning через numactl (bare metal)
numactl --cpunodebind=0 --membind=0 ./build/bin/llama-server ...

# 6. Приоритет процессу
renice -n -10 -p $(pgrep llama-server)

# 7. Дефрагментация KV cache при заполнении
--defrag-thold 0.1   # дефрагментировать при 10% фрагментации

upstream llama_backends {
    least_conn;
    server 127.0.0.1:8080 weight=1;
    server 127.0.0.1:8081 weight=1;
    server 127.0.0.1:8082 weight=1;
    keepalive 32;
}

server {
    location /v1/ {
        proxy_pass http://llama_backends;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_read_timeout 300s;
        proxy_buffering off;
    }
}

# 1. Скачиваем новую версию в staging директорию
huggingface-cli download ... --local-dir /opt/models/staging

# 2. Запускаем второй экземпляр на другом порту
./llama-server -m /opt/models/staging/new-model.gguf --port 8081

# 3. Тестируем новый экземпляр
curl http://localhost:8081/v1/chat/completions ...

# 4. Переключаем nginx на новый инстанс
sudo nginx -s reload

# 5. Ждём завершения активных запросов на старом
watch -n 1 "curl -s localhost:8080/slots | jq '.[].state'"

# 6. Останавливаем старый экземпляр
sudo systemctl stop llama-qwen-old