Квантование LLM
GPTQ · AWQ · vLLM

from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

# 1. Загрузить модель и токенизатор
model_id = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 2. Конфиг квантования
quantize_config = BaseQuantizeConfig(
    bits=4,           # INT4 — оптимальный баланс
    group_size=128,  # размер группы весов (128 стандарт)
    desc_act=False,  # desc_act=True даёт лучшее качество, но медленнее
)

# 3. Загрузить модель для квантования
model = AutoGPTQForCausalLM.from_pretrained(model_id, quantize_config)

# 4. Калибровочные данные (128 примеров достаточно)
examples = [tokenizer("Hello, my name is", return_tensors="pt")]

# 5. Квантовать (занимает 5–60 минут в зависимости от модели)
model.quantize(examples)

# 6. Сохранить
model.save_quantized("./llama2-7b-gptq-4bit", use_safetensors=True)

from transformers import AutoTokenizer, AutoModelForCausalLM

# Transformers >= 4.40 поддерживает GPTQ нативно
tokenizer = AutoTokenizer.from_pretrained("./llama2-7b-gptq-4bit")
model = AutoModelForCausalLM.from_pretrained(
    "./llama2-7b-gptq-4bit",
    device_map="auto",
    torch_dtype="auto"
)

inputs = tokenizer("Расскажи о квантовании весов:", return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0], skip_special_tokens=True))

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = "meta-llama/Llama-2-7b-hf"
quant_path = "./llama2-7b-awq-4bit"

# Конфиг квантования AWQ
quant_config = {
    "zero_point": True,   # ассиметричное квантование
    "q_group_size": 128,  # стандартный размер группы
    "w_bit": 4,            # 4-битные веса
    "version": "GEMM"      # GEMM (batch) или GEMV (single token)
}

# Загрузить модель
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# Квантовать (быстрее GPTQ — нет вычисления гессиана)
model.quantize(tokenizer, quant_config=quant_config)

# Сохранить
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

# Установка (требует CUDA 12.1+, Python 3.9–3.12)
pip install vllm

# Запуск OpenAI-совместимого API сервера
vllm serve meta-llama/Llama-3-8B-Instruct \
    --dtype auto \
    --api-key token-123

# С квантованием AWQ
vllm serve TheBloke/Llama-2-7B-Chat-AWQ \
    --quantization awq \
    --dtype half

# С квантованием GPTQ
vllm serve TheBloke/Llama-2-13B-chat-GPTQ \
    --quantization gptq \
    --dtype half \
    --max-model-len 4096

# Мультигпу: 2 карты через tensor parallelism
vllm serve meta-llama/Llama-2-70b-hf \
    --tensor-parallel-size 2 \
    --dtype auto

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="token-123",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "Объясни квантование LLM"}],
    max_tokens=512,
    temperature=0.7,
)
print(response.choices[0].message.content)

# Требования: NVIDIA GPU CUDA 12.1+, Python 3.10+

# 1. Установить vLLM
pip install vllm

# 2. Запустить с AWQ моделью (Llama 3 8B AWQ, ~5GB VRAM)
vllm serve solidrust/Meta-Llama-3-8B-Instruct-hf-AWQ \
    --quantization awq \
    --dtype half \
    --max-model-len 8192 \
    --port 8000

# 3. Тест
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "solidrust/Meta-Llama-3-8B-Instruct-hf-AWQ",
        "messages": [{"role": "user", "content": "Hello!"}]
    }'

# Сборка с поддержкой CUDA
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

# Скачать GGUF модель с HuggingFace
# Пример: Llama-3.2-3B-Instruct Q4_K_M (~2GB)
wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf

# Запуск с GPU offload (ngl = number of GPU layers)
./build/bin/llama-cli \
    -m Llama-3.2-3B-Instruct-Q4_K_M.gguf \
    -ngl 33 \
    -p "Объясни что такое квантование:"