Развитие трансформеров от BERT до GPT-3 и дальше

Word2Vec и GloVe: статические эмбеддинги

В 2013 году Томас Миколов (Google) представил word2vec — первый практичный метод получения плотных векторных представлений слов. Идея проста: слова, встречающиеся в похожих контекстах, должны иметь близкие векторы.

Два варианта архитектуры:

Знаменитый пример: king − man + woman ≈ queen. Арифметика над векторами отражает семантические отношения.

GloVe (Pennington et al., Stanford, 2014) использует глобальную матрицу совместной встречаемости. Цель — чтобы скалярное произведение векторов приближало логарифм вероятности совместной встречаемости: wᵢ · wⱼ ≈ log P(i|j).

ELMo: первые контекстуальные эмбеддинги

ELMo (Embeddings from Language Models, Peters et al., AllenAI, 2018) — переломный момент перед BERT. Вместо одного вектора на слово ELMo строит представление на основе всего контекста, используя двунаправленный LSTM.

ELMo предобучается на задаче языкового моделирования: предсказать следующее слово (вперёд) и предыдущее (назад). Это первый пример transfer learning в NLP в современном понимании — предобучение на большом корпусе, затем добавление эмбеддингов в downstream-модель.

Ограничение ELMo: два отдельных однонаправленных LSTM — не по-настоящему двунаправленная модель. Forward и backward сети обучаются независимо, их представления просто конкатенируются. BERT решит это с помощью по-настоящему двунаправленного attention.

Задача 1: Masked Language Modeling (MLM)

Это центральная инновация BERT. Суть: случайно заменить 15% токенов на [MASK] и обучить модель их восстанавливать, имея доступ к обоим контекстам — левому и правому. Это делает модель по-настоящему двунаправленной.

Задача 2: Next Sentence Prediction (NSP)

BERT также предобучается предсказывать, является ли предложение B продолжением предложения A или взято случайно из корпуса.

Вектор [CLS] после BERT подаётся на бинарный классификатор IsNext/NotNext. Цель — научить модель понимать межпредложенческие отношения, что важно для задач QA и NLI.

Архитектурные детали BERT

RoBERTa (Facebook AI, июль 2019)

RoBERTa (Robustly Optimized BERT Approach, Лю и др.) — это не новая архитектура, а тщательное исследование того, что реально важно при обучении BERT. Вывод: оригинальный BERT был недообучен.

Результат: RoBERTa превзошла BERT на всех бенчмарках GLUE, SQuAD и RACE — просто за счёт правильного обучения. Ключевой вывод: масштаб данных и вычислений имеет огромное значение.

DistilBERT (Hugging Face, октябрь 2019)

Виктор Санс и соавторы предложили дистилляцию знаний (knowledge distillation): маленькая «студенческая» сеть учится имитировать большую «учительскую».

ALBERT (Google Research, сентябрь 2019)

ALBERT (A Lite BERT) решает проблему памяти BERT с помощью двух архитектурных новшеств:

GPT и GPT-2: авторегрессионное языковое моделирование

GPT (Generative Pre-trained Transformer, Radford et al., 2018) использует только decoder-часть трансформера. Задача предобучения — Causal Language Modeling (CLM): предсказать следующий токен, зная все предыдущие.

GPT-2 (февраль 2019) — та же архитектура, но в 10× крупнее: 1.5B параметров (GPT-2 XL), обучен на WebText (40GB текста с Reddit). Openai первоначально отказалась публиковать полную модель из-за опасений по поводу дипфейков и дезинформации. GPT-2 продемонстрировал zero-shot способности: без дообучения показал конкурентные результаты на задачах чтения с пониманием и суммаризации.

GPT-3: масштаб как стратегия

GPT-3 (Brown et al., OpenAI, май 2020) — 175B параметров, обучен на 300B токенов (Common Crawl, WebText, Books, Wikipedia). Архитектурно — тот же decoder-only трансформер, но огромный.

In-context learning — главное открытие GPT-3. Не нужно обновлять веса. Достаточно показать несколько примеров прямо в prompt:

# Few-shot перевод без fine-tuning:
"""
Переведи на французский:
sea otter → loutre de mer
peppermint → menthe poivrée  
plush giraffe → girafe en peluche
cheese →
"""
# GPT-3 продолжит: fromage

T5: Text-to-Text Transfer Transformer

T5 (Raffel et al., Google, 2019) унифицирует все NLP-задачи под один формат: вход и выход — всегда текст. Это устраняет необходимость в задача-специфичных головах.

T5 предобучается на задаче Span Corruption — вариант MLM, но маскируются и восстанавливаются целые отрезки текста (spans), а не отдельные токены. Вход: «Thank you me to your party week», выход: « for inviting last».

T5 обучался на C4 (Colossal Clean Crawled Corpus) — 750GB очищенного CommonCrawl. Самая большая версия T5-11B имеет 11 миллиардов параметров.

BART: двунаправленный авторегрессионный трансформер

BART (Lewis et al., Facebook AI, 2019) — encoder-decoder модель, предобученная на задаче реконструкции повреждённого текста. Ключевое отличие от T5: BART использует BERT-подобный энкодер (полное двунаправленное внимание) и GPT-подобный декодер (авторегрессионный).

BART экспериментировал с разными схемами «порчи» текста:

BART показал SOTA на задачах суммаризации (CNN/DM, XSum), машинного перевода и диалоговых систем. Для суммаризации особенно эффективен: энкодер кодирует полный документ, декодер генерирует краткое изложение.

Общая стратегия fine-tuning

from transformers import BertForSequenceClassification, BertTokenizer
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # positive / negative
)

text = "This film is absolutely great!"
inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)
# inputs = {input_ids, attention_mask, token_type_ids}

with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits          # (1, 2)
    probs = logits.softmax(dim=-1)  # [0.08, 0.92]
    label = probs.argmax()         # 1 → Positive

# Fine-tuning loop:
optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5)
loss_fn = torch.nn.CrossEntropyLoss()

for batch in train_loader:
    outputs = model(**batch['inputs'], labels=batch['labels'])
    loss = outputs.loss  # BertForSequenceClassification считает loss сам
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

from transformers import BertForTokenClassification

label2id = {"O":0, "B-PER":1, "I-PER":2, "B-ORG":3, "I-ORG":4,
            "B-LOC":5, "I-LOC":6}

model = BertForTokenClassification.from_pretrained(
    'bert-base-cased',  # cased важен для NER!
    num_labels=len(label2id)
)
# BertForTokenClassification внутри:
# self.bert → скрытые состояния (B, T, 768)
# self.dropout
# self.classifier = Linear(768, num_labels)  ← для каждого токена

# Важно: для WordPiece субтокенов используем метку только первого субтокена
# "Barack" → ["Bar", "##ack"] → метка B-PER только для "Bar", ##ack → -100
labels = [1, -100, 2, 0, 5]  # -100 игнорируется в CrossEntropy

Зачем субслова, а не целые слова?

Проблема словарного подхода (word-level): Английский имеет 170 000+ слов; OOV (out-of-vocabulary) слова — постоянная проблема. «Нейрокомпьютер», «GPT-4o», «anti-establishment» — новые слова постоянно появляются.

Проблема символьного подхода (char-level): Слишком длинные последовательности. «Hello» = 5 токенов; документ из 1000 слов = ~5000 токенов. Контекстное окно BERT = 512 токенов.

Субсловный подход — золотая середина: редкие слова разбиваются на известные подстроки, частые слова остаются целыми. «Tokenization» → [«Token», «##ization»].

BPE — Byte Pair Encoding

Предложен Сеннрихом (2015) для машинного перевода; используется в GPT, GPT-2, GPT-3, RoBERTa.

Алгоритм обучения:

WordPiece (BERT)

WordPiece — вариант BPE, разработанный Google (Schuster & Nakamura, 2012) для системы голосового ввода японского и корейского, затем адаптированный для BERT. Ключевое отличие: критерий слияния основан на вероятности, а не частоте.

Два ключевых отличия от BPE в контексте BERT:

# WordPiece токенизация: пример вручную
vocab = {"un", "##believ", "##able", "unbelievable", ...}

word = "unbelievable"
# Greedy: «unbelievable» → в словаре? Нет.
#         «unbelievabl» → нет. ... → «un» → ДА. Берём.
#         остаток «believable» → «##believ» → ДА. Берём.
#         остаток «able» → «##able» → ДА. Берём.
tokens = ["un", "##believ", "##able"]

# BERT tokenizer через HuggingFace:
from transformers import BertTokenizer
tok = BertTokenizer.from_pretrained('bert-base-uncased')
print(tok.tokenize("unbelievable"))
# → ['un', '##believ', '##able']
print(tok.tokenize("The cat sat on the mat."))
# → ['the', 'cat', 'sat', 'on', 'the', 'mat', '.']

SentencePiece (T5, LLaMA)

SentencePiece (Kudo & Richardson, Google, 2018) — универсальная библиотека токенизации, реализующая BPE и Unigram Language Model. Ключевое отличие от WordPiece и BPE: работает напрямую с необработанным текстом, без предварительной токенизации по пробелам.

SentencePiece поддерживает два алгоритма обучения словаря:

import sentencepiece as spm

# Обучение
spm.SentencePieceTrainer.train(
    input='corpus.txt',
    model_prefix='spm_model',
    vocab_size=32000,
    character_coverage=0.9995,  # для не-латинских скриптов
    model_type='bpe'           # или 'unigram'
)

# Применение
sp = spm.SentencePieceProcessor()
sp.load('spm_model.model')

print(sp.encode('Hello World', out_type=str))
# → ['▁Hello', '▁World']  # ▁ = пробел перед словом

print(sp.encode('Непредсказуемость', out_type=str))
# → ['▁Не', 'пред', 'сказ', 'уем', 'ость']

Что читать дальше