Введение

Авторегрессионные модели, такие как GPT, LLaMA и другие большие языковые модели (LLM), стали основой современного NLP. Однако их практическое применение сталкивается с серьезными вычислительными ограничениями: модели с миллиардами параметров требуют огромных ресурсов памяти и значительной вычислительной мощности для инференса. Квантование — это техника снижения точности представления весов и активаций модели, которая позволяет сократить размер модели и ускорить ее работу без критической потери качества. В этой статье мы рассмотрим основные типы квантования, их особенности и применимость к авторегрессионным моделям.

Зачем нужно квантование?

Авторегрессионные модели генерируют текст последовательно (токен за токеном), что создает уникальные проблемы для оптимизации. Во время инференса каждое новое предсказание зависит от предыдущих, что ограничивает параллелизацию. Квантование помогает решить несколько задач:

1. Снижение требований к памяти: модель в формате FP16 (16 бит на параметр) занимает вдвое меньше памяти, чем FP32, а INT8 — вчетверо меньше.
2. Ускорение вычислений: целочисленные операции (INT8) на современных GPU (например, Tensor Cores) выполняются значительно быстрее, чем операции с плавающей запятой.
3. Развертывание на периферийных устройствах: квантованные модели могут работать на мобильных устройствах или Edge-системах с ограниченными ресурсами.

Классификация методов квантования

Методы квантования можно разделить по нескольким критериям: по времени применения, по симметрии диапазонов, по способу обработки весов и активаций. Рассмотрим основные типы.

1. Пост-тренировочное квантование (Post-Training Quantization, PTQ)

PTQ — это наиболее простой и популярный подход. Модель уже обучена, и мы квантуем ее веса и/или активации без дополнительного обучения (или с минимальным калибровочным набором данных).

Подтипы PTQ:

• Квантование только весов (Weight-only Quantization): веса модели переводятся в INT8/INT4, а активации остаются в FP16. Это самый безопасный вариант для авторегрессионных моделей, так как активации часто имеют большие выбросы и сложнее поддаются квантованию. Примеры: GPTQ, AWQ, SpQR.
• Квантование весов и активаций (Weight-Activation Quantization): и веса, и активации квантуются (например, до INT8). Это более агрессивный метод, который дает большее ускорение, но требует калибровки на реальных данных. Пример: SmoothQuant.

Проблемы PTQ для авторегрессионных моделей:

• Активации в авторегрессионных моделях имеют распределение с «тяжелыми хвостами» (особенно после LayerNorm). Это приводит к большим ошибкам квантования.
• Ошибка квантования накапливается на каждом шаге генерации, так как модель использует свои собственные выходы как входы для следующего шага. Даже небольшая ошибка может привести к лавинному эффекту и ухудшению качества текста.

2. Квантование с дообучением (Quantization-Aware Training, QAT)

QAT — это метод, при котором модель обучается с имитацией квантования на этапе тренировки. В прямом проходе используются квантованные веса (например, округление до INT8), но градиенты вычисляются для непрерывных весов (используется straight-through estimator, STE). Это позволяет модели адаптироваться к потере точности.

Преимущества QAT:

• Более высокая точность по сравнению с PTQ, особенно при агрессивном квантовании (например, INT4).
• Лучшая устойчивость к накоплению ошибок в авторегрессионных моделях.

Недостатки:

• Высокая вычислительная стоимость: нужно заново обучать модель, что для LLM с миллиардами параметров может быть слишком затратным.
• Сложность реализации для авторегрессионных моделей: нужно учитывать последовательную генерацию на этапе обучения.

3. Квантование во время обучения (Training-Time Quantization)

Этот подход включает в себя методы, которые модифицируют архитектуру модели или процесс обучения для облегчения последующего квантования. Например, добавление регуляризаторов, которые штрафуют модель за чувствительность к округлению, или использование смешанной точности.

Одним из интересных направлений является обучение с квантованными весами с самого начала (например, использование INT4 на этапе обучения). Это позволяет получить модели, которые изначально оптимизированы для низкой точности. Однако такие методы пока редко применяются для гигантских LLM из-за сложности и нестабильности обучения.

4. Специализированные методы для авторегрессионных моделей

Авторегрессионные модели требуют особого подхода из-за последовательной генерации. Рассмотрим несколько современных техник, разработанных с учетом этой специфики.

4.1. SmoothQuant

SmoothQuant решает проблему «выбросов» в активациях. Вместо того чтобы квантовать активации напрямую, метод перераспределяет амплитуду между активациями и весами с помощью математических преобразований. Это позволяет квантовать и веса, и активации до INT8 без значительной потери качества. Однако для авторегрессионных моделей этот метод требует аккуратной калибровки и может быть чувствителен к длине генерируемого текста.

4.2. GPTQ (GPT Quantization)

GPTQ — это метод пост-тренировочного квантования весов, основанный на оптимизации ошибки квантования. Он использует вторую производную (гессиан) потерь для определения важности весов. Веса с большим влиянием на выход сохраняются с более высокой точностью. GPTQ особенно эффективен для моделей типа LLaMA, позволяя квантовать веса до 4 бит с минимальной потерей качества.

4.3. AWQ (Activation-aware Weight Quantization)

AWQ — это метод, который учитывает важность весов на основе активаций. Он анализирует, какие каналы активаций имеют наибольшие значения, и защищает соответствующие веса от квантования. Это позволяет достичь хороших результатов при 4-битном квантовании весов без дообучения. AWQ также учитывает последовательную природу генерации, что делает его особенно подходящим для авторегрессионных моделей.

4.4. SpQR (Sparse-Quantization Representation)

SpQR — это гибридный метод, который сочетает разреженность и квантование. Он выделяет редкие, но важные веса (например, 1% от общего числа) и хранит их в более высокой точности, а остальные квантует до 3-4 бит. Этот подход позволяет сохранить качество модели при агрессивном сжатии.

Компромиссы и практические рекомендации

При выборе метода квантования для авторегрессионной модели необходимо учитывать несколько факторов:

• Целевая точность: если требуется максимальное качество (например, для научных задач), лучше использовать QAT или PTQ с 8-битным квантованием. Для задач, где допустима небольшая потеря (например, чат-боты), можно использовать 4-битное квантование весов.
• Скорость инференса: квантование активаций дает большее ускорение, чем квантование только весов, но требует более тщательной калибровки и может привести к нестабильности при длительной генерации.
• Длина генерируемого текста: ошибки квантования накапливаются с каждым шагом. Если модель генерирует длинные тексты, предпочтительнее использовать методы с меньшей ошибкой (QAT, SpQR) или квантование только весов с сохранением активаций в FP16.
• Ресурсы для калибровки: PTQ требует калибровочного набора данных (несколько сотен примеров), что обычно несложно получить. QAT требует полного обучения, что может быть слишком затратно.

Заключение

Квантование авторегрессионных моделей — это динамично развивающаяся область, которая позволяет сделать LLM доступными для практического применения на различных устройствах. Каждый тип квантования имеет свои сильные и слабые стороны, и выбор конкретного метода зависит от требований к качеству, скорости и ресурсам.

На данный момент наиболее популярными и практичными являются PTQ-методы, такие как GPTQ и AWQ, которые позволяют квантовать веса до 4 бит без дообучения и с минимальной потерей качества. Однако для более агрессивного сжатия (например, до 2 бит) или для моделей с длинной генерацией могут потребоваться более сложные подходы, включая QAT и гибридные методы.

Будущее, вероятно, за комбинацией методов: обучение с учетом квантования (QAT) для создания моделей, которые изначально устойчивы к сжатию, а затем использование PTQ для быстрого развертывания на конкретных устройствах. Это позволит достичь баланса между качеством, скоростью и эффективностью использования ресурсов.