FP8 в DeepSeek V3: как низкая точность ускоряет обучение и инференс

Большая языковая модель упирается не только в качество данных и архитектуру. Её каждый день ограничивают память GPU, скорость матричных операций, обмен данными между устройствами и стоимость запуска. Чем крупнее модель, тем дороже становится каждый токен: во время обучения нужно хранить активации, веса, градиенты и состояния оптимизатора, а во время инференса — быстро считать следующие токены и держать контекст.

DeepSeek V3 стал заметным примером того, как низкая точность может работать на масштабе очень большой модели. В техническом описании DeepSeek V3 FP8 используется как часть mixed precision framework: часть вычислений и хранения переводится в 8-битный формат, при этом критичные операции остаются в более высокой точности. Модель имеет 671 млрд параметров, активирует около 37 млрд параметров на токен и обучалась на 14,8 трлн токенов, поэтому экономия памяти и ускорение операций здесь становятся не мелкой оптимизацией, а частью всей инженерной стратегии.

Что такое FP8 простыми словами

FP8 — это формат чисел с плавающей точкой, где на одно значение используется 8 бит. Для сравнения: FP32 использует 32 бита, BF16 и FP16 — 16 бит. Чем меньше бит, тем меньше памяти нужно для хранения чисел и тем быстрее могут выполняться некоторые операции на подходящем железе.

В нейросетях числа встречаются повсюду: веса модели, активации, промежуточные матрицы, градиенты, значения внимания, результаты умножений. Если хранить и считать всё в высокой точности, модель работает стабильнее, но требует больше памяти и времени. Если слишком агрессивно снижать точность, появляются ошибки округления, потери мелких значений, проблемы с выбросами и нестабильность обучения.

FP8 интересен именно как компромисс. Он даёт заметную экономию памяти и ускорение, но требует аккуратной схемы масштабирования, квантования, накопления и возврата к более высокой точности в чувствительных местах. DeepSeek V3 показывает, что такой подход можно применить не только для небольших моделей или инференса, но и для обучения extremely large-scale model.

Почему низкая точность ускоряет модель

Скорость большой LLM во многом зависит от матричных умножений. Модель постоянно перемножает большие матрицы: токены проходят через attention, feed-forward-блоки, экспертов MoE и выходные слои. Чем меньше размер чисел, тем больше данных помещается в память и тем быстрее GPU может передавать их между памятью и вычислительными блоками.

FP8 помогает сразу в нескольких местах. Вес занимает меньше места. Активации требуют меньше памяти. Обмен данными между GPU становится легче. На поддерживаемых ускорителях матричные операции с низкой точностью могут выполняться быстрее. В DeepSeek V3 это особенно важно из-за масштаба: MoE-архитектура уменьшает количество активных параметров на токен, а FP8 дополнительно снижает нагрузку на вычисления и память.

Низкая точность даёт выигрыш в двух главных режимах:

• Обучение — меньше памяти уходит на активации и промежуточные значения, быстрее выполняются крупные матричные операции, проще удерживать большой batch и распределённую тренировку.
• Инференс — веса и часть операций становятся легче, модель быстрее считает следующий токен, снижается давление на память GPU и пропускную способность.
• Хранение весов — FP8-веса занимают меньше места, а при необходимости могут деквантизироваться для операций в более высокой точности.
• Передача данных — меньший формат снижает объём движения данных внутри GPU и между устройствами в распределённых сценариях.
• Масштабирование модели — большая архитектура становится практичнее, потому что каждая операция обходится дешевле.

После перехода на FP8 выигрыш появляется не от одного «волшебного» шага, а от суммы инженерных решений: формат чисел, правильные масштабы, оптимизированные kernel-операции, mixed precision и распределённое обучение работают вместе.

Как FP8 встроен в DeepSeek V3

DeepSeek V3 использует FP8 не как простое сжатие весов после обучения. Важная часть подхода — mixed precision training framework. Это означает, что разные части вычислений выполняются в разных форматах: FP8 используется там, где он даёт скорость и экономию, а более высокая точность сохраняется там, где важна стабильность.

В техническом отчёте DeepSeek V3 отдельно подчёркивается, что FP8 применяется для вычислений и хранения, а сама схема обучения включает решения для повышения точности квантования и стабильности. Такой подход позволил провести обучение крупной MoE-модели без необратимых скачков loss и откатов, что важно для длительной тренировки на огромном количестве токенов.

FP8 в DeepSeek V3 связан и с инференсом. В репозитории DeepSeek описаны FP8-веса, scale factors, dequantization и runtime-операции, где используется online quantization с гранулярностью per-token-per-128-channel. Это нужно, чтобы модель могла эффективно работать с низкой точностью, не превращая инференс в грубое округление всех чисел одним масштабом.

Почему обычное округление не подходит

Если просто взять все значения и грубо перевести их в FP8, качество может резко пострадать. Нейросеть хранит много маленьких и больших чисел одновременно. В одном слое значения могут быть аккуратно распределены, в другом появляются выбросы. Один общий масштаб плохо подходит для таких данных: маленькие значения теряются, большие обрезаются, а итоговая матрица уже не передаёт исходный сигнал.

Для FP8 нужна более тонкая схема. DeepSeek V3 использует fine-grained quantization и масштабирование блоков, чтобы значения лучше попадали в диапазон FP8. В материалах по весам DeepSeek V3 описан подход с 128×128 weight block и scale inverse для деквантизации, а также runtime-квантование активаций с более мелкой гранулярностью.

Именно здесь низкая точность превращается в инженерную задачу. Нужно решить, где хранить scale, как часто менять масштаб, какие операции считать в FP8, где накапливать результат в более высокой точности, как защититься от выбросов и как не потерять качество на длинном обучении.

Обучение DeepSeek V3 с FP8

Обучение большой модели чувствительнее инференса. Во время инференса модель уже готова: нужно только считать ответы. Во время обучения веса постоянно меняются, ошибка распространяется назад, градиенты обновляют параметры, а небольшие численные искажения могут накапливаться. Поэтому FP8-training сложнее, чем FP8-inference.

DeepSeek V3 решает эту задачу через mixed precision. Матричные умножения и хранение части значений переводятся в FP8, но чувствительные участки остаются в форматах с большей точностью. Такая схема помогает использовать преимущество 8-битного формата без потери устойчивости всей тренировки.

В обучении FP8 помогает особенно сильно там, где модель выполняет огромное количество похожих операций. Каждый слой, каждый batch, каждый токен создают нагрузку. Если часть этой нагрузки становится дешевле, общий выигрыш на масштабе 14,8 трлн токенов становится заметным. DeepSeek V3 заявляет training cost около 2,788 млн H800 GPU hours, что часто обсуждается как один из примеров эффективной инженерии модели.

Инференс с FP8: где появляется выигрыш

Во время инференса модель получает промпт, обрабатывает контекст и начинает генерировать токены. Основная нагрузка — быстро выполнять матричные операции и не упираться в память. У большой модели веса занимают огромный объём, а при длинном контексте растут требования к cache и промежуточным данным.

FP8 снижает давление на память. Если веса хранятся в компактном формате, их легче размещать на GPU и быстрее читать. Если активации и операции оптимизированы под низкую точность, модель может обслуживать запросы дешевле. В DeepSeek V3 quantization system включает optimized Triton kernels для activation quantization, weight dequantization и FP8 matrix multiplication operations.

Практический эффект зависит от железа и inference backend. Если GPU, kernel-операции и библиотека нормально поддерживают FP8, выигрыш может быть заметным. Если поддержка слабая, часть операций будет деквантизироваться в более высокий формат, а экономия окажется меньше. Поэтому FP8 — не только формат весов, но и вопрос всей инфраструктуры.

FP8, BF16 и FP16: чем отличаются роли

Перед таблицей важно разделить форматы по смыслу. FP8 хорошо экономит память и ускоряет операции, BF16 и FP16 дают больше точности, FP32 остаётся удобным для наиболее чувствительных вычислений и стабильного накопления. В современных LLM редко используют один формат для всего. Рабочая схема почти всегда смешанная.

Эта таблица показывает, почему FP8 не вытесняет остальные форматы. Он занимает своё место в mixed precision pipeline, где разные части модели используют разную точность.

Почему FP8 требует scale factors

FP8 хранит меньше информации о числе, поэтому важен масштаб. Scale factor помогает сопоставить реальные значения тензора с диапазоном, который может представить FP8. Без масштабирования часть значений окажется слишком маленькой и потеряется, а часть слишком большой и исказится.

В DeepSeek V3 для весов используется блочная логика. Блок весов получает scale, затем при выполнении операции данные могут деквантизироваться через inverse scale. Для активаций применяется runtime-квантование с более тонкой гранулярностью, потому что активации зависят от входного текста и меняются от запроса к запросу.

Такой подход напоминает настройку объектива: нельзя один раз выбрать масштаб для всей модели и забыть о нём. Разные блоки, разные токены и разные каналы имеют разные распределения значений. Чем точнее масштабирование, тем меньше потерь при переходе к FP8.

Какие операции нельзя бездумно переводить в FP8

Низкая точность хорошо подходит не для всех участков модели. Некоторые операции чувствительны к накоплению ошибок. Если результат матричного умножения долго накапливается в слишком низкой точности, ошибка может вырасти. Если softmax, нормализация, loss или обновления параметров считаются слишком грубо, обучение может стать нестабильным.

Поэтому в mixed precision-схемах часть операций оставляют в BF16, FP16 или FP32. FP8 берёт на себя тяжёлые и массовые операции, а чувствительные элементы защищаются более высокой точностью. Это помогает сохранить качество и использовать ускорение там, где оно действительно оправдано.

Особенно важно контролировать такие зоны:

• Накопление результатов матричных умножений — итоговая сумма может требовать большей точности, чем отдельные входные значения.
• Нормализация и scale-операции — ошибки здесь могут повлиять на распределение значений в следующих слоях.
• Градиенты и обновления параметров — во время обучения маленькие численные ошибки могут накапливаться.
• Attention-вычисления — softmax и работа с длинным контекстом требуют аккуратной численной стабильности.
• Выбросы в активациях — отдельные большие значения могут портить квантование для всего блока.
• Деквантизация весов — переход из FP8 в рабочий формат должен учитывать scale и структуру блока.
• Совместимость kernel-операций — плохая реализация может съесть выигрыш от самого формата.

После такой настройки FP8 работает как часть системы, а не как грубое «уменьшить всё до 8 бит».

Как FP8 связан с MoE-архитектурой DeepSeek V3

DeepSeek V3 использует MoE-подход: у модели много параметров, но при обработке каждого токена активируется только часть экспертов. Это снижает вычислительную нагрузку по сравнению с dense-моделью такого же полного размера. FP8 усиливает эту идею: активные вычисления становятся дешевле, а хранение весов легче.

MoE и FP8 решают разные стороны одной задачи. MoE уменьшает количество параметров, которые реально участвуют в обработке токена. FP8 уменьшает стоимость хранения и операций с числами. Вместе они делают крупную модель более практичной для обучения и инференса.

Такой подход особенно важен для больших LLM, где рост параметров быстро становится дорогим. Если модель увеличивать только dense-способом, требования к вычислениям и памяти растут очень быстро. Sparse activation и низкая точность помогают удерживать масштаб под контролем.

Где FP8 может навредить качеству

FP8 даёт выигрыш при правильной реализации. Плохая квантование способно ухудшить точность, сломать редкие случаи, усилить ошибки на длинном контексте или сделать ответы менее стабильными. Особенно рискованны задачи, где важны мелкие численные различия, строгая логика и длинные зависимости.

Качество зависит от нескольких факторов: как выбраны scale factors, какая гранулярность квантования используется, какие операции остаются в высокой точности, насколько хорошо оптимизированы kernels, как модель обучалась и проверялась после перехода на FP8.

Для обычного пользователя это означает простую вещь: FP8-версия может быть быстрой и экономичной, но её нужно тестировать на своих задачах. Если проект связан с кодом, математикой, юридическими текстами, финансовыми расчётами или медицинскими данными, одного общего бенчмарка недостаточно.

Как разработчику понять, нужен ли FP8

FP8 становится важным, когда модель дорогая в запуске. Если проект использует маленькую модель, редкие запросы и обычный API, формат весов может быть не главным вопросом. Если нужно обслуживать много пользователей, держать длинный контекст, запускать крупную модель локально или снижать стоимость GPU, FP8 становится практичным инструментом.

Оценивать стоит по шагам:

1. Проверить ограничение по памяти. Если модель не помещается на доступные GPU или оставляет мало места под batch и cache, FP8 может помочь.
2. Измерить задержку ответа. Если bottleneck связан с матричными операциями и чтением весов, низкая точность может ускорить инференс.
3. Сравнить качество на своих задачах. Нужно проверить реальные промпты, документы, код, длинный контекст и edge cases.
4. Оценить поддержку железа. FP8 полезен только там, где GPU и backend умеют выполнять такие операции эффективно.
5. Проверить стоимость обслуживания. Если экономия GPU заметна, FP8 может снизить цену токена и повысить пропускную способность.
6. Зафиксировать fallback. Для чувствительных задач стоит иметь вариант с BF16 или более консервативной конфигурацией.

Такой подход защищает от слепого выбора формата. FP8 нужен не потому, что он модный, а потому что решает конкретное ограничение инфраструктуры.

Почему DeepSeek V3 стал важным примером FP8

До DeepSeek V3 FP8 активно обсуждали как перспективный формат для ускорения обучения и инференса, но проверка на модели такого масштаба была сложной инженерной задачей. DeepSeek показал, что FP8 mixed precision можно применить в крупной MoE-модели и удержать стабильность на длительном обучении.

Важен не только сам факт использования FP8. Важна связка: MoE-архитектура, MLA, DualPipe, load balancing, multi-token prediction, FP8 mixed precision, оптимизированные kernels и распределённая тренировка. FP8 здесь работает внутри общей стратегии эффективности, а не отдельно от архитектуры.

Для индустрии это сигнал: будущие большие модели будут оптимизироваться не только ростом параметров и данных. Форматы чисел, memory layout, quantization granularity, GPU kernels и pipeline parallelism становятся такими же важными, как архитектура слоёв.

Практический смысл для инференс-инфраструктуры

Командам, которые разворачивают DeepSeek V3, важно понимать формат весов и поддержку backend. В репозитории DeepSeek V3 описаны FP8 weights и возможность конвертации в BF16 при необходимости. Это полезно, если конкретная среда не поддерживает FP8 эффективно или если проекту нужна более консервативная конфигурация.

На практике выбор выглядит так: FP8 даёт экономию и скорость, BF16 проще и надёжнее в некоторых окружениях, а конкретная конфигурация зависит от GPU, inference engine, batch size, длины контекста и требований к качеству. Для production-сценариев нужно измерять latency, throughput, memory usage и качество ответов на собственном наборе запросов.

FP8 особенно интересен для высоконагруженных сервисов: чат-боты, RAG-системы, coding assistants, внутренние ассистенты, массовая генерация текста, анализ документов. Там даже небольшое ускорение на один токен превращается в заметную экономию при большом количестве запросов.

Итог

FP8 в DeepSeek V3 — это инженерный способ сделать большую модель быстрее и экономичнее. Низкая точность уменьшает расход памяти, ускоряет матричные операции, снижает нагрузку на GPU и помогает обслуживать крупную MoE-архитектуру практичнее.

Главная сложность FP8 — сохранение качества. Для этого нужны scale factors, блочное квантование, аккуратная деквантизация, high-precision accumulation и mixed precision: чувствительные операции остаются в более высокой точности, а массовые вычисления получают выигрыш от 8-битного формата.

DeepSeek V3 стал важным примером потому, что FP8 применён не как простое сжатие после обучения, а как часть полноценного training и inference pipeline. Для разработчиков и компаний это означает новую точку оптимизации: модель можно ускорять не только выбором архитектуры или железа, но и грамотной работой с числовыми форматами.