Блочный драфтер быстро предлагает несколько токенов, но проверка длинного продолжения и ограничения движка могут поглотить весь выигрыш.
Совместить параллельную генерацию кандидатов с выбором выгодной длины проверки, подготовкой памяти для всего блока и учётом фактической стоимости графов исполнения.
В измерении V1 при батче 256 DSpark дал 3120 токенов/с с динамическим бюджетом против 2614 при фиксированном K=9 и 2411 у основной модели. Асинхронную V2 на момент доклада ещё не измеряли.
Улучшить содержательность поисковых ответов, сохранив генерацию за единицы секунд и приемлемую стоимость при массовой нагрузке.
Сочетать энкодер–декодер с разреженными экспертными слоями, обучать модель по оценкам ответов и поведению пользователей, а входной контекст сокращать с учётом качества конечной генерации.
В итоговом A/B-тесте получено +0,34% по SPU. В отдельном парном сравнении с AI Overview (Google) результат составил 56,7% SbS.
Работающий сервис повторно вычислял длинные входные контексты, стоил дороже облачного API и требовал длительной доводки новых моделей.
Начать с профиля реального трафика, переиспользовать KV-cache между GPU, учитывать расположение кеша при маршрутизации и настраивать среду выполнения под очереди. Отдельно организовать проверку качества и производительности моделей.
По докладу, стоимость токена снизилась более чем вчетверо и достигла паритета с историческими предложениями OpenRouter; выпуск модели занимал около недели, хотя достижение экономичного режима могло потребовать больше времени.
Независимые стадии каскада ограничивают друг друга, а генеративный отбор одного объекта ещё не создаёт качественный согласованный список рекомендаций.
Кодировать видео семантическими ID, генерировать целую сессию encoder-decoder-моделью и улучшать её на парах собственных выдач, оценённых персонализированной моделью награды.
В таблице 2 OneRec-1B+IPA даёт +1,68% общего времени просмотра и +6,56% средней длительности просмотра относительно текущего каскада; эксперимент проводится на 1% основного трафика. Офлайн-таблица оценивает предсказания модели награды.
Читайте после LUM: OneRec предлагает объединить выбор списка, тогда как LUM намеренно сохраняет отдельный прикладной ранжировщик.
Долгая задача не помещается в одно контекстное окно, а новая сессия агента не знает, что было сделано раньше.
Первый запуск готовит устойчивое состояние проекта, а следующие сессии делают по одному небольшому изменению, проверяют его и оставляют git-историю и журнал прогресса.
В демонстрации с клоном claude.ai Anthropic получила более устойчивый многосессионный процесс: агент восстанавливает состояние по файлам и git, берёт одну незавершённую функцию и проверяет её через сквозной пользовательский сценарий. Численной оценки улучшения и доказательства массового внедрения источник не приводит.
Полезно для агентов, которым недостаточно одного диалога или одного окна контекста.
Длинные входные запросы прерывают потоковую генерацию других запросов на общем GPU. Дополнительную CPU-работу по токенизации и разбору ответов приходится выполнять на узлах с ускорителями, а разделение стадий приносит собственную задержку при передаче KV-кеша.
Независимо отделить вычисление контекста (prefill) от генерации (decode) с передачей KV-кеша через коннектор и вынести подготовку запроса `/render` и восстановление ответа `/derender` на CPU-сервер. Сравнивать схемы по TTFT, ITL и полезной пропускной способности при порогах задержки.
На синтетическом сравнении Qwen2.5-7B-Instruct на двух L40S P/D уменьшил p99 ITL с 169 до 29 мс при 0,4 запроса/с и с 263 до 50 мс при 2 запросах/с. Но без NVLink и прямого обмена GPU перенос примерно 470 МБ KV занимал около 1,3 с: при 0,2 запроса/с медианный TTFT был 2,2 с против 0,7 с у DP=2, поэтому P/D не выдерживал двухсекундный порог TTFT. Это контролируемый эксперимент, не подтверждённый эффект внедрения.
Длинные повторяющиеся контексты, паузы и всплески агентных запросов делают наивное распределение нагрузки дорогим и мешают соблюдать TTFT.
Измерять prefill и decode, моделировать очередь и всплески, маршрутизировать запросы к сохранённому KV-cache и уменьшать его дублирование через Context Parallelism, LayerSplit и общий L3.
Для 16 GPU и P95 TTFT ≤ 5 с базовый вариант не проходил SLO даже на одной сессии; KV-aware routing дал около 3,4 RPS, неудачный 3P1D — 2,27 RPS, а после дальнейших оптимизаций добавление 1 ТБ DRAM дало 9,79 RPS. В рабочей системе доля закешированных входных токенов выросла примерно с 55% до 80% после L3 и затем до 90% после LayerSplit.
Обучение гибридной рекламной модели GEM на тысячах GPU теряло производительность из-за переменной длины историй, несимметричного внимания, огромных таблиц эмбеддингов, стоимости сетевых коллективных операций, нехватки памяти и неравномерных пакетов.
Совместно оптимизировать вычислительные ядра и числовую точность, распределить плотные и разреженные параметры по сетевой топологии, разгрузить SM от пересылок, сократить память активаций и балансировать обучающие пакеты до обработки на GPU.
По данным Meta, за 12 месяцев E2E MFU обучения GEM удвоилась до 20–25% на кластере из нескольких тысяч GPU; отдельно за тот же период суммарные training FLOPs увеличились в четыре раза. Это показатели вычислительного обучения, не рекламного качества и не ROI.
Пользователь может косвенно влиять на рекомендации, но трудно прямо попросить систему изменить направление, а LLM должна возвращать реальные и допустимые объекты каталога.
Spotify связывает язык с Semantic IDs: NEO учится работать с текстом и объектами каталога как единым словарём, а GLIDE применяет эту идею как генератор кандидатов для подкастов.
NEO объединяет несколько задач на каталоге >10 млн объектов; GLIDE в 21-дневном A/B на Home дал +5,4% прослушиваний вне привычного круга и +14,3% открытия новых шоу.
Базовый Mistral 7B недостаточно хорошо работал с русскими инструкциями и длинными встречами, а готового решения нужного качества не было.
Сначала усилить русский язык полным дообучением всех весов, затем специализировать модель LoRA на протоколах; отдельно адаптировать Whisper и связать модели через сервисную архитектуру.
После языковой адаптации модель улучшила многие результаты MERA; финальная LoRA дала BertScore F1 0.93 на суммаризации, а дообученный Whisper снизил WER на двух показанных наборах.
Нужно заранее создать до пяти правдоподобных историй для сотен миллионов слушателей и безопасно выдать их в момент глобального запуска Wrapped.
Сначала выбрать особенные дни эвристиками, затем заранее сгенерировать отчёты через Pub/Sub, сохранить их по пользователю и дате и отдельно проверять качество с возможностью replay.
Около 1,4 млрд отчётов подготовили примерно для 350 млн пользователей; генерация шла четыре дня, а дефекты искали выборочным QA и исправляли точечным replay.