Lab · потрогать руками

Латентность и стоимость LLM-NPC вживую

Лаба без кода: крути модель, длину контекста, prefix-cache и DAU — и смотри, как складывается «время до первого слова» и во что превращается цена за ход на масштабе. Цифры из урока, но руками.

🏠 эксперимент~10 мин

Как пользоваться

Два опыта. Латентность: подними prefix-cache с 0 до 90% — и смотри, как падает розовый сегмент TTFT (переиспользуем KV префикса → пре-филл считает только новые токены). Экономика: поставь топ-модель и тащи DAU к миллиону — месячный счёт «взрывается», и видно, почему MMO не тянет облачный LLM, а сингл — тянет. Переключи на on-device — цена за ход падает в ноль, но латентность растёт.

1 · Латентность: до первого слова

Стек STT → LLM (TTFT) → TTS. Красная черта — 3 секунды; бюджет кадра 16 мс на этой шкале даже не виден — в этом и суть.

модель

голосовой ввод (STT)

вход, токенов/ход

выход, токенов/ход

prefix-cache попадание

2 · Экономика: за ход → за сессию → за месяц на DAU

Те же модель / токены / cache, плюс сколько ходов в сессии и сколько живых игроков в день.

ходов за сессию

DAU (игроков/день)

Что под ползунками

C_{turn} = \frac{T_{in} \cdot (1 - c) \cdot p_{in} + T_{out} \cdot p_{out}}{10^{6}}

T_{first} = T_{STT} + (b_{tier} + \frac{T_{in} \cdot (1 - c)}{r_{prefill}}) + T_{TTS}

Цена за ход = (входные токены минус кэш-префикс × цена входа + выходные × цена выхода) / 1M. Время до первого слова = STT + (база модели + пре-филл некэшированного входа) + первое аудио TTS. Цены — порядки из урока (середина 2026), не котировки.

Что заметить: 1) cache 0→90% срезает TTFT и input-цену одновременно — это один и тот же переиспользованный KV префикса. 2) топ-модель + DAU 1M → месячный счёт шести-семизначный: «контент дорог на масштабе» — приговор облачному LLM для MMO. 3) on-device: $0 за ход и оффлайн, но TTFT растёт и качество ниже — цена не исчезла, а переехала в железо игрока. 4) поставь ходов=500, DAU=1 → это цена одного сингл-прохождения (~$0.05–2).

🏠 Что дальше

Вернись в урок — секция «🔧 Запусти и поковыряй» (собрать кузнеца Бранда локально на Ollama+Godot) и «🕹 В какие игры поиграть» (Mantella, inZOI, AI Town). Тут ты пощупал бюджет; там — конвейер.

Связи

из урока

LLM-NPC: анатомия системы — формулы за ползунками: латентность по стадиям и стоимость за ход.

пересечение

Юнит-экономика F2P — стоимость за ход здесь умножается на ходы×DAU и падает прямо в LTV-уравнение там.

Что заметить по итогу (чеклист наблюдений)

Поднял prefix-cache и увидел, как одновременно падают TTFT и input-цена.
Загнал DAU к миллиону на топ-модели и получил красный вердикт «облако жжёт деньги».
Переключил на on-device — цена за ход в ноль, латентность вверх.
Перешёл черту 3 с длинным контекстом без кэша — «ощутимая пауза».