# Проверки модели: светофор

> **Коротко.** Все проверки модели на экране результатов с порогами — что считать нормой, что проверить, когда модели верить нельзя и что тогда делать.

Адрес: https://marfor.pro/docs/how-it-works/model-trust/checklist · Раздел: Как это работает: от данных до плана бюджета › Когда модели можно верить › Проверки модели: светофор · Вид: Понятие · Уровень: для начинающих · Обновлено: 2026-10-14

![Семь проверок одной условной модели. Норма: средний промах 5,5 % — «Точный прогноз», смещение −0,4 % — случайное, бюджет помогает прогнозу на 5,0 п.п., интервал 0,24…0,36 — «узкий», надёжность 78 — «Высокая». Проверить: промах крупного среза «Регионы» 22 % при доле 35 % и бюджет плана 150 тыс. ₽ при опыте 80–125 тыс. ₽](https://marfor.pro/docs/img/mdl-trust-card.png)

## Пример: одна модель, семь проверок {#example}

Модель «Расходы → Заказы», два года помесячно, срезы «Регион → Канал». Пройдём её проверки по порядку экрана.

1. **Средний промах на скрытых месяцах** — 5,5 %, «Точный прогноз». Норма.
2. **Смещение** — промахи то вверх, то вниз, в среднем −0,4 %. Строки «модель завышает» нет. Норма.
3. **Промах крупного среза** — у «Регионов» (35 % объёма) 22 %, жёлтым. Проверить: по «Регионам» планировать рано, по стране целиком — можно.
4. **Помогают ли драйверы прогнозу** — «помогает: без него промах больше на 5,0 п.п.». Норма: бюджет действительно двигает заказы.
5. **Интервал эластичности** — 0,24…0,36, «узкий», ноль не задевает. Норма.
6. **Надёжность** — 78, «Высокая». Норма.
7. **Бюджет плана** — 150 тыс. ₽, а в истории было от 80 до 125 тыс. Проверить: за краем опыта кривая — догадка.

Итог: планировать можно, но на уровне страны, а бюджет поднимать шагами и сверять с фактом.

## Пороги {#thresholds}

| Проверка | Где на экране | Норма | Проверить | Плохо | Что делать |
|---|---|---|---|---|---|
| Средний промах | «Проверка модели на скрытых месяцах», крупная цифра | до 20 %: «Точный», «Хороший прогноз» | 20–50 %: «Приемлемо» | от 50 %: «Неточный прогноз» | [Улучшить модель](https://marfor.pro/docs/model/improve) |
| Смещение | под таблицей по месяцам | строки нет | «В среднем модель завышает (занижает) на N%» — от 10 % | — | найти событие в последних месяцах |
| Промах крупного среза (от 5 % объёма) | «Промах по срезам» | до 20 %, зелёный | 20–50 %, жёлтый | от 50 %, красный | планировать уровнем выше |
| Вклад драйвера | «Помогают ли драйверы прогнозу» → «Вывод» | «помогает» | «на точность не влияет», «почти не меняет прогноз» | «не помогает» | тест на шаге 6 мастера |
| Интервал эластичности | под числом на карточке и в таблице срезов | «узкий» | «умеренный» | «широкий» или задевает ноль | двигать бюджет небольшими шагами |
| Надёжность | карточка «Marketing Mix Model» | от 50: «Хорошая», «Высокая» | 30–49: «Средняя» | ниже 30: «Низкая» | смотреть на проверку, а не на балл |
| Вид проверки | первая строка блока проверки | «Спрятали последние N мес.» | «Отложили часть строк (не по времени)» | «Проверки нет — есть только подгонка» | история от 11 периодов |
| Бюджет плана | на экране нет — сравните с историей сами | внутри бюджетов, которые были | за краем опыта | — | [Где кривой нельзя верить](https://marfor.pro/docs/how-it-works/response/extrapolation) |

Цвета промаха по месяцам и по срезам на экране те же: до 20 % — зелёный, 20–50 % — жёлтый, от 50 % — красный.

## Как читать проверки вместе {#combine}

- **Точный прогноз, драйвер «помогает», узкий интервал** — модели можно доверить бюджет.
- **Точный прогноз, драйвер «на точность не влияет»** — модель угадала месяцы трендом и сезонностью, эластичность не подтверждена. Сравнивайте варианты «больше или меньше», но не обещайте цифру.
- **Высокая надёжность, плохая проверка** — модель хорошо описала прошлое, а рынок изменился. Ищите, что произошло в последних месяцах.
- **Хорошая общая цифра, плохой крупный срез** — планируйте на уровне выше или по самому точному крупному срезу: экран его подсказывает.

## Чего проверки не покажут {#limits}

- **Бюджеты, которых не было.** Проверка идёт на настоящих бюджетах скрытых месяцев. Сценарий «−40 %» — продолжение кривой туда, где опыта нет, и полоса P10–P90 там не расширяется.
- **Короткий экзамен.** У дневной модели прячутся 6 последних дней, у недельной — 6 недель: сезон в них не попадает. Для бюджета надёжнее месячная модель.
- **Отложенный эффект.** Прибавка от правки бюджета набирается месяцами — это видно в сценарии, а не в проверке: [Адсток](https://marfor.pro/docs/how-it-works/adstock/overview).

## Где ещё видно качество {#in-scenario}

В карточке значения на странице сценария есть «Качество модели» в процентах — у него своя шкала: от 70 — «Высокая», от 40 — «Средняя». Он учитывает и промах проверки, поэтому может не совпадать с «Надёжностью» на экране модели. Чем отличаются шкалы — [Надёжность и интервал эластичности](https://marfor.pro/docs/how-it-works/model-trust/reliability#scales).

## Связанные

- [Проверка на скрытых месяцах: экзамен модели](https://marfor.pro/docs/how-it-works/model-trust/holdout)
- [Промах по срезам: почему общая цифра обманывает](https://marfor.pro/docs/how-it-works/model-trust/slice-errors)
- [Помогают ли драйверы прогнозу: проверка без бюджета](https://marfor.pro/docs/how-it-works/model-trust/driver-check)
- [Надёжность и интервал эластичности: уверенность модели](https://marfor.pro/docs/how-it-works/model-trust/reliability)
- [Улучшить слабую модель](https://marfor.pro/docs/model/improve)