# Проверка на скрытых месяцах: экзамен модели

> **Коротко.** MARFOR прячет последние месяцы факта, учит модель без них и сравнивает её прогноз с фактом. Средний промах до 10 % — «Точный прогноз», до 20 % — «Хороший».

Адрес: https://marfor.pro/docs/how-it-works/model-trust/holdout · Раздел: Как это работает: от данных до плана бюджета › Когда модели можно верить › Проверка на скрытых месяцах: экзамен модели · Вид: Понятие · Уровень: для начинающих · Обновлено: 2026-10-14

![Заказы за 24 месяца — с октября 2024 по сентябрь 2026. Последние четыре месяца спрятаны от модели; её прогноз на них — пунктир рядом с фактом, промахи −6 %, +5 %, +6 % и −6 %, средний — 5,5 %, «Точный прогноз»](https://marfor.pro/docs/img/mdl-holdout.png)

## Пример на числах {#example}

История — 24 месяца, с октября 2024 по сентябрь 2026.

1. MARFOR откладывает последние 4 месяца — июнь–сентябрь 2026 — и учит модель на первых 20.
2. Модели показывают настоящие бюджеты отложенных месяцев и просят предсказать заказы.
3. Прогноз сравнивают с фактом:

| Месяц | Факт | Прогноз модели | Промах |
|---|---:|---:|---:|
| июнь | 10 000 | 9 400 | −6 % |
| июль | 11 000 | 11 500 | +5 % |
| август | 9 000 | 9 500 | +6 % |
| сентябрь | 12 000 | 11 300 | −6 % |

4. Средний промах — среднее промахов без знака: (6,0 + 4,5 + 5,6 + 5,8) ÷ 4 ≈ 5,5 %. Экран пишет «5,5%» крупно и вердикт «Точный прогноз». В таблице промах месяца округлён до целых.

## Сколько месяцев прячут {#hidden}

Примерно шестую часть истории, но не меньше 3 и не больше 6 периодов. И модели должно остаться хотя бы 8 периодов на обучение.

| История | Прячется |
|---|---|
| меньше 11 месяцев | проверки нет |
| 11–23 месяца | 3 |
| 24–29 месяцев | 4 |
| 30–35 месяцев | 5 |
| от 36 месяцев | 6 |

У недельной и дневной модели правило то же, только в неделях и днях: два года по дням — экзамен на 6 последних днях. Экран и тогда пишет «Спрятали последние 6 мес.».

## Как читать вердикт {#verdict}

| Средний промах | Вердикт на экране | Что это значит |
|---|---|---|
| до 10 % | «Точный прогноз» | можно планировать |
| 10–20 % | «Хороший прогноз» | можно планировать с запасом |
| 20–50 % | «Приемлемо: годится как ориентир, не как точная цифра» | сравнивайте варианты, не обещайте цифру |
| от 50 % | «Неточный прогноз: планировать по этой модели без перепроверки нельзя» | [улучшите модель](https://marfor.pro/docs/model/improve) |

## Смещение: все промахи в одну сторону {#bias}

Смотрите и на знаки. Промахи то вверх, то вниз — это шум. Если все в одну сторону — модель систематически ошибается.

Пример: промахи +12 %, +15 %, +9 % и +16 %. Средний — 13 %, вердикт «Хороший прогноз». Но под таблицей экран допишет: «В среднем модель завышает на 13% — промах систематический, а не случайный». Так он пишет, когда средний промах со знаком — от 10 %.

Обычно это значит, что в скрытых месяцах что-то изменилось: появился канал, выросли цены, прошла акция, сломалась выгрузка. Модель этого не видела — и продолжает прошлое.

## Что именно сравнивается {#what}

- **Сумма всех срезов за месяц.** Если зависимая — отношение, например конверсия, сравнивается отношение сумм.
- **«Отложили часть строк (не по времени)…»** — запасная проверка: модель видела соседние месяцы, угадывать ей проще. Такой результат читайте осторожнее.
- **«Проверки нет — есть только подгонка на обучающих данных»** — истории не хватило.
- У моделей, посчитанных давно, вместо промаха бывает R² на скрытых данных: от 0,5 — «Модель прошла проверку», от 0,2 — «Проверку прошла слабо», ниже — «Проверку не прошла». Пересчитайте модель, чтобы получить промах.

## Подгонка — не проверка {#fit}

Под таблицей — строка «На обучающих данных модель описывает N% колебаний». Это подгонка: модель видела эти месяцы. Высокая цифра здесь бывает и у модели, которая на скрытых месяцах промахивается на 40 %. Решайте по промаху. В свёрнутом «Для аналитика» — R² на скрытых данных; на 4–6 точках он неустойчив, и экран сам советует смотреть на промах.

## Для любознательных {#math}

Спрятано периодов: h = min(6, max(3, ⌊n ÷ 6⌋)), проверка идёт, если n ≥ h + 8. Для n = 24: h = min(6, max(3, 4)) = 4; 24 ≥ 12 — проверка есть.

Средний промах: среднее по скрытым месяцам от |прогноз − факт| ÷ факт × 100 %. Смещение — то же среднее, но со знаком: (−6,0 + 4,5 + 5,6 − 5,8) ÷ 4 = −0,4 %.

Проверка повторяет обучение модели целиком, только без скрытых месяцев. Поэтому промах на экране — оценка того, как модель угадает ближайшее будущее, если ничего резко не изменится.

## Связанные

- [Проверки модели: светофор](https://marfor.pro/docs/how-it-works/model-trust/checklist)
- [Промах по срезам: почему общая цифра обманывает](https://marfor.pro/docs/how-it-works/model-trust/slice-errors)
- [Помогают ли драйверы прогнозу: проверка без бюджета](https://marfor.pro/docs/how-it-works/model-trust/driver-check)
- [Экран результатов модели: что где](https://marfor.pro/docs/model/screen-results)
- [Улучшить слабую модель](https://marfor.pro/docs/model/improve)