Проверка на скрытых месяцах: экзамен модели
Коротко. MARFOR прячет последние месяцы факта, учит модель без них и сравнивает её прогноз с фактом. Средний промах до 10 % — «Точный прогноз», до 20 % — «Хороший».
На этой странице
Пример на числах
История — 24 месяца, с октября 2024 по сентябрь 2026.
- MARFOR откладывает последние 4 месяца — июнь–сентябрь 2026 — и учит модель на первых 20.
- Модели показывают настоящие бюджеты отложенных месяцев и просят предсказать заказы.
- Прогноз сравнивают с фактом:
| Месяц | Факт | Прогноз модели | Промах |
|---|---|---|---|
| июнь | 10 000 | 9 400 | −6 % |
| июль | 11 000 | 11 500 | +5 % |
| август | 9 000 | 9 500 | +6 % |
| сентябрь | 12 000 | 11 300 | −6 % |
- Средний промах — среднее промахов без знака: (6,0 + 4,5 + 5,6 + 5,8) ÷ 4 ≈ 5,5 %. Экран пишет «5,5%» крупно и вердикт «Точный прогноз». В таблице промах месяца округлён до целых.
Сколько месяцев прячут
Примерно шестую часть истории, но не меньше 3 и не больше 6 периодов. И модели должно остаться хотя бы 8 периодов на обучение.
| История | Прячется |
|---|---|
| меньше 11 месяцев | проверки нет |
| 11–23 месяца | 3 |
| 24–29 месяцев | 4 |
| 30–35 месяцев | 5 |
| от 36 месяцев | 6 |
У недельной и дневной модели правило то же, только в неделях и днях: два года по дням — экзамен на 6 последних днях. Экран и тогда пишет «Спрятали последние 6 мес.».
Как читать вердикт
| Средний промах | Вердикт на экране | Что это значит |
|---|---|---|
| до 10 % | «Точный прогноз» | можно планировать |
| 10–20 % | «Хороший прогноз» | можно планировать с запасом |
| 20–50 % | «Приемлемо: годится как ориентир, не как точная цифра» | сравнивайте варианты, не обещайте цифру |
| от 50 % | «Неточный прогноз: планировать по этой модели без перепроверки нельзя» | улучшите модель |
Смещение: все промахи в одну сторону
Смотрите и на знаки. Промахи то вверх, то вниз — это шум. Если все в одну сторону — модель систематически ошибается.
Пример: промахи +12 %, +15 %, +9 % и +16 %. Средний — 13 %, вердикт «Хороший прогноз». Но под таблицей экран допишет: «В среднем модель завышает на 13% — промах систематический, а не случайный». Так он пишет, когда средний промах со знаком — от 10 %.
Обычно это значит, что в скрытых месяцах что-то изменилось: появился канал, выросли цены, прошла акция, сломалась выгрузка. Модель этого не видела — и продолжает прошлое.
Что именно сравнивается
- Сумма всех срезов за месяц. Если зависимая — отношение, например конверсия, сравнивается отношение сумм.
- «Отложили часть строк (не по времени)…» — запасная проверка: модель видела соседние месяцы, угадывать ей проще. Такой результат читайте осторожнее.
- «Проверки нет — есть только подгонка на обучающих данных» — истории не хватило.
- У моделей, посчитанных давно, вместо промаха бывает R² на скрытых данных: от 0,5 — «Модель прошла проверку», от 0,2 — «Проверку прошла слабо», ниже — «Проверку не прошла». Пересчитайте модель, чтобы получить промах.
Подгонка — не проверка
Под таблицей — строка «На обучающих данных модель описывает N% колебаний». Это подгонка: модель видела эти месяцы. Высокая цифра здесь бывает и у модели, которая на скрытых месяцах промахивается на 40 %. Решайте по промаху. В свёрнутом «Для аналитика» — R² на скрытых данных; на 4–6 точках он неустойчив, и экран сам советует смотреть на промах.
Для любознательных
Спрятано периодов: h = min(6, max(3, ⌊n ÷ 6⌋)), проверка идёт, если n ≥ h + 8. Для n = 24: h = min(6, max(3, 4)) = 4; 24 ≥ 12 — проверка есть.
Средний промах: среднее по скрытым месяцам от |прогноз − факт| ÷ факт × 100 %. Смещение — то же среднее, но со знаком: (−6,0 + 4,5 + 5,6 − 5,8) ÷ 4 = −0,4 %.
Проверка повторяет обучение модели целиком, только без скрытых месяцев. Поэтому промах на экране — оценка того, как модель угадает ближайшее будущее, если ничего резко не изменится.
Термины на этой странице: Проверка на скрытых месяцах, Смещение прогноза, WAPE, Гранулярность
Обновлено 14 октября 2026