Проверка на прошлом: как MARFOR выбирает способ прогноза

Пример на числах

Прежде чем прогнозировать будущее, MARFOR проверяет себя на прошлом. Данные есть по сентябрь 2026 года, но MARFOR делает вид, что сейчас конец марта:

1. Прячет апрель–сентябрь 2026 года.
2. Прогнозирует их по данным до марта: тот же месяц 2025 года × рост января–марта 2026-го к январю–марту 2025-го (1,10). Выходит 9 000, 9 000, 8 500, 10 000, 10 200 и 10 600 заказов.
3. Сравнивает с фактом: 9 300, 8 700, 8 900, 10 400, 9 900 и 11 300.
4. Промахи без знака: 300 + 300 + 400 + 400 + 300 + 700 = 2 400 заказов. Факт за полгода — 58 500. WAPE = 2 400 ÷ 58 500 = 4,1 %.
5. Ошибка на пике — промах в самом большом месяце окна. Это сентябрь: 700 ÷ 11 300 = 6,2 %.

Так проверяется каждый способ прогноза, и к будущему применяется тот, что ошибся меньше.

Как устроена проверка

Как считается WAPE

WAPE — сумма промахов ÷ сумма факта. Промахи 100 + 100 + 50 = 250 заказов из 2 600, WAPE = 9,6 %. Средний процент промаха по месяцам — (10 + 6,7 + 50) ÷ 3 = 22 %: его раздувает маленький третий месяц, хотя там ошибка всего 50 заказов. WAPE взвешивает промах объёмом.

Цвет на экране: WAPE до 15 % — зелёный, 15–25 % — жёлтый, от 25 % — красный. Ошибка на пиках: до 20 % — зелёная, 20–40 % — жёлтая, от 40 % — красная.

Три окна проверки

Одного окна мало: последние месяцы могли оказаться удобными. Поэтому способ проверяется несколько раз.

• Последние 6 месяцев. Так при помесячной истории от двух лет. Если история короче, прячется около 30 % её длины. На дневных данных — последние 60 дней, на недельных — 12 недель.
• Те же месяцы годом раньше. Только если истории не меньше двух лет.
• Пиковые месяцы. Для каждого месяца выше ×1,3 к среднему берётся его последний раз в истории: прогноз строится по данным до него и сравнивается с этим одним месяцем.

Как выбирается способ

Счёт способа — WAPE плюс промах в пике окна и промах в пиковых месяцах, усреднённые по всем окнам. Если в данных резкие всплески, промах в пике весит больше. Побеждает наименьший счёт: способ, который хорошо угадывает спокойные месяцы и проваливает декабрь, не выиграет.

Лес и смесь проверяются только в тех окнах, где до окна есть хотя бы два года помесячной истории (по дням — 395 дней).

Что это значит для решений

• Смотрите на «WAPE backtest», а не только на «WAPE validation». Validation — одно окно, последние месяцы. Если оно заметно лучше среднего по окнам, последние месяцы просто оказались удобными.
• Низкий WAPE не обещает точного будущего. Проверка показывает, как способ повторяет прошлое. Новых акций, каналов и цен в ней нет.
• WAPE красный — ищите причину в данных: короткая история, выброс или сбой в последних месяцах, неполный последний месяц, слишком мелкие срезы. Что поправить — в Настройках прогноза.

Где это видно в MARFOR

Шаг «Обучение» → блок «Проверка на контрольной выборке»: «WAPE validation» с подписью «последние 6 мес.», «WAPE backtest» — «среднее по окнам», «Ошибка на пиках» и «Модель». На графике — «Обучающая выборка» серым, «Факт (контрольная)» синим и «Прогноз модели» красным пунктиром. Подробно — Шаг «Обучение».

У модели MMM своя проверка, на скрытых месяцах: Когда модели можно верить.

Ограничения

• «Применить и переобучить» в блоке «AI-рекомендации» меняет только цифры проверки. Прогноз на будущее считается без рекомендаций: Поменяли настройку, а прогноз не изменился.
• При «Месяцы» на дневных данных проверка на шаге «Обучение» включает неполный последний месяц, а сам прогноз его отрезает. Если месяц не закончен, WAPE на экране может выйти хуже, чем у прогноза на самом деле.
• Ошибка на пиках — промах в самом большом периоде окна, а он не обязательно пиковый месяц года.

Для любознательных

WAPE = Σ |факт − прогноз| ÷ Σ факт × 100 %

ошибка на пике = |прогноз − факт| ÷ факт × 100 % в периоде с наибольшим фактом

Анализ роста и сезонности на каждом окне считается только по истории до окна. Иначе способ «подглядел» бы спрятанные месяцы и проверка была бы слишком оптимистичной.