Промах по срезам: почему общая цифра обманывает

Пример на числах

Условная модель: четыре скрытых месяца, июнь–сентябрь, срезы первого уровня — регионы.

Москва завышена на 4 400 заказов, Регионы занижены на 3 080. В сумме по всем срезам ошибки почти погасили друг друга: общий промах — 3,2 %, вердикт «Точный прогноз». А по Москве и Регионам модель ошибается на пятую часть.

Экран подскажет под таблицей: «Самый точный из крупных срезов — «СНГ»: промах 5% при доле 12% объёма. По нему планировать надёжнее, чем по общей цифре».

Как устроен блок на экране

Блок «Промах по срезам» — внутри «Проверки модели на скрытых месяцах».

• Вкладки уровней — по одной на уровень иерархии: «Регион», «Канал» и дальше.
• Таблица: «Срез», «Доля» (доля в факте скрытых месяцев), «Факт», «Промах», «Смещение». Крупные срезы — сверху; на уровень — до 25 строк.
• Промах — сумма промахов по месяцам без знака, делённая на факт среза. Цвет — как у общей цифры: до 20 % зелёный, 20–50 % жёлтый, от 50 % красный.
• Смещение — на сколько модель в сумме завысила (плюс) или занизила (минус) срез. Меньше 1 % — «≈0%».
• Срезы меньше 1 % объёма — бледные: решений по ним не принимают.
• Подсказка — самый точный из крупных срезов, от 5 % объёма. Если крупных нет, экран пишет: «Крупных срезов (от 5% объёма) в проверке нет — общая цифра держится на мелких, её лучше не использовать».

Что это меняет в решениях

• Планируйте по точности своего среза. Перекладываете бюджет между регионами — смотрите промах регионов, а не общий.
• Плохой срез — планируйте уровнем выше. Канал внутри Москвы промахивается на 40 %, а Москва целиком — на 8 %: решайте на уровне Москвы.
• Смещение среза — сигнал о данных. Москва +22 % и Регионы −22 % одновременно часто значат, что в последних месяцах часть заказов или бюджета переехала из одного среза в другой: поменялась разметка, открылся склад.
• Сверяйте с эластичностью среза. Узкий интервал при промахе среза больше 50 % — модель уверена в числе, которое не угадывает будущее. По такому срезу не планируйте (таблица срезов).

Ограничения

• Сравнение идёт на тех же 3–6 скрытых месяцах, что и общая проверка. На мелком срезе с десятком заказов в месяц промах в 30–50 % — обычный шум.
• Строка «Разбивка промаха по срезам появится после следующего пересчёта модели» значит, что модель посчитана до появления этой проверки. Нажмите «Новый расчет».

Для любознательных

Промах среза: Σ|прогноз − факт| ÷ Σфакт по скрытым месяцам. У Москвы прогноз каждый месяц выше факта на 22 %, поэтому промах и смещение совпадают: 4 400 ÷ 20 000 = 22 %. У СНГ месяцы ошибаются в разные стороны: +80, −60, +60 и +20 заказов, промах (80 + 60 + 60 + 20) ÷ 4 800 = 4,6 %, а смещение только +100 ÷ 4 800 = +2,1 %.

Общий промах считается иначе — по сумме всех срезов за месяц. Август: Москва +1 012, Регионы −726, СНГ +60, Прочее −35, итого +311 к факту 9 280, это +3,4 %. Так ошибки срезов гасят друг друга.