Ссылка на CSV и Google Таблицы, автозагрузка

Если данные живут в Google Таблице или выгружаются по ссылке, MARFOR может забирать их сам каждый день.

Шаги

1. Подготовьте ссылку. В Google Таблицах: «Файл» → «Поделиться» → «Опубликовать в интернете», выберите лист и формат CSV, опубликуйте и скопируйте ссылку — она заканчивается на output=csv. Обычная ссылка из адресной строки (…/edit) не подойдёт. Любая другая ссылка должна отдавать CSV без входа в аккаунт.
2. В проекте: «Источники данных» → «Добавить источник» → вкладка «URL».
3. Заполните «Название источника», вставьте ссылку в «URL файла (CSV)» и нажмите «Проверить URL». Должно появиться «N строк, M колонок».
4. «Режим импорта». «Полная перезапись» — при каждом обновлении данные заменяются содержимым ссылки; подходит, если по ссылке лежит вся история. «Добавление (Append)» — если по ссылке только свежие дни, а история должна копиться в MARFOR; как оно работает — ниже.
5. Для ежедневного обновления включите «Включить автозагрузку по расписанию» и задайте «Время обновления». Время указывается по UTC+0: 06:00 UTC = 09:00 по Москве. «Уведомлять по email при обновлении и ошибках» включено сразу.
6. Нажмите «Загрузить» → «Загружено: N строк, M колонок».
7. На карточке — «Настроить маппинг» → «Применить маппинг». Дальше каждое обновление само переприменяет маппинг.

Что получится

Карточка с типом «CSV (URL)» и строкой «Pipeline: ежедневно (перезапись)» — в режиме «Добавление» «ежедневно (append)», а если автозагрузка выключена, «выкл».

• Обновление идёт раз в сутки, не раньше заданного времени. Первое может пройти через несколько минут после создания.
• Обновить вручную — круговые стрелки на карточке («Обновить данные с URL»).
• Прошлые загрузки — значок «История загрузок».
• Режим импорта, время и уведомления меняют в «Настройки источника и Pipeline» (значок с ползунками). Ссылку там поменять нельзя: для другой ссылки добавьте новый источник.
• Письма: «MARFOR — Данные обновлены • …» или «MARFOR — Ошибка обновления • …».

«Добавление (Append)» при каждом обновлении заменяет строки за даты, которые есть в новом файле, а строки за остальные даты сохраняет. Поэтому повторная загрузка тех же дней данные не задваивает. Для этого нужна колонка даты в маппинге («Временной ряд» → «Дата»): без неё обновление откажет с объяснением и данные источника не изменит.

Если что-то пошло не так

• «Некорректный URL» или «Разрешены только http(s) URL» → проверьте, что ссылка скопирована целиком и начинается с https://.
• «HTTP 403», «HTTP 404» или «Ошибка загрузки: HTTP …» → ссылка закрыта или не опубликована. Откройте её в окне инкогнито: файл должен скачаться без входа.
• «Не удалось распознать CSV. Проверьте формат данных.» → по ссылке страница, а не CSV.
• «Загрузка с внутренних/приватных адресов запрещена» → нужен публичный адрес.
• «Хост URL не разрешён политикой безопасности» → загрузка с этого адреса закрыта настройками MARFOR, напишите в поддержку: «Помощь» → «Обратная связь».
• «Режим „Добавление“ заменяет строки по датам из файла, а колонка даты не найдена…» → «Настроить маппинг»: у колонки с датой выберите «Временной ряд» → «Дата» и примените маппинг. Или переключите источник на «Полная перезапись» в «Настройки источника и Pipeline». Данные источника при этом отказе не меняются.
• «Источник превышает лимит вашего тарифа…» → на Free до 10 000 строк в источнике.

Дальше

• Маппинг: дата, метрики и измерения
• Уведомления по почте
• Загрузка файла