Настройка инструмента оценки домена для таблицы и cron-задачи

Где может возникнуть сбой при такой настройке

Обычный сбой происходит незаметно. Cron-задача, завершившаяся с ошибкой, выглядит так же, как и успешно выполненная.

Проверяйте код HTTP. Код 401 означает, что ключ отсутствует или неверен, а код 402 означает, что кредиты закончились, поэтому настраивайте оповещение на оба случая и устраняйте проблему до сдачи ежемесячного отчета.

Также помните, что пагинация ограничена 50 000 строк, а bulk_dr обрабатывает до 2000 доменов за один вызов. Для более длинных списков требуется разбиение на части, что добавляет один дополнительный цикл и стоит одного кредита за каждую часть.

Сначала протестируйте вручную. Запустите строку cron в терминале, прочитайте файл журнала и убедитесь, что баланс снизился ровно на ожидаемую стоимость. Затем посмотрите, как цифры соотносятся с тарифом Suite, и решите, как часто запускать задачу.

Версионируйте список доменов. Храните файл в репозитории или общей папке с историей изменений, чтобы, когда в марте изменится какое-то число, вы могли увидеть, изменился ли сам список. Добавьте столбец с примечаниями для доменов, добавленных намеренно, например, нового конкурента или клиента, который зарегистрировался в этом месяце. Относитесь к списку как к данным с владельцем, потому что самая дешевая ошибка — та, которую вы замечаете при сравнении версий.

Разделение длинного списка на части

Длинные списки — это то место, где аккуратная настройка достигает предела. Пакетный запрос обрабатывает до 2000 доменов, поэтому список из 5000 требует трех запросов, и разделение должно произойти до отправки первого запроса.

Разделяйте по стабильному правилу, например, по отсортированному порядку столбца доменов. Так один и тот же домен попадет в одну и ту же часть каждый месяц, и сравнение будет корректным.

Списки более 2000 строк

Записывайте каждую часть в таблицу отдельным блоком, указывая номер части в первом столбце. Так неудачную часть будет легко найти.

Каждая часть стоит один кредит, поэтому список из 5000 строк обойдется в 3 кредита за запуск, что составляет $0.0003. Инструмент оценки домена полезен ровно настолько, насколько хорош список, который он обрабатывает, поэтому держите этот список в порядке.

Если список превысит 5000 строк, пересмотрите структуру самой таблицы. Вкладка на каждый месяц сделает каждый запуск читаемым, когда строки начнут накапливаться.

Повторный запуск одной неудачной части

Если вторая часть вернет ошибку, перезапустите только вторую часть. Повторный запуск всего списка потратит кредиты на строки, которые уже были обработаны.

Фиксируйте номер части вместе с кодом состояния, чтобы повторный запуск был одной строкой в журнале, а не поиском по таблице.

Сохранение стабильности карты частей

Если порядок доменов в списке изменится, части сдвинутся, и сравнение месяц к месяцу нарушится. Сортируйте список перед разделением каждый раз.

Храните карту частей рядом со списком.

Простой тест: выберите любую часть и пересчитайте количество строк в ней по списку. Несоответствие означает, что карта сдвинулась, и это дешевле найти в таблице, чем в отчете.

Что должна содержать полезная строка ежемесячного журнала

Журнал, который просто пишет ok, не очень-то и журнал. Каждый запуск должен записывать одну строку, которую уставший человек сможет прочитать за десять секунд: дата, часть, статус, потраченные кредиты и баланс после запроса.

Гипотетический пример: строка, показывающая четвертую часть, статус 200, один потраченный кредит и оставшийся баланс после запроса, отвечает на большинство вопросов через месяц без необходимости открывать ответ.

Поля, которые стоит фиксировать

Фиксируйте дату, имя списка, номер части, код состояния, начисленные кредиты и баланс после запроса. Эти шесть покрывают большинство вопросов, которые возникнут через месяц.

Добавляйте текстовую заметку только тогда, когда человек что-то изменил вручную.

Уведомления, которые не кричат «волк»

Сразу предупреждайте о 401 или 402, так как оба означают, что задача не может выполнить свою работу. Предупреждение о низком балансе должно использовать выбранный вами порог, чтобы срабатывать один раз и указывать, что делать дальше.

Отправляйте одно уведомление на запуск, а не на каждую строку, иначе почтовый ящик превратится в шум.

Кто заметит, когда задача сломается

Ежемесячная задача запускается без чьего-либо контроля. В этом и есть смысл автоматизации, но именно поэтому сбой может оставаться незамеченным неделями.

Укажите имя человека, который читает журнал, и человека, который чинит задачу. Два имени лучше одного. Отпуска случаются. В руководстве по запуску объясняется, как выбрать список изначально.

Время, затрачиваемое на настройку, против времени на поддержку

Первый запуск занимает большую часть часа, так как ключ, таблица и тестовый запрос требуют внимания. После этого процедура должна требовать лишь беглого взгляда каждый месяц, а не перестройки.

Если поддержка становится сложной, обычно виноват список. Список, который меняется каждую неделю, требует владельца, версии и правила для добавлений.

Визуализация сбоя

Отсутствующая строка в выводе видна лучше, чем тихая ошибка. Сравнивайте количество строк с длиной списка при каждом запуске и записывайте предупреждение, если они различаются.

Храните это предупреждение в том же файле журнала, чтобы человек, читающий журнал, видел его первым.

Планирование вокруг обновления индекса

Индекс обновляется примерно раз в месяц, поэтому запуск в первый день месяца может прочитать данные из предыдущей сборки. Запуск через несколько дней, как предлагают шаги выше, дает время обновлению завершиться.

Выбирайте один и тот же день каждый месяц, чтобы ряд данных оставался сопоставимым, и запишите этот день в комментарий к строке cron.

Когда стоит прекратить автоматизацию

Задача, которая запускается раз в квартал, может не оправдывать наличия cron-строки. Достаточно таблицы и напоминания в календаре, а полуавтоматическая процедура хуже четкой ручной.

Автоматизируйте, когда те же самые шаги выполнялись чисто несколько циклов подряд.