Nastavení nástroje Domain Rating pro tabulku a cron úlohu

Kde toto nastavení selže

Ticho je běžnou příčinou selhání. Cron úloha, která selže s chybou, vypadá stejně jako ta, která proběhla úspěšně.

Zkontrolujte HTTP kód. 401 znamená, že chybí nebo je špatný klíč, a 402 znamená, že došly kredity, takže upozorněte na obě a opravte to před vydáním zprávy pro další měsíc.

Pamatujte také, že stránkování je omezeno na 50 000 řádků a že bulk_dr zpracovává až 2 000 domén na požadavek. Delší seznamy vyžadují rozdělení, což je jeden další smyčka a stojí jeden kredit za část.

Nejprve otestujte ručně. Spusťte řádek cronu v terminálu, přečtěte soubor protokolu a zkontrolujte, zda klesl zůstatek přesně o očekávané náklady. Poté si přečtěte jak se čísla srovnávají s balíčkem pro soutěžní analýzu a rozhodněte se, jak často úlohu spouštět.

Verzionujte svůj seznam domén. Udržujte soubor v repozitáři nebo sdíleném disku s historií, takže když se v březnu změní číslo, uvidíte, zda se změnil i seznam. Přidejte sloupec s poznámkami pro domény, které jste přidali záměrně, například nového konkurenta nebo klienta, který se přihlásil daný měsíc. Chraňte seznam jako data s vlastníkem, protože nejlevnější chybou je ta, kterou odhalíte v diffu.

Rozdělení dlouhého seznamu na části

Dlouhé seznamy jsou tam, kde čisté nastavení narazí na své limity. Hromadný požadavek zpracuje až 2 000 domén, takže seznam o 5 000 doménách vyžaduje tři požadavky a rozdělení musí proběhnout před prvním odesláním.

Rozdělte podle stabilního pravidla, například seřazení podle sloupce domény. Díky tomu stejná doména vždy skončí ve stejné části a srovnání zůstává platné.

Seznamy přes 2 000 řádků

Zapište každou část do tabulky jako samostatný blok s číslem části v prvním sloupci. Selhanou část je pak snadné najít.

Každá část stojí jeden kredit, takže seznam o 5 000 řádcích stojí 3 kredity za spuštění, což je $0,0003. Nástroj Domain Rating je užitečný jen tak, jak je užitečný seznam, který čte, takže udržujte tento seznam přehledný.

Pokud seznam přesáhne 5 000 řádků, zvažte úpravu rozložení tabulky. List pro každý měsíc udržuje každé spuštění čitelným, když řádky narostou.

Opětovné spuštění jedné selhané části

Pokud část dvě vrátí chybu, spusťte znovu pouze část dvě. Opětovné spuštění celého seznamu by spotřebovalo kredity na řádky, které již byly zpracovány.

Zalogujte číslo části s kódem stavu, takže opakování je jeden řádek v protokolu, ne pátrání v tabulce.

Udržení stabilní mapy částí

Pokud se změní pořadí seznamu domén, části se posunou a měsíční srovnání přestane platit. Seznam vždy před rozdělením seřaďte.

Uložte mapu částí vedle seznamu.

Jednoduchý test: vyberte libovolnou část a spočítejte její řádky proti seznamu. Nesrovnání znamená, že mapa se posunula, a to je v tabulce levnější najít než v reportu.

Co by měl obsahovat užitečný měsíční záznam v protokolu

Protokol, který jen říká ok, není moc dobrý protokol. Každé spuštění by mělo zapsat jeden řádek, který unavený člověk přečte za deset sekund: datum, část, status, spotřebované kredity a zůstatek po požadavku.

Příklad: řádek, který ukazuje část čtyři, status 200, jeden spotřebovaný kredit a zůstatek po požadavku, odpoví na většinu otázek o měsíc později bez otevírání odpovědi.

Pole stojí za zalogování

Zalogujte datum, název seznamu, číslo části, kód stavu, načtené kredity a zůstatek po požadavku. Tato šest polí pokrývá většinu otázek o měsíc později.

Přidejte poznámku volného textu pouze tehdy, když ji člověk změnil ručně.

Upozornění, která nevykřikují vlka

Okamžitě upozorněte na 401 nebo 402, protože oba znamenají, že úloha nemůže vykonat svou práci. Varování na nízký zůstatek by mělo používat vámi zvolený prah, takže se spustí jednou a řekne, co dělat dál.

Pošlete jedno upozornění na spuštění, ne jedno na řádek, jinak se pošta zahltí.

Kdo si všimne, když úloha selže

Měsíční úloha běží bez toho, aby se na ni někdo díval. To je smyslem automatizace a je to také důvod, proč může selhání zůstat nezpozorováno týdny.

Určete osobu, která čte protokol, a osobu, která opraví úlohu. Dvě jména jsou lepší než jedno. Dny v dovolené se stávají. Runbook vysvětluje, jak vybrat seznam od začátku.

Čas strávený nastavením versus údržbou

První spuštění zabere většinu hodiny, protože klíč, tabulka a testovací požadavek vyžadují pozornost. Poté by rutina měla vyžadovat jen letmý pohled každý měsíc, ne přestavbu.

Pokud údržba poroste, seznam je obvykle příčinou. Seznam, který se mění každý týden, potřebuje vlastníka, verzi a pravidlo pro přidávání.

Zviditelnění selhání

Chybějící řádek ve výstupu je snazší vidět než tichá chyba. Porovnejte počet řádků s délkou seznamu při každém spuštění a zapište varování, když se liší.

Udržte toto varování ve stejném souboru protokolu, aby osoba, která čte protokol, viděla ho jako první.

Plánování kolem obnovení indexu

Index se obnovuje přibližně jednou měsíčně, takže spuštění první den v měsíci může číst čísla z předchozí sestavy. Spuštění o několik dní později, jak navrhuje výše uvedené kroky, dá obnově čas k dokončení.

Vyberte stejný den každý měsíc, aby série zůstala srovnatelná, a zapište ten den do komentáře na řádku cronu.

Kdy přestat automatizovat

Úloha, která běží jednou za čtvrtletí, nemusí ospravedlnit cron řádek. Tabulka a připomínka v kalendáři mohou stačit a polovičatě automatizovaná rutina je horší než jasná manuální.

Automatizujte, až když stejné kroky běží čistě několik cyklů za sebou.