CrawlBot Manager Tool

Outil de gestion CrawlBot

Default - Tous les robots sont:	Autorisé Refusé
Retard d'exploration:	Par défaut - Aucun délai 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Plan du site: (laissez en blanc si vous n'en avez pas)
Robots de Recherche:	Google	Identique à la valeur par défaut Autorisé Refusé
	Google Image	Identique à la valeur par défaut Autorisé Refusé
	Google Mobile	Identique à la valeur par défaut Autorisé Refusé
	MSN Search	Identique à la valeur par défaut Autorisé Refusé
	Yahoo	Identique à la valeur par défaut Autorisé Refusé
	Yahoo MM	Identique à la valeur par défaut Autorisé Refusé
	Yahoo Blogs	Identique à la valeur par défaut Autorisé Refusé
	Ask/Teoma	Identique à la valeur par défaut Autorisé Refusé
	GigaBlast	Identique à la valeur par défaut Autorisé Refusé
	DMOZ Checker	Identique à la valeur par défaut Autorisé Refusé
	Nutch	Identique à la valeur par défaut Autorisé Refusé
	Alexa/Wayback	Identique à la valeur par défaut Autorisé Refusé
	Baidu	Identique à la valeur par défaut Autorisé Refusé
	Naver	Identique à la valeur par défaut Autorisé Refusé
	MSN PicSearch	Identique à la valeur par défaut Autorisé Refusé
Répertoires restreints:	Le chemin est relatif à la racine et doit contenir une barre oblique finale "/"

Créez maintenant le fichier « robots.txt » à la racine de votre répertoire. Copiez le texte ci-dessus et collez-le dans le fichier texte.

Sur Outil de gestion CrawlBot

The CrawlBot manager tool is a effective utility designed to help website directors control how search engine bots and web crawlers have interaction with their web sites. by producing and managing robots.txt documents, this tool ensures that most effective legal bots can get admission to particular pages, improving web site overall performance, protection, and seo efficiency. whether or not you need to block malicious scrapers or guide legitimate crawlers to important content, the CrawlBot manager device provides an intuitive interface to personalize bot conduct effects.
Why use the CrawlBot supervisor tool?

Coping with web crawlers manually may be time-ingesting and error-inclined so the CrawlBot manager device automates this technique, permitting you to:

•     Block undesirable bots to reduce server load and save you content material theft.
•     Enhance seo ratings via ensuring search engines index the right pages.
•     Enhance security with the aid of limiting get entry to to sensitive directories.
•     Save time with pre-configured templates and smooth-to-edit rules.