TailorThemeBot
Vous avez vu ce robot dans vos journaux ? Il appartient à Tailor Theme. Il s'identifie ainsi :
TailorThemeBot/0.1 (+https://tailortheme.com)
Ce qu'il lit
Uniquement des pages publiques : page d'accueil, page contact, page équipe et sitemap. Il ne remplit aucun formulaire et ne se connecte à aucun espace privé. Il sert à repérer le thème utilisé par un site et l'adresse de contact publique de l'entreprise.
À quel rythme
- Une requête par seconde au plus, par domaine.
- Il respecte
robots.txt. - Il s'arrête dès qu'il reçoit une réponse 429 ou 403.
- Chaque page est mise en cache : il ne revient pas la chercher inutilement.
Le bloquer
Ajoutez ces lignes à votre robots.txt :
User-agent: TailorThemeBot Disallow: /
Une question ? bonjour@tailortheme.com