Aujourd'hui à 12h45 mon hébergeur (Sivit) à coupé mon site car il consommait trop de ressources. Je suis sur un hébergement partagé et le site générait 5% des requêtes de tout le cluster. Il est remonté quelques minutes plus tard.
J'ai trouvé la raison en regardant mes logs. C'est suite à la visite du robot d'un moteur de recherche d'images : Kalooga (http://www.carnets-referencement.com/index.php/2009/03/20/84-kalooga-robot-indelicat).
21896 requêtes en deux sessions de quelques minutes. 5 requêtes à la seconde.
Pour éviter ce souci avec vos sites photo, je recommande de placer ce code dans un robots.txt à la racine du site :
CitationUser-agent: kalooga
Disallow: /
J'ai écrit au moteur pour avoir des explications.
Merci du tuyau :)
Salut Olivier
Je viens de mettre à jour tous mes robots.txt ;)
Merci pour le tuyau !
merci aussi !
Merci itou
http://www.wikio.com/video/908136 (mais je ne parle pas le neerlandais ...) Essayé d'en savoir un peu plus sur mes stats ces derniers jours, mais ovh plante complètement à ce sujet en ce moment. Il faut espérer que le_ffrench aura qq explications de leur part.
Bonjour
C'est un "automate" que l'on appelle "robot" (ou bot en anglais) qui est chargé de parcourir le web pour rechercher les images à indexer pour les intégrer dans sa propre base de données (celle de son moteur de recherche, car Kalooga est un moteur de recherches dédié aux images)
Le problème est qu'il génère un trafic serveur important, beaucoup trop important par rapport à ce qu'il est censé apporter (franchement ? Pas grand chose en matière de trafic !!!)
Merci Cedric :) espérons seulement que ce trafic serveur extrêmement important n'est qu'une erreur passagère de Kalooga.