Vous avez un site photo ? Attention au robot Kalooga !

le_ffrench · Mars 20, 2009, 15:07:10

Aujourd'hui à 12h45 mon hébergeur (Sivit) à coupé mon site car il consommait trop de ressources. Je suis sur un hébergement partagé et le site générait 5% des requêtes de tout le cluster. Il est remonté quelques minutes plus tard.
J'ai trouvé la raison en regardant mes logs. C'est suite à la visite du robot d'un moteur de recherche d'images : Kalooga.
21896 requêtes en deux sessions de quelques minutes. 5 requêtes à la seconde.

Pour éviter ce souci avec vos sites photo, je recommande de placer ce code dans un robots.txt à la racine du site :

CitationUser-agent: kalooga
Disallow: /

J'ai écrit au moteur pour avoir des explications.

Charlie82 · Mars 20, 2009, 15:18:35

Merci du tuyau

Cedric_g · Mars 22, 2009, 12:29:48

Salut Olivier

Je viens de mettre à jour tous mes robots.txt

Merci pour le tuyau !

polym · Mars 22, 2009, 23:08:14

merci aussi !

Olivier-P · Avril 04, 2009, 02:29:25

Merci itou

e-romeo · Avril 04, 2009, 09:17:31

http://www.wikio.com/video/908136 (mais je ne parle pas le neerlandais ...) Essayé d'en savoir un peu plus sur mes stats ces derniers jours, mais ovh plante complètement à ce sujet en ce moment. Il faut espérer que le_ffrench aura qq explications de leur part.

Cedric_g · Avril 07, 2009, 10:45:34

Bonjour

C'est un "automate" que l'on appelle "robot" (ou bot en anglais) qui est chargé de parcourir le web pour rechercher les images à indexer pour les intégrer dans sa propre base de données (celle de son moteur de recherche, car Kalooga est un moteur de recherches dédié aux images)

Le problème est qu'il génère un trafic serveur important, beaucoup trop important par rapport à ce qu'il est censé apporter (franchement ? Pas grand chose en matière de trafic !!!)

e-romeo · Avril 07, 2009, 11:22:26

Merci Cedric

espérons seulement que ce trafic serveur extrêmement important n'est qu'une erreur passagère de Kalooga.