Le stupre et la robotisation

Aller au contenu | Aller au menu | Aller à la recherche

J'ai le sentiment diffus que certains robots qui viennent se vautrer lascivement dans les rouages de mon bricablog ne sont pas totalement étrangers à la débauche de bande passante dont souffre celui-ci...

Je m'interroge sur la méthode pour y rémédier : le baygon vert suffirait ou faut-il sortir le préservatif ?

Ceci est une invitation non dissimulée à un dialogue constructif avec geeks et geekettes — et plus si affinité !

Par Veuve Tarquine samedi 11 novembre 2006 à 09:04 Blogs à brac #1099 rss

Trackbacks

Aucun trackback.

Les trackbacks pour ce billet sont fermés.

Commentaires

Le samedi 11 novembre 2006 à 09:18 par Ancalagon #

Il paraîtrait qu'il suffirait de mettre un fichier nommé "robot.txt" à la racine du site pour leur dire de ne pas indexer le-dit site. Mais il paraîtrait aussi que les robots s'empresseraient de ne surtout pas lire les recommandations qui leur sont faites dans ce sus-dit fichier. Bref, la lutte est bien inégale.

Le samedi 11 novembre 2006 à 09:25 par marc #

Si vous optez pour la solution préservatif pour protéger votre blog, sachez que l'entreprise sud-africaine Pronto Condoms a mis au point le préservatif le plus simple à enfiler au monde. Vous prenez l'emballage, vous le "cassez" en deux, vous l'étirez, vous enfilez le préservatif et vous ôtez les deux morceaux de l'emballage. Durée de l'opération : 9 secondes !
:-)

Le samedi 11 novembre 2006 à 09:45 par Kozlika #

Inktomi, ton plus gros suceur de bande passante, est censé respecter le fichier robots.txt

Il te faut placer à la racine de ton espace web un fichier nommé robots.txt dans lequel tu inscriras ces deux lignes :
User-agent: Slurp
Disallow: /
(Slurp est le nom du robot employé par Inktomi.) Si tu veux empêcher tous les robots (enfin... tous ceux qui respectent le fichier robots.txt), alors tu inscris plutôt ceci :
User-agent: * 
Disallow: /
Et si tu veux empêcher l'indexation d'un répertoire en particulier la ligne Disallow doit être remplacée par :
User-agent: *
Disallow: /chemin/du/repertoire/

Le samedi 11 novembre 2006 à 09:45 par Guillaume #

La solution pourrait effectivement être un robots.txt correctement configuré : http://www.robotstxt.org/wc/robots.html C'est un petit peu plus souple que ce que décrit Ancalagon, et les indexeurs le respectent en général (c'est dans leur interêt). Ceci dit il est vraiment très étonnant que votre site ait été indexé tant de fois en une semaine. Par ailleurs, à ma connaissance ni wanadoo.fr ni proxad.net ne correspondent à des indexeurs (wanadoo dispose bien d'un moteur de recherche, mais ça serait plutôt voila.fr, proxad n'en a pas), ceux-là seraient plutôt des visiteurs légitimes.

Le samedi 11 novembre 2006 à 09:48 par Swâmi Petaramesh #

Tu vas sans doute encore penser que je ne commente chez toi que pour faire de la pub' pour chez moi :-} toujours est-il que la question du Robots exclusion protocol a déjà été abordée dans cet article chez moi avec notamment quelques détails techniques dans ce commentaire.

Maintenant, comme les derniers trackbacks que j'ai laissés chez toi ne sont jamais apparus, je ne serais pas autrement surpris que ce commentaire subisse le même étrange sort...

Le samedi 11 novembre 2006 à 10:09 par Marc #

Les agréagateurs paramétrés pour revenir vérifier la mise à jour du flux RSS toutes les 3 minutes ça existe aussi : ( Ca mérite de baffes mais bon. Dans ces cas là si il n'y a pas d'un côté un agrégateur bien programmé pour préciser de quand date sa dernière version du contenur, et de l'autre un site bien programmé pour tenir compte de cette précision et ne délivrer le contenu que si il est plus récent, alors on a un gros gâchis de bande passante avec un fichier RSS délivré toutes les n minutes à x furieux :)) Je précise que chez moi les inktomi et autres robots sont assez furieux aussi (j'ai un ou deux chinois aussi).

Le samedi 11 novembre 2006 à 10:16 par Veuve Tarquine #

Merci de vos conseils ! Je les mets à profit dès que possible (c'est à dire que je procède d'abord au ravitaillement de ma marmaille avant de mettre à la diète mon bricablog !)

« Maintenant, comme les derniers trackbacks que j'ai laissés chez toi ne sont jamais apparus, je ne serais pas autrement surpris que ce commentaire subisse le même étrange sort... » Figurez-vous que je n'y suis strictement pour rien... Dans le cas contraire je n'aurais pas manqué de le faire à visage découvert !

Le samedi 11 novembre 2006 à 10:21 par François Granger #

J'avais trouvé en son temps cette page qui fabrique un fichier robot.txt pour toi. J'avais installé le fichier en question sur mon site à l'époque. En le révisant aujourd'hui, je m'aperçoit qu'il n'interdit pas Inktomisearch. Je visens de l'ajouter comme indiqué par Kozlika. Nous verrons si celà baisse la fréquentation.

Le samedi 11 novembre 2006 à 16:12 par Otir #

Je suis horriblement jalouse de l'attention que tous ces merveilleux geeks t'accordent. Je vais finir par poster mes propres questions sur ton blogue... signé, le trollcalimero

Le samedi 11 novembre 2006 à 21:39 par Maxime #

La solution du robots.txt a déjà été donnée, tant mieux, je n'aurais pas à en parler.

En ce qui concerne googlebot, donc le robot de google, on peut le ralentir en créant un sitemap (si on ne veux pas lui interdire l'accès). Il y avait des plug-ins pour dotclear, une fouille dans les archives du forum devrait être suffisante pour les retrouver. Les autres moteurs de recherches ne proposent malheureusement pas de solution similaire.

Ou plutôt devrais-je dire, il est dommage que le sitemap soit proprietaire, si google avait créé un sitemap.txt ou sitemap.xml équivalent au robots.txt que ses concurrents auraient pu adopter aussi, le sitemap serait sans doute devenu plus populaire...

Le samedi 11 novembre 2006 à 22:20 par Veuve Tarquine #

« on peut le ralentir en créant un sitemap » Oui le plugin (de pep je crois !) est très pratique et fonctionne très bien, je confirme :) En revanche, je dois dire que la pollution des spams s'est à peine ralentie... J'aimerai avoir un bon vieux tromblon pour dégommer ces sales bêtes dans une débauche de bruit et de jubilation !!!

Le dimanche 12 novembre 2006 à 15:36 par François Granger #

Tu as bien activé gzip dans le RSS mais pas dans le fil Atom. C'est celui que je lis par défaut...

Si ça peut te faire ganger du temps:

http://www.fgranger.com/dotclear/index.php/2006/11/11/402-utiliser-gzip-pour-les-fils-de-syndications

Le lundi 13 novembre 2006 à 10:25 par Groumphy #