Denníček WA

Vytlač príspevok
Odporuč príspevok
Bookmark and Share PRIDAŤ NA VYBRALI.SME.SK

Vyhľadávacie systémy sú fajn, ale nie vždy

Keď server začne obťažovať fake search bot, tak je to zlé...

Posledné dni musím pravidelne pridávať do iptables ďalšiu a ďalšiu IP adresu z ktorej sa na nás valia požiadavky o vygenerovanie stránky.

Naroziel od slušne vychovaného botu (ako je napr. Googlebot, Slurp či Jyxobot) MJ12bot je pekný podliak. Vôbec nerešpektuje direktívy v robots.txt a bombarduje server rýchlymi požiadavkami. To samozrejme vedie k preťaženiu servera a ten potom nestíha generovať stránky pre skutočných návštevníkov. Podľa informácii na stránkach tohoto botu, to nie je ani tak ich vina, ale nejakého fake botu, ktorý sa za neho vydáva. Viac na http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Dúfam len, že toto raz skončí, inak nezostane iná možnosť len pripraviť script, ktorý bude tento bot automaticky blokovať.


net | stály odkaz

Komentáre

Pozor, na konci je potreba spočítať neľahkú matematickú úlohu! Inak komentár nevložíme. Pre tých lenivejších je tam tlačidlo kúzlo.



Prevádzkované na CMS TeaGuru spoločnosti Singularity, s.r.o., © 2004-2014