Catturare gli spiders invasivi

Sovente nell’analizzare il traffico dei nostri siti rileviamo un consumo elevato di banda utilizzata dai vari Spiders che periodicamente scansionano le nostre pagine web. Alcuni di essi appartengono a motori di ricerca – come ad esempio Google,  Bing , Yahoo, tanto per citarne i maggiori – e avere le proprie pagine WEB indicizzate nei principali motori di ricerca significa una migliore visibilità del sito. Tuttavia […]