Che cosa posso fare per limitare il traffico dei bot

Procedura

1. Verifica il file robots.txt del sito
2. Limita la frequenza di scansione dai pannelli per webmaster dei motori di ricerca
3. Escludi dall'indicizzazione le sezioni che generano molte pagine di scarso valore, come filtri di ricerca e archivi combinatori
4. Verifica l'effetto nei giorni successivi sul grafico Bot vs Human

Quando serve un ticket

I crawler che ignorano robots.txt non sono governabili dal sito e vanno bloccati a livello di infrastruttura. Apri un ticket indicando dominio, periodo e, se noto, l'agente da bloccare.