Se guardi le statistiche di accesso di un sito, scopri presto che una parte importante delle visite non arriva da persone ma da programmi automatici: i bot. Alcuni sono indispensabili, come quelli dei motori di ricerca. Altri sono inutili o apertamente ostili. E in mezzo c’è una zona grigia sempre più affollata, quella dei bot dei servizi di intelligenza artificiale. La domanda che ci fanno più spesso è: li blocco o li lascio passare? La risposta giusta, spesso, è una terza via.
Che cos’è un bot
Un bot è un programma che visita le pagine web in automatico. Si presenta al sito con un nome (lo user agent) e scarica le pagine come farebbe un browser, ma senza una persona davanti. Il punto chiave è che ogni visita di un bot costa al sito esattamente quanto quella di un visitatore: il server deve generare la pagina, interrogare il database, inviare la risposta.
I bot buoni
Sono quelli che portano un beneficio al tuo sito:
- i motori di ricerca, che leggono le tue pagine per mostrarle nei risultati: senza di loro il sito non viene trovato;
- i servizi di anteprima dei social e delle app di messaggistica, che generano il riquadro con titolo e immagine quando qualcuno condivide un tuo link;
- i servizi di monitoraggio che controllano che il sito sia raggiungibile;
- gli assistenti basati sull’intelligenza artificiale, che sempre più persone usano per cercare informazioni, prodotti e servizi.
Bloccare questi bot significa, in pratica, diventare meno visibili.
I bot cattivi
All’altro estremo ci sono bot che non portano nulla, o che fanno danni:
- scanner di vulnerabilità che provano migliaia di indirizzi in cerca di una falla da sfruttare;
- bot che tentano accessi alle pagine di login con password a caso;
- bot di spam che compilano moduli di contatto e commenti;
- scraper aggressivi che copiano contenuti o prezzi a raffica, senza alcun rispetto per le risorse del sito.
Questi vanno fermati, prima possibile e prima che arrivino al codice del sito.
Il problema: anche i bot buoni pesano
La difficoltà sta nel mezzo. Un bot utile può diventare un problema quando visita troppe pagine in poco tempo. Succede spesso con i negozi online: filtri, ordinamenti e combinazioni di attributi generano un numero enorme di indirizzi diversi, e un bot che li percorre tutti può impegnare il server più di tutti i clienti reali messi insieme. Il risultato è un sito lento per le persone, proprio mentre stai «facendo un favore» ai motori di ricerca.
A quel punto la tentazione è bloccare. Ma bloccare un bot utile ha un prezzo: meno visibilità nei motori di ricerca, nessuna anteprima quando qualcuno condivide un link, nessuna presenza nelle risposte degli assistenti AI.
La terza via: servire i bot dalla cache
Il motivo per cui i bot pesano è che ogni loro visita fa lavorare il server per generare la pagina. Se invece la pagina è già pronta in cache, il costo crolla: la risposta parte subito, senza eseguire codice e senza interrogare il database.
È esattamente quello che fa iWebLab Cache Pro con Sentinella: invece di bloccare i bot utili, li serve dalla cache. Il bot riceve la sua pagina, il sito resta visibile, e il server resta libero per i visitatori veri.
La differenza fra i due approcci, in breve:
| Bloccare il bot | Servirlo dalla cache | |
|---|---|---|
| Carico sul server | Minimo | Molto ridotto |
| Visibilità nei motori di ricerca e negli assistenti AI | Persa o ridotta | Mantenuta |
| Anteprime dei link condivisi | Possono non funzionare | Funzionano |
| Adatto a | Bot ostili e inutili | Bot utili ma insistenti |
iWebLab Cache è disponibile come plugin per WordPress e come modulo per PrestaShop, nella versione Free e nella versione Pro a 50 € all’anno.
E i bot cattivi? Security Intelligence
Per i bot che non hanno motivo di visitare il tuo sito interviene Security Intelligence, il nostro sistema che blocca bot e attacchi. A questo livello si aggiunge il firewall applicativo di cPGuard, che filtra le richieste che cercano di sfruttare falle nel sito.
Il risultato è una divisione dei compiti chiara: chi porta valore viene servito in modo leggero, chi fa danni viene fermato.
Come capire se i bot ti stanno pesando
Qualche segnale che vale la pena osservare:
- il sito è lento in momenti in cui non hai picchi di visitatori reali;
- le statistiche mostrano molte visite a pagine di filtri, ricerche interne o combinazioni di parametri;
- il consumo di risorse del tuo account cresce senza che crescano ordini o contatti.
Per leggere questi dati senza perderti nei log grezzi puoi usare SEO Log Intelligence, che ti aiuta a capire come i motori di ricerca visitano il tuo sito.
Cosa evitare
- Bloccare in blocco «tutti i bot» con regole copiate da internet: rischi di escludere proprio i motori di ricerca.
- Affidarti solo al file
robots.txt: i bot corretti lo rispettano, quelli ostili lo ignorano. - Decidere a sensazione: prima guarda chi ti visita davvero e quanto pesa.
In sintesi
- I bot buoni portano visibilità, quelli cattivi portano rischi e carico.
- Anche i bot utili possono rallentare il sito se visitano molte pagine.
- Con iWebLab Cache Pro e Sentinella i bot utili vengono serviti dalla cache invece di essere bloccati.
- Security Intelligence e cPGuard fermano i bot ostili e gli attacchi.
Non sai se il tuo sito ha un problema di bot? Apri un ticket dall’area clienti: guardiamo insieme cosa succede e quale soluzione ha più senso.