Oltre a Google e Bing, oggi i siti ricevono visite da un’altra famiglia di programmi: i bot delle intelligenze artificiali. Leggono le pagine per addestrare i modelli, per rispondere alle domande degli utenti o per svolgere compiti per loro conto. Molti clienti ci chiedono se bloccarli o lasciarli passare. La risposta giusta dipende da cosa vuoi ottenere, e per deciderlo bene bisogna sapere che i bot AI non sono tutti uguali.
Tre tipi di bot AI
I principali fornitori di intelligenza artificiale usano bot diversi per scopi diversi, ognuno con il suo nome:
- Bot di addestramento: raccolgono testi per addestrare i modelli. Bloccarli significa che i tuoi contenuti non finiscono nei dati di addestramento futuri.
- Bot di ricerca: costruiscono l’indice usato dagli assistenti quando cercano informazioni e citano le fonti. Bloccarli significa che il tuo sito può non comparire, né essere citato, nelle risposte.
- Agenti su richiesta dell’utente: visitano una pagina perché una persona ha chiesto all’assistente di leggerla. Somigliano più a un visitatore che a un crawler.
Bloccare un tipo non blocca gli altri. È proprio questa distinzione che permette scelte sensate.
I nomi principali
| Fornitore | Addestramento | Ricerca | Su richiesta dell’utente |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
| Google (Gemini) | Google-Extended: non è un bot, ma un nome da usare in robots.txt per escludere i contenuti dall’uso nei modelli di Google, senza effetti sulla ricerca Google | ||
| Apple | Applebot-Extended: anche questo è un nome per escludere i contenuti dall’addestramento, non un bot separato | ||
Ci sono poi altri raccoglitori di dati per l’IA, come quelli di Common Crawl (CCBot) o di alcuni social network. I nomi e i ruoli cambiano spesso: prima di scrivere le regole conviene controllare la documentazione aggiornata di ciascun fornitore.
Come decidere
Ecco le scelte più comuni.
Lasciare entrare tutti
È la scelta di chi vuole il massimo della visibilità: il sito può essere citato nelle risposte degli assistenti e i contenuti contribuiscono ai modelli. Per un’azienda che vende servizi o prodotti spesso è la scelta giusta, perché sempre più persone cercano informazioni tramite gli assistenti.
Restare visibili, ma senza addestramento
È il compromesso più diffuso: blocchi i bot di addestramento e lasci passare quelli di ricerca e gli agenti su richiesta.
# Ricerca e richieste degli utenti: permesse
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Addestramento dei modelli: escluso
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Bloccare tutto
Ha senso per contenuti riservati o a pagamento. Tieni presente che il sito sparirà anche dalle risposte degli assistenti.
I limiti di robots.txt
- È una richiesta, non un muro. I fornitori seri la rispettano, ma i raccoglitori meno corretti la ignorano o si presentano con nomi falsi.
- Gli agenti su richiesta dell’utente possono non seguirla: alcuni fornitori dichiarano che, essendo visite avviate da una persona, robots.txt potrebbe non applicarsi.
- Non agisce sul passato: i contenuti già raccolti restano nei dati esistenti.
Per i bot che ignorano le regole serve un blocco vero. Security Intelligence riconosce i bot AI e permette di bloccarli dal pannello, verificando anche che chi si presenta come Google o Bing lo sia davvero.
Il problema del carico
A volte il motivo per voler bloccare i bot AI non è il diritto d’autore, ma il server: alcuni bot visitano migliaia di pagine in poco tempo e rallentano il sito. Prima di bloccarli, vale la pena considerare un’alternativa: con iWebLab Cache Pro e Sentinella i bot utili leggono le pagine dalla cache della rete iWebLab Edge, senza pesare sul server, e il sito resta visibile negli assistenti.
Con SEO Log Intelligence vedi quali bot AI visitano il tuo sito, quante pagine leggono e se rispettano le regole che hai scritto.
In sintesi
- I bot AI si dividono in addestramento, ricerca e agenti su richiesta: si possono trattare in modo diverso.
- Il compromesso più comune è bloccare l’addestramento e lasciare passare la ricerca.
- robots.txt è una richiesta: per chi non la rispetta c’è Security Intelligence.
- Se il problema è il carico, la cache con Sentinella è spesso meglio del blocco.
Vuoi capire quali bot AI visitano il tuo sito e cosa conviene fare? Apri un ticket.