robots.txt pronti per WordPress, WooCommerce, PrestaShop e Magento

Ogni piattaforma ha pagine che i motori di ricerca non devono scansionare: aree di amministrazione, carrelli, ricerche interne, filtri. Qui trovi dei file robots.txt di partenza per WordPress, WooCommerce, PrestaShop e Magento, con le indicazioni per adattarli al tuo sito. Sono una base, non una ricetta universale: temi e plugin cambiano i nomi degli indirizzi, quindi rileggi sempre le regole prima di pubblicarle.

Prima di cominciare

• Fai una copia del robots.txt attuale, se esiste.
• Non bloccare CSS, JavaScript e immagini: Google deve poterli leggere per capire le pagine.
• Sostituisci tuodominio.it con il tuo dominio e controlla l’indirizzo della tua sitemap.
• Dopo la modifica, verifica il file nel rapporto robots.txt di Google Search Console.

WordPress

Se il file non esiste, WordPress ne genera uno virtuale con le regole minime. Un file reale in public_html, o le impostazioni del tuo plugin SEO, permettono di fare di più:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=

Sitemap: https://tuodominio.it/wp-sitemap.xml

Le righe con ?s= e /search/ bloccano le ricerche interne, che generano pagine infinite e senza valore. Se usi un plugin SEO, la sitemap ha spesso un indirizzo diverso, per esempio sitemap_index.xml: usa quello indicato dal plugin.

WooCommerce

Alle regole di WordPress si aggiungono carrello, cassa, account e soprattutto i filtri a faccette:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /carrello/
Disallow: /cassa/
Disallow: /mio-account/
Disallow: /*?*add-to-cart=
Disallow: /*?*filter_
Disallow: /*?*query_type_
Disallow: /*?*min_price=
Disallow: /*?*max_price=
Disallow: /*?*orderby=

Sitemap: https://tuodominio.it/wp-sitemap.xml

I percorsi di carrello, cassa e account dipendono dalla lingua e dalle impostazioni del negozio: controllali in WooCommerce › Impostazioni › Avanzate. Molti temi usano parametri propri per i filtri: apri una categoria, usa un filtro e guarda l’indirizzo per trovare i nomi da bloccare.

PrestaShop

PrestaShop genera il robots.txt dal back office, in Parametri negozio › Traffico e SEO, con le regole per carrello, ordine, account e ricerca. Dopo averlo generato puoi aggiungere le righe per i filtri del modulo di ricerca a faccette, che usa il parametro q, e per l’ordinamento:

# Da aggiungere al robots.txt generato da PrestaShop
User-agent: *
Disallow: /*?*q=
Disallow: /*?*order=
Disallow: /*?*resultsPerPage=

Attenzione: se rigeneri il file dal back office, le righe aggiunte a mano vengono sovrascritte. Tieni da parte una copia.

Magento

In Magento il file si gestisce dall’amministrazione, in Contenuti › Design › Configurazione, scegliendo il sito e aprendo la sezione dei robots dei motori di ricerca. Una base:

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /catalogsearch/
Disallow: /wishlist/
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_mode=
Disallow: /*?*price=

Sitemap: https://tuodominio.it/sitemap.xml

La navigazione a strati di Magento usa come parametri i codici degli attributi, per esempio color o size. Aggiungi una riga Disallow: /*?*codice= per ogni attributo filtrabile del tuo catalogo.

I bot AI

A qualunque piattaforma puoi aggiungere le regole per i bot delle intelligenze artificiali, per esempio per escludere l’addestramento e restare visibile nelle ricerche degli assistenti. Le trovi spiegate nell’articolo dedicato ai bot AI.

Dopo la pubblicazione

• Apri https://tuodominio.it/robots.txt e verifica che il file sia quello nuovo. Sulla rete iWebLab Edge i file .txt non vanno mai in cache, quindi è visibile subito.
• Controlla in Search Console che non ci siano errori di lettura.
• Dopo qualche settimana, con SEO Log Intelligence verifica che i motori abbiano smesso di visitare i percorsi bloccati.

In sintesi

• Ogni piattaforma ha aree da escludere: amministrazione, carrello, account, ricerche interne e filtri.
• Usa questi file come base e adatta i nomi dei parametri al tuo tema.
• PrestaShop e Magento gestiscono robots.txt dal loro pannello: occhio alle sovrascritture.
• Non bloccare mai CSS, JavaScript e immagini.

Preferisci che lo prepariamo noi sul tuo sito? Apri un ticket.