Consentire i crawler IA: così ChatGPT, Claude e Perplexity leggono il vostro sito web
I sistemi di IA possono citare solo ciò che hanno il permesso di leggere. Chi blocca GPTBot, ClaudeBot o PerplexityBot scompare dalle risposte come fonte. Vale la pena dare un'occhiata al robots.txt.
Quali crawler IA esistono?
I grandi fornitori utilizzano crawler propri con un proprio user agent. Alcuni raccolgono dati di addestramento, altri recuperano contenuti in tempo reale per rispondere a una domanda.
| User agent | Fornitore | Scopo |
|---|---|---|
| GPTBot | OpenAI | Contenuti per i modelli di OpenAI |
| OAI-SearchBot | OpenAI | Ricerca in ChatGPT |
| ChatGPT-User | OpenAI | Recupero quando gli utenti richiedono una pagina in ChatGPT |
| ClaudeBot | Anthropic | Contenuti per Claude |
| PerplexityBot | Perplexity | Indice della ricerca Perplexity |
| Google-Extended | Controlla l'utilizzo per Gemini | |
| Bingbot | Microsoft | Indice Bing, base per Copilot |
Come consentire i crawler IA nel robots.txt
Il file robots.txt si trova nella directory principale del vostro dominio (ad es. ihre-domain.ch/robots.txt). Un'autorizzazione esplicita ha questo aspetto:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Allow: /
Se per uno di questi bot è indicato Disallow: /, l'intero sito web è bloccato per esso. Potete comunque escludere in modo mirato aree interne come /admin/.
Il blocco nascosto: protezione anti-bot e firewall
Anche se il robots.txt consente tutto, servizi di sicurezza come Cloudflare possono respingere i crawler IA con un messaggio di errore (ad es. HTTP 403). Alcuni fornitori bloccano i bot IA per impostazione predefinita. Verificate quindi nelle impostazioni del vostro CDN se «AI Bots» o «Verified Bots» sono consentiti.
Cosa potete fare in più
- Fornire una sitemap XML aggiornata e indicarla nel robots.txt.
- Distribuire i contenuti importanti lato server, affinché siano leggibili senza JavaScript.
Domande frequenti
È dannoso consentire i crawler IA?
Per la maggior parte delle aziende prevalgono i vantaggi: solo ciò che i sistemi di IA possono leggere può essere citato e linkato nelle risposte. I contenuti riservati non dovrebbero comunque essere pubblici sul web.
Come scopro se il mio sito web blocca i crawler IA?
Aprite il vostro robots.txt e cercate gli user agent dei crawler IA. Il Check IA gratuito di Kamano AI verifica automaticamente robots.txt e protezione anti-bot.