Prima di parlare di metodo, il problema del terreno merita di essere approfondito. Esplorare tutte le categorie e le pagine di un sito web non significa semplicemente cliccare su un menu. Significa comprendere come i contenuti siano collegati tra loro, individuare quelli che sfuggono alla navigazione classica e verificare che nulla rimanga invisibile per i motori di ricerca.
Su un sito voluminoso con decine di sezioni annidate, ottenere una visione chiara di ciò che esiste realmente online richiede un approccio strutturato.
Sitemap XML e robots.txt: i due file da aprire per primi
Quando si vuole fare un inventario completo di un sito, il riflesso più efficace consiste nel consultare direttamente i suoi file tecnici. La sitemap XML elenca gli URL che il proprietario del sito desidera far indicizzare. Di solito si accede aggiungendo /sitemap.xml alla radice del dominio.
Il file robots.txt, invece, indica ai robot cosa non hanno il diritto di esplorare. Questi due file si completano: il primo mostra ciò che deve essere visibile, il secondo rivela ciò che è volutamente nascosto. Incrociandoli, si ottiene una mappatura rapida della struttura del sito, molto più affidabile di una navigazione manuale.
Per osservare un esempio concreto di sitemap organizzata per categorie, si può consultare il sito Little Breizh e vedere come ogni sezione appare chiaramente nell’albero. Questo tipo di presentazione facilita la comprensione dell’architettura globale, anche per un sito modesto.
Navigazione facettata e pagine orfane: ciò che il menu non mostra
Il menu principale di un sito raramente mostra tutte le sue pagine. Su un sito e-commerce con filtri per taglia, colore o prezzo, la navigazione facettata genera centinaia di URL combinate che non appaiono in nessuna categoria visibile. Queste pagine esistono, consumano il budget di crawl, ma spesso rimangono assenti dalla sitemap.
Le pagine orfane pongono un problema simmetrico. Nessun link interno punta verso di esse. Non compaiono né nel menu né nella rete del sito. Per scovarle, è necessario confrontare l’elenco degli URL noti (sitemap, crawl) con gli URL realmente collegati da altre pagine.
In pratica, si avvia un crawl con uno strumento come Screaming Frog o Xenu, poi si confronta il risultato con la sitemap XML. Gli URL presenti nel crawl ma assenti dalla sitemap, o viceversa, meritano una verifica manuale. È spesso lì che si trovano contenuti abbandonati, vecchie promozioni o pagine di test mai eliminate.
Operatori di ricerca Google per mappare un sito
Prima di installare qualsiasi software, una query Google è sufficiente per ottenere una prima panoramica. L’operatore site:nomedominio.fr mostra tutte le pagine indicizzate da Google per questo dominio. Si può affinare con filtri:
- site:esempio.fr inurl:blog – per isolare solo le pagine del blog e verificare il loro volume reale nell’indice
- site:esempio.fr intitle:”categoria” – per ritrovare le pagine il cui titolo contiene un termine specifico, utile quando l’albero del sito è poco leggibile
- site:esempio.fr -inurl:tag – per escludere le pagine di tag, spesso ridondanti, e concentrarsi sui contenuti principali
Questa metodologia ha un limite: Google indicizza solo una frazione delle pagine esistenti. I risultati forniscono un pavimento, non un inventario esaustivo. Per i siti voluminosi, si riscontra regolarmente un divario significativo tra il numero di pagine nella sitemap e quello visualizzato dall’operatore site:.
Budget di crawl e robot d’IA: una nuova pressione sull’esplorazione
L’arrivo dei crawler di intelligenza artificiale cambia le regole del gioco per l’esplorazione dei siti. Diverse analisi pubblicate nel 2025-2026 mostrano che il volume di richieste di questi robot è aumentato notevolmente, alcuni agenti vedendo il loro traffico moltiplicato in modo spettacolare in un anno. Questa pressione aggiuntiva sui server costringe gli amministratori a ripensare la gestione del loro budget di crawl.
Concretamente, un sito che lascia le sue faccette e le sue URL duplicate accessibili senza restrizioni rischia di vedere i robot sprecare il loro passaggio su pagine senza valore, a scapito delle categorie e dei contenuti strategici. La consolidazione delle URL (canoniche, reindirizzamenti, limitazione dei parametri) diventa un leva diretta affinché tutte le pagine utili siano effettivamente esplorate.
Google precisa che l’ottimizzazione del budget di crawl riguarda soprattutto i siti molto voluminosi, ma nella pratica, i siti e-commerce con alta navigazione facettata sono i primi a essere colpiti. L’uso corretto degli stati HTTP (304 per le pagine non cambiate, ad esempio) consente anche di segnalare ai robot che una pagina non è cambiata, liberando così budget per esplorare nuovi contenuti.
Albero e rete interna: costruire un’esplorazione logica
Esplorare un sito non si riduce a elencare URL. Il modo in cui le pagine sono collegate tra loro determina ciò che un visitatore (o un robot) può realmente raggiungere. Una rete interna ben pensata garantisce che ogni categoria e ogni pagina importante si trovi a un massimo di tre clic dalla homepage.
Per verificare la profondità dell’albero, si può utilizzare un crawler che misura il numero di livelli tra la homepage e ogni URL. Le pagine situate oltre il quarto livello sono spesso mal indicizzate e raramente visitate. Ecco i punti da tenere d’occhio:
- Le categorie principali devono essere accessibili dal menu di navigazione globale, non solo da un footer o da un link contestuale
- Ogni pagina di contenuto deve ricevere almeno un link interno da un’altra pagina dello stesso tema, per evitare l’effetto pagina orfana
- I link interni devono utilizzare ancore descrittive contenenti i termini della categoria mirata, il che aiuta sia l’utente che i motori di ricerca
I feedback variano su questo punto, ma la maggior parte degli audit SEO mostra che una struttura piatta (pochi livelli, molti link orizzontali tra le categorie) facilita sia la navigazione degli utenti che l’esplorazione da parte dei robot.
Il più efficace rimane combinare questi approcci: file sitemap per la panoramica, operatori Google per un primo diagnostico, crawl tecnico per la precisione e analisi della rete interna per comprendere la logica di navigazione. Un sito di cui tutte le pagine sono accessibili e correttamente collegate non presenta mai problemi di esplorazione, né per i suoi visitatori né per i motori di ricerca.
