Vi è una forma di tag per indicare esplicitamente l'inclusione negli indici dei motori di ricerca:

inoltre è possibile suggerre di seguire i link all'interno della pagina:


anche se va precisato che già di default tutte le pagine, in assenza di informazioni che ne indicano l'esclusione, vengono indicizzate. La pratica è da ritenersi un inutile spreco di tempo.

Analogamente al tag appena descritto vi è la possibilità di evitare l'inclusione negli indici, mediante l'inserimento di questo codice HTML:


Questo tipo di pratica, però, non può essere utilizzata per impedire l'accesso agli spider. Essi infatti setacciano periodicamente le pagine nella speranza i meta tag "noindex" siano stati rimossi ed avere il consenso all'indicizzazione della risorsa.

Oltre al "no index" vi sono anche altri tag che si possono inserire per gestire l'indicizzazione della proprie pagine:

• NOFOLLOW - permette di evitare che lo spider segua i link all'interno della pagina (sempre che le pagine di destinazione non siano puntate da altri link non 'mascherati')
• NOARCHIVE - serve per consentire o impedire ai motori di eseguire una copia della pagina in questione all'interno della propria memoria cache. I motori effettuano un'immagine della pagina con lo scopo di rendere visualizzabile il documento anche nel caso in cui vi siano problemi temporanei sui vari Server Web. La versione Cache presenta lo stesso layout dell'ultima versione indicizzata dallo spider pertanto potrebbe non contenere gli ultimi aggiornamenti effettuati.
• NOSNIPPET - Dice ai vari motori di ricerca di non visualizzare la descrizione e la cache nei risultati di ricerca per quella pagina.
• NOODP - blocca le descrizioni del ODP (Open Directory Project) utilizzate per dare le descrizioni all'interno delle SERP.

ATTRIBUTO	Ask	Google	Microsoft (info non aggiornate)	Yahoo
NOINDEX	Sì	Sì	Sì	Sì
NOFOLLOW	Sì	Sì	Sì	Sì
NOARCHIVE	Sì	Sì	utilizzare NOCACHE	Sì
NOCACHE	No	No	Sì	No
NOSNIPPET	No	Sì	No	No
NOODP	No	Sì	Sì	Sì
NOYDIR	No	No	No	Sì
Nome del robot	TEOMA	GOOGLEBOT	MSNBOT	SLURP

Per poter evitare l'attraversamento degli spider, invece, non è sufficiente inserire i meta tag ma occorre inserire il file robot.txt appropriato.


In questo schema si possono mettere a confronto le tre tecniche di esclusione:

Tecnica	Robots. txt	Meta Robots	Yahoo Delete URL Option
Elimina Crawling	Sì	No	No
Evita l'inclusione negli indici	Sì	Sì	Sì
Evita i listing dei link	No	No (Sì Google)	Sì
Perchè usarlo?	Facile esclusione di molte pagine per volta(dominio)	Se non si può accedere al dominio root	Se si desidera l'esclusione immediata di una pagina