Direttamente da Google:
I metatag sono un ottimo modo per i webmaster di fornire ai motori di ricerca informazioni sui loro siti. I metatag possono essere utilizzati per fornire informazioni a tutti i tipi di client e ogni sistema elabora solo i metatag che comprende e ignora il resto.
Se vuoi bloccare totalmente tutti i motori di ricerca:
Perché?
Forse è un URL in qualche modo privato sul tuo sito, ma non protetto in modo tale che un bot di ricerca non possa vederlo. Ad esempio, se una pagina richiede un accesso per vederla, è comunque bloccata da un bot di ricerca. Ma se è solo un URL offuscato, chissà come si muovono i robot di ricerca, quindi potresti voler impedire l'indicizzazione.
I risultati della ricerca sono un altro comune. Forse è strano che un risultato di ricerca sia un risultato di ricerca. I temi di WordPress tendono a includere questo:
Potrei modificarlo un po 'e dire ai bot, ehi, puoi seguire i link qui per continuare a indicizzare il sito, ma non indicizzare questa pagina in modo specifico.
Altri
I motori di ricerca tendono a utilizzare il tag di descrizione per i contenuti di testo accanto a :
Vedere la pagina di Google per altri aspetti specifici di Google come la possibilità di interrompere elementi dell'interfaccia utente specifici di Google come la "casella di ricerca del collegamento al sito".