Direkte fra Google:
Metatags er en fantastisk måde for webmastere at give søgemaskiner information om deres websteder. Metatags kan bruges til at give information til alle slags klienter, og hvert system behandler kun de metatags, de forstår, og ignorerer resten.
Hvis du vil blokere alle søgemaskiner fuldstændigt:
Hvorfor?
Måske er det en noget privat URL på dit websted, men ikke beskyttet på en sådan måde, at en søgebot ikke kunne se den. Ligesom hvis en side kræver et login for at se den, er den alligevel blokeret fra en søgebot. Men hvis det bare er en tilsløret URL, hvem ved hvordan søgebots kommer rundt, så du vil måske forhindre indeksering.
Søgeresultater er en anden almindelig. Underligt at have et søgeresultat måske søgeresultater. WordPress-temaer har tendens til at inkludere dette:
Jeg kan ændre det lidt og fortælle bots, hej, du kan følge links her for at hjælpe med at fortsætte med at indeksere webstedet, men indeksér ikke denne side specifikt.
Andre
Søgemaskiner har tendens til at bruge beskrivelseskoden til tekstindhold ved siden af :
Se Google-siden for andre Google-specifikke, f.eks. Muligheden for at stoppe Google-specifikke UI-ting som deres "søgefelt til sitelink".