Директно од Гоогле-а:
Метатагови су одличан начин за вебмастере да пружају претраживачима информације о својим веб локацијама. Метатагови се могу користити за пружање информација свим врстама клијената, а сваки систем обрађује само метатагове које они разумеју, а остатак игнорише.
Ако желите потпуно блокирати све претраживаче:
Зашто?
Можда је то донекле приватни УРЛ на вашој веб локацији, али није заштићен на такав начин да га претраживач није могао видети. Као да ако страница захтева пријаву да би је видела, то је ионако блокирано ботом за претрагу. Али ако је то само замућена УРЛ адреса, ко зна како се ботови за претрагу крећу, па бисте можда желели да спречите индексирање.
Резултати претраге су још један уобичајени. Можда је чудно да резултат претраге буде резултат претраге. ВордПресс теме обично укључују ово:
Можда бих то мало изменио и рекао ботовима, хеј, можете овде да пратите везе да бисте наставили индексирање странице, али немојте посебно индексирати ову страницу.
Други
Претраживачи обично користе ознаку описа за текстуални садржај поред :
Погледајте Гоогле страницу да бисте пронашли друге специфичне за Гоогле, попут могућности заустављања Гоогле корисничког интерфејса, попут њиховог „оквира за претрагу везе до сајта“.