As meta tags são uma outra forma de evitar a indexação de páginas nos motores de busca.

Já aqui falei em como criar o arquivo robots.txt algumas vezes, mas existem outras formas de evitar a indexação de determinadas páginas do nosso site, como são as Meta tags.

As Meta tags podem até ser a forma mais conveniente para desabilitar a indexação página por página. Envolve a adição de uma tag META para uma página HTML para informar aos robôs qua não devem indexar uma determinada página.

• Para evitar que todos os robôs indexem uma página do nosso site, podemos colocar a seguinte meta tag na seção da nossa página:


META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"


• Para permitir que outros robots indexem a página do site, evitando que apenas os robots dos motores de busca específicos (neste caso os do Google) indexem a página, podemos usar a seguinte tag:


META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW"


• Para permitir que os robôs indexem a página do nosso site, mas dizer-lhe para não seguirem os links de saída, você pode usar a seguinte tag:


META NAME="ROBOTS" CONTENT="NOFOLLOW"


Aqui deixo um vídeo interessante, no qual o próprio Google assume dar uma importância bastante alta para as Meta tags e onde fica claro que só o robot.txt em algumas situações pode não ser suficiente:

Este video responde a algumas perguntas, tais como:

• Why is my url showing up in Google when I blocked it in robots.txt? – Por que é que o meu URL aparece no Google quando o bloqueei no robots.txt?
• How do I make that url disappear from Google? – Como faço para que uma url desapareça do Google?

Alguns robôs, simplesmente ignoram as regras que nós configuramos no robots.txt, até mesmo o Google afirmou neste vídeo, pelo Matt Cutts, que sim, obedece ao arquivo robots.txt, mas se existem outros sites que contêm links para o que não queremos indexar (pouco provável, mas possivel), o Google pode adicioná-lo ao índice. Desta forma o Google recomenda adicionar a tag meta noindex no cabeçalho das páginas que não queremos ter indexados.