Como criar o ficheiro robots.txt em para sites ou blogs em WordPress

Deixei aqui neste blog num dos ultimos artigos, uma explicação sobre como criar o arquivo robots.txt, agora vou ser mais especifico e vou falar diretamente deste arquivo enquadrado com o wordpress.

Para um site em WordPress, existem algumas características especificas relativamente ao ficheiro robots.txt, existem algumas pastas que não tem interesse em que os motores de busca as indexem. Desta forma deixo aqui alguns exemplos de como criar o seu ficheiro robots.txt em WordPress para melhorar o SEO do seu site ou blog.

O mais comum e básico continua a ser o seguinte comando:


User-agent: *
Disallow


Mas entrando um pouco mais pelo que deve ser feito e tendo em contas as características do wordpress, bem como em termos de SEO, aqui fica um exemplo mais complete de um arquivo robots:


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/


Sendo ainda mais especifico podemos usar alguns comandos mais, para um melhor desempenho dos nossos sites nos motores de busca.


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$


Uma outra opção passa pelos plugins, estes criam automaticamente estes ficheiros, de acordo com as regras que nós pretendermos.

O que recomendo é o “iRobots.txt SEO”, funciona muito bem e tem um conjunto de características bastante completas para SEO. O “KB Robots.txt” e o “Robots Meta” também funcionam bem.

Já tem este arquivo nos vossos sites ou blogs em WordPress?

Algum plugin que recomendam? Alguma pasta ou página que aconselham bloquear?