Trabalho em uma empresa que possui uma loja Magento 1.9 e a fim de otimizar a pesquisa organiza estamos tentando excluir centenas de páginas indexadas pelo google, porém, estou enfrentando duas dificuldades.
Loja: lojamastertoys.com.br
1) A página "Categorias" é genérica, ela contempla todos os produtos seja eles de meninos ou meninas, então essa categoria e todas as suas dependências foram setadas como noindex, nofolow no meta robots, ela ainda está indexada.
2) No Robots.txt foi definido para excluir por exemplo, a página da categorias e todas as suas dependências, assim como página minha conta, contato, sobre, whishlist, product_search (buscar) entre outras, elas ainda estão indexadas após alguns dias.
Abaixo vou colocar meu robots.txt, talvez eu tenha feito algo errado ou vocês possam conhecer outra solução para excluir essas várias páginas.
User-agent: Googlebot-Image
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Disallow: /404
Disallow: /app
Disallow: /cgi-bin
Disallow: /downloader
Disallow: /errors
Disallow: /includes
Disallow: /lib
Disallow: /magento
Disallow: /pkginfo
Disallow: /report
Disallow: /scripts
Disallow: /shell
Disallow: /stats
Disallow: /var
Disallow: /index.php
Disallow: /catalogsearch
Disallow: /catalogsearch/*
Disallow: /catalog/*
Disallow: /catalog/product_compare
Disallow: /catalog/product_compare/*
Disallow: /catalog/category/view
Disallow: /catalog/category/view/*
Disallow: /catalog/product/view
Disallow: /catalog/product/view/*
Disallow: /catalog/product/gallery
Disallow: /catalog/product/gallery/*
Disallow: /checkout
Disallow: /control
Disallow: /contacts
Disallow: /customer
Disallow: /customize
Disallow: /newsletter
Disallow: /poll
Disallow: /review
Disallow: /sendfriend
Disallow: /tag
Disallow: /wishlist
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
Disallow: /*?SID=
Disallow: /*?*SID=
Disallow: /politica-de-trocas
Disallow: /categorias
Disallow: /categorias/*
Disallow: /sobre
Disallow: /contato