Impedindo o Google de rastrear páginas específicas

Como muitos de vocês sabem, os mecanismos de busca utilizam-se de robôs de busca — também conhecidos como webcrawlers — para percorrer toda a web, indexando quase todo o conteúdo disponível. Diante disto, foi criado um padrão onde cada website pode incluir no seu diretório raiz um arquivo chamado robots.txt que diz aos robôs quais … Continue lendo Impedindo o Google de rastrear páginas específicas