O arquivo robots.txt é ótimo para ajudar a evitar o acesso de robôs (também chamados de bots) dos mais variados motores de busca, como Google, Bing e outros. Dessa forma, ele ajuda a evitar que áreas mais sensíveis do seu site sejam indexadas em tais motores.
Esse arquivo é muito simples, podendo ser criado até mesmo através do bloco de notas e, nele, adicionamos algumas diretrizes que aceitarão ou rejeitarão o acesso a alguma área do site. Para tornar essa criação mais fácil, desenvolvemos o Facilita Robots, uma ferramenta interativa que te permitirá gerar facilmente alguns parâmetros, para atender suas necessidades.
Como usar o Facilita Robots.txt
A ferramenta é muito amigável e intuitiva, te permitindo gerar as configurações em poucos cliques. Para entender melhor como cada uma das opções disponíveis funciona, confira:
Configuração padrão:
Aqui, definiremos o comportamento que o site irá tomar para os bots de maneira geral. Isto é, essa regra será aplicada a todos os bots e em todo o seu domínio, a menos que esse bot tenha configurada para ele uma regra específica (que veremos mais à frente).
Para alternar entre permitir ou bloquear, basta clicar no botão correspondente e o a sua configuração será gerada levando sua escolha em conta nos ajustes.
Parâmetros para WordPress:
Aqui nessa área, poderemos adicionar alguns ajustes específicos para o WordPress, garantindo que as áreas mais sensíveis não sejam indexadas, como diretórios de imagens, conteúdos, admin, etc. Se você tem o WordPress em uso, essa função é fundamental.
Outros ajustes:
Aqui, podemos adicionar alguns parâmetros diferentes (um pouco mais customizados) ao nosso arquivo, são eles:
- Informar sitemap: dirá mais facilmente aos robôs qual o seu sitemap, que servirá para ajudá-los a localizar e, por consequência, indexar mais facilmente as páginas de seu site;
- Restringir acesso a um diretório: com ela, você poderá especificar um diretório que deseja que os bots não tenham acesso, ideal para áreas de seu site que queira manter em maior privacidade.
Definir comportamento dos buscadores:
Com essa opção, podemos definir o comportamento dos bots dos principais motores de busca, que são Google e Bing. Dessa forma, é possível definir como cada um deles irá se portar, permitindo ou bloqueando seus acessos destes em seu site.
Ao manter a configuração em “Manter padrão”, nenhuma regra específica será criada para esse bot, e ele seguirá o que estiver configurado como padrão na opção “Configurar padrão”.
Como utilizar o arquivo?
Depois de copiar as configurações geradas pelo Facilita, você poderá criar um novo arquivo em qualquer editor de texto, podendo ser até mesmo no bloco de notas. Cole as configurações nele e salve-o com o nome robots, usando o formato de aruqivo de texto (.txt).
Com isso pronto, agora é hora subir o arquivo em sua hospedagem, o que pode ser feito da seguinte forma:
2- Uma vez logado, localize o Gerenciador de Arquivos;
3- Agora, navegue até a pasta (ou diretório) public_html. Assim que chegar na pasta, clique no botão “Carregar”, no canto superior esquerdo.
5- Selecione o arquivo robots.txt em seu PC e aguarde o fim do upload. Ao fim do processo, o arquivo será automaticamente levado em consideração por todos os bots de motores de busca que forem acessar seu site!
Você está precisando de ajuda?
Saiba que sempre será um prazer te ajudar! Nossa equipe de suporte está disponível à você! Por isso, caso precise de auxilio, saiba que pode contar conosco! Envie-nos um ticket para que nosso time de especialista consiga lhe auxiliar da melhor maneira possível. Você precisa de ajuda de como abrir um ticket? Leia esse artigo.
Conseguimos te ajudar?
