{"id":1718,"date":"2019-07-04T20:40:00","date_gmt":"2019-07-04T23:40:00","guid":{"rendered":"https:\/\/rbtechnologysolutions.com.br\/googlebot-entenda-como-funciona-o-robo-do-google\/"},"modified":"2023-05-30T00:40:16","modified_gmt":"2023-05-30T03:40:16","slug":"googlebot-entenda-como-funciona-o-robo-do-google","status":"publish","type":"post","link":"https:\/\/rbtechnologysolutions.com.br\/en\/googlebot-entenda-como-funciona-o-robo-do-google\/","title":{"rendered":"Googlebot, entenda como funciona o rob\u00f4 do Google"},"content":{"rendered":"
<\/div>\n
<\/div>\n

Voc\u00ea j\u00e1 se perguntou como o Google conhece tantos sites para retornar milhares (ou at\u00e9 mesmo milh\u00f5es) de p\u00e1ginas nos resultados das nossas pesquisas no buscador?<\/p>\n

Apesar de um pouco extensa, a resposta pode ser resumida em uma palavra: Googlebot.<\/p>\n

Caso nunca tenha ouvido falar no Googlebot, n\u00e3o se preocupe. Neste post, vamos entender o que \u00e9 esse recurso t\u00e3o particular do Google, como ele funciona e qual \u00e9 o seu impacto para o site da sua empresa.<\/p>\n

Acompanhe!<\/p>\n

O que \u00e9 o Googlebot?<\/h2>\n

O Googlebot nada mais \u00e9 do que um programa de computador desenvolvido pelo Google com a finalidade de rastrear as p\u00e1ginas p\u00fablicas de toda a web.<\/p>\n

Tamb\u00e9m chamado de crawler, spider ou bot (vers\u00e3o encurtada de robot), esse software navega de p\u00e1gina em p\u00e1gina por meio dos links que encontra em busca de novas webpages ou conte\u00fados atualizados.<\/p>\n

Todos eles ser\u00e3o adicionados ao \u00edndice do Google, um processo conhecido como indexa\u00e7\u00e3o.<\/p>\n

O \u00edndice funciona como um banco de dados do mecanismo de busca.<\/p>\n

\u00c9 l\u00e1 que ficam armazenadas as informa\u00e7\u00f5es que o Googlebot conseguiu examinar nas p\u00e1ginas pelas quais passou, como a URL, o t\u00edtulo e o conte\u00fado em formato de texto.<\/p>\n

Para conseguir inspecionar as bilh\u00f5es de p\u00e1ginas existentes na internet, o Google precisa manter diversas inst\u00e2ncias desses bots funcionando simultaneamente em um conjunto de computadores.<\/p>\n

Vale lembrar que os outros buscadores t\u00eam os seus pr\u00f3prios bots. Por isso, usamos Googlebot para nos referirmos ao crawler espec\u00edfico do Google.<\/p>\n

Como funciona o processo de rastreamento?<\/h2>\n

O processo de rastreamento do Googlebot precisa ter um ponto de partida.<\/p>\n

O programa utiliza uma lista de URLs j\u00e1 definida anteriormente com base em rastreamentos j\u00e1 realizados.<\/p>\n

Essa lista tamb\u00e9m \u00e9 atualizada com a ajuda dos pr\u00f3prios webmasters, que podem enviar seus sitemaps diretamente pelo Search Console (uma ferramenta gratuita com diversos recursos que permitem analisar a situa\u00e7\u00e3o do seu site no Google).<\/p>\n

\u00c0 medida que o Googlebot visita os sites dessa lista, ele detecta os links presentes em cada p\u00e1gina e os inclui na fila de p\u00e1ginas a rastrear.<\/p>\n

Conforme ele encontra conte\u00fados novos, mudan\u00e7as nas p\u00e1ginas e links quebrados (quando um link n\u00e3o direciona para uma p\u00e1gina v\u00e1lida e exibe o c\u00f3digo de erro 404), envia essas informa\u00e7\u00f5es ao \u00edndice para que ele seja atualizado.<\/p>\n

Qual \u00e9 o impacto do Googlebot no seu site?<\/h2>\n

Agora que voc\u00ea entende como funciona o processo do Google para fazer o rastreamento e a indexa\u00e7\u00e3o de p\u00e1ginas, fica mais f\u00e1cil compreender de que modo o Googlebot impacta o seu site.<\/p>\n

O Google domina o mercado de buscas, contando com mais de 90% de participa\u00e7\u00e3o \u2014 o que faz dele o buscador mais utilizado no mundo.<\/p>\n

Tamanha quantidade de usu\u00e1rios explica o fato de esse mecanismo de busca ser uma excelente fonte de tr\u00e1fego para muitos sites (e por que n\u00e3o para o seu?).<\/p>\n

Contudo, o requisito mais b\u00e1sico para que isso ocorra \u00e9 que o Google conhe\u00e7a o seu site.<\/p>\n

Ou seja, ele precisa estar presente no \u00edndice para ter a possibilidade de aparecer no SERP, sigla em ingl\u00eas para Search Engine Results Page ou p\u00e1gina de resultados das pesquisas.<\/p>\n

Quanto mais relevante for o conte\u00fado das suas p\u00e1ginas, maiores ser\u00e3o as chances de elas aparecerem com um bom posicionamento nas pesquisas e atrair a aten\u00e7\u00e3o dos usu\u00e1rios.<\/p>\n

Mas isso j\u00e1 entra no assunto de Search Engine Optimization (SEO)\u2026<\/p>\n

Sendo assim, na pr\u00f3xima se\u00e7\u00e3o, vamos focar em maneiras de garantir que o Googlebot consiga visitar as suas p\u00e1ginas.<\/p>\n

Como saber se o Googlebot consegue rastrear o seu site?<\/h2>\n

Para que uma p\u00e1gina seja rastre\u00e1vel pelo crawler, \u00e9 necess\u00e1rio constru\u00ed-la com os padr\u00f5es de HTML e n\u00e3o mant\u00ea-la com acesso p\u00fablica, j\u00e1 que o bot n\u00e3o consegue transpor um sistema de acesso protegido por senha.<\/p>\n

Sites criados em Flash, por exemplo, n\u00e3o s\u00e3o rastre\u00e1veis pelo Googlebot.<\/p>\n

Inclusive, o uso dessa tecnologia j\u00e1 \u00e9 considerado ultrapassado no mercado de busca e em outras \u00e1reas.<\/p>\n

Superados esses requisitos, um cuidado que \u00e9 preciso ter \u00e9 verificar o robots.txt.<\/p>\n

Trata-se de um arquivo que fica na raiz do site e define as p\u00e1ginas ou diret\u00f3rios aos quais os bots podem ter acesso ou n\u00e3o.<\/p>\n

Essa verifica\u00e7\u00e3o \u00e9 importante porque o profissional que desenvolveu o site pode ter configurado para que o Googlebot e outros bots n\u00e3o fa\u00e7am o rastreamento das p\u00e1ginas enquanto elas estiverem em fase de testes.<\/p>\n

Por algum equ\u00edvoco ou esquecimento, acontece de o robots.txt permanecer com essa restri\u00e7\u00e3o, impedindo que o Google e outros buscadores indexem as webpages.<\/p>\n

E uma das maneiras mais simples de fazer essa verifica\u00e7\u00e3o \u00e9 por meio do Google Search Console, que citamos anteriormente.<\/p>\n

Dentro da ferramenta, acesse a op\u00e7\u00e3o \u201cRastreamento\u201d e depois \u201cErros de rastreamento\u201d.<\/p>\n

Na aba \u201cBusca de robots.txt\u201d, \u00e9 poss\u00edvel visualizar se o Googlebot teve algum problema para rastrear o seu site nos \u00faltimos 90 dias.<\/p>\n

Ali\u00e1s, dentro da op\u00e7\u00e3o \u201cRastreamento\u201d tamb\u00e9m existem as \u201cEstat\u00edsticas de rastreamento\u201d.<\/p>\n

Com esse recurso, voc\u00ea consegue ver informa\u00e7\u00f5es sobre a atividade do Googlebot dentro do seu site, como o n\u00famero de p\u00e1ginas rastreadas por dia e o tempo que ele leva para fazer o download de uma p\u00e1gina.<\/p>\n

Tamb\u00e9m existe a op\u00e7\u00e3o de \u201cBuscar como o Google\u201d e analisar como o buscador processa as p\u00e1ginas do seu website.<\/p>\n

Basta inserir a URL e clicar em \u201cBuscar\u201d. Depois, \u00e9 s\u00f3 conferir os detalhes do teste para garantir que tudo est\u00e1 funcionando corretamente.<\/p>\n

Por fim, conclu\u00edmos que o Googlebot \u00e9 parte essencial da inclus\u00e3o do seu site no Google e a frequente atualiza\u00e7\u00e3o do \u00edndice conforme voc\u00ea renova ou adiciona novos conte\u00fados.<\/p>\n

Se por algum motivo voc\u00ea bloque\u00e1-lo ou dificultar o seu trabalho de rastreamento, poder\u00e1 perder uma das melhores fontes de tr\u00e1fego org\u00e2nico que existem e, possivelmente, deixar passar \u00f3timas oportunidades com usu\u00e1rios com o potencial de se tornarem clientes.<\/p>\n

Se voc\u00ea gostou deste post, continue se informando com nossos posts sobre SEO<\/a> e o funcionamento dos mecanismos de busca.<\/p>","protected":false},"excerpt":{"rendered":"

Voc\u00ea j\u00e1 se perguntou como o Google conhece tantos sites para retornar milhares (ou at\u00e9 mesmo milh\u00f5es) de p\u00e1ginas nos resultados das nossas pesquisas no buscador? Apesar de um pouco extensa, a resposta pode ser resumida em uma palavra: Googlebot. Caso nunca tenha ouvido falar no Googlebot, n\u00e3o se preocupe. Neste post, vamos entender o […]<\/p>\n","protected":false},"author":1,"featured_media":2922,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_joinchat":[],"footnotes":""},"categories":[26,27,34],"tags":[],"class_list":["post-1718","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-otimizacao-de-sites","category-primeira-pagina-do-google","category-seo"],"acf":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/posts\/1718","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/comments?post=1718"}],"version-history":[{"count":1,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/posts\/1718\/revisions"}],"predecessor-version":[{"id":2923,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/posts\/1718\/revisions\/2923"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/media\/2922"}],"wp:attachment":[{"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/media?parent=1718"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/categories?post=1718"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rbtechnologysolutions.com.br\/en\/wp-json\/wp\/v2\/tags?post=1718"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}