MOTORES DE BUSCA OU DIRETÓRIOS?

Conforme visto, existem diferenças essenciais entre motores de busca e diretórios, o que faz com que existam
vantagens e desvantagens associadas ao uso de cada um dos tipos de ferramentas. Os diretórios têm bases de dados menores, mas que contêm informações mais relevantes... Diretórios são também mais apropriados para buscas por tópicos que sejam de interesse para um grande número de pessoas, pois é alta a probabilidade que sejam parte da árvore hierárquica; ou tópicos muito amplos os quais retornariam um número muito elevado de respostas em um motor de busca. Já os motores de busca permitem a localização de qualquer tipo de informação, por mais obscura ou específica, desde que exista na Internet e esteja indexada. Mas como a sua base de dados é muito grande, constituída de milhões de páginas, a chance de se recuperar um grande número de resultados não relacionados com os tópicos pesquisados é também maior. Ou seja, obtém-se menor precisão nos resultados da busca. Por outro lado, paradoxalmente, apesar de terem maiores bases de dados, as aranhas dos motores de busca podem não indexar alguns tipos páginas que poderiam ser incluídas nos diretórios (como, por exemplo, as informações que fazem parte da Web invisível).

Os motores de busca procuram compensar o excesso de itens recuperados com seus mecanismos internos de
ordenação por relevância, mostrando em primeiro lugar os que, de acordo com seus critérios, deveriam ser os mais
importantes... As descrições dos motores de busca, por serem elaboradas automaticamente, podem não conter informações adequadas para facilitar a decisão do usuário. Os robôs não podem, por exemplo, identificar o
tema central ou gênero literário de um documento e podem não detectar elementos importantes das páginas como
gráficos ou imagens, assim como não podem extrair de um documento dados como o seu autor e sua afiliação
institucional ou mesmo a data de publicação.

Deve-se ter em mente, também, que, ao se pesquisar em um diretório, a consulta é feita apenas no título, categoria
e uma breve descrição dos documentos. Já os motores de busca, em sua maioria, proporcionam uma pesquisa no
texto integral dos documentos. Ou seja, o termo de busca poderá ser encontrado onde quer que seja que ele apareça no documento.

Outra diferença importante entre os motores de busca e diretórios é a rapidez com que a informação é incluída.
Como nos diretórios, a inclusão de uma informação exige o trabalho humano de avaliação e seleção de recursos,
uma página submetida a eles pode demorar pelo menos um mês para ser incluída. No caso dos motores de busca,
que usam indexação automática, este tempo costuma ser mais rápido, e suas bases de dados contêm informações
mais recentes.

Deve-se observar que, hoje em dia, a distinção entre motores de busca e diretórios já não é tão nítida e que a
maioria deles pode ser considerada ferramenta híbrida.Os diretórios permitem buscas por palavras-chave em suas
categorias, e os motores de busca, por sua vez, têm incluído diretórios em suas páginas principais...

(...)

METAMOTORES

Para se obterem resultados melhores em uma pesquisa de informação na Web, é recomendável que se utilizem várias ferramentas, já que, segundo alguns estudos, há pouca superposição na informação recuperada por motores diferentes. Para facilitar este processo, foram criados os metamotores (também chamado (continua...) Citação

MOTORES DE BUSCA

Ao contrário dos diretórios, os motores de busca não organizam hierarquicamente as páginas que colecionam.
Preocupam-se menos com a seletividade que com a abrangência de suas bases de dados, procurando colecionar
o maior número possível de recursos através do uso de softwares chamados robôs. Como suas bases de dados são extremamente grandes, podendo alcançar centenas de milhões de itens, permitem aos usuários localizar os itens desejados mediante buscas por palavras-chave, ou, às vezes, em linguagem natural.

Os motores de busca começaram a surgir quando o número de recursos na Web adquiriu proporções tais que impediam a sua coleta por meios manuais e a busca apenas através da navegação. seguem os links encontrados nesta página inicial. Usam algoritmos próprios para determinar que links devem seguir. Por exemplo, alguns recuperam os documentos da hierarquia superior de um grande número de servidores (abordagem breadth-first), enquanto outros capturam todos os documentos em links de um mesmo servidor (abordagem depth-first )...

ALIWEB (Archie-Like Indexing on the Web) e Harvest são exemplos das primeiras tentativas de criar motores de
busca por palavras-chave, e utilizavam tecnologias diferentes das atuais. O primeiro dos motores baseados
em robôs foi o WebCrawler, lançado em abril de 1994. Todos os motores atuais utilizam o método de robôs sendo
formados por quatro componentes: um robô, que localiza e busca documentos na Web; um indexador, que extrai a
informação dos documentos e constrói a base de dados; o motor de busca propriamente dito; a interface, que é
utilizada pelos usuários.

Os robôs, também chamados de aranhas (spiders), agentes, viajantes (wanderers), rastejadores (crawlers) ou vermes (worms), são programas que o computador hospedeiro da ferramenta de busca lança regularmente na Internet, na tentativa de obter dados sobre o maior número possível de documentos para integrá-los, posteriormente, à sua base de dados. Existem várias estratégias que os robôs podem utilizar para se locomoverem de um documento a outro, utilizando-se dos links existentes nas páginas da Web. Geralmente, eles iniciam a busca a partir de sites conhecidos, especialmente daqueles que possuem muitos links, recuperam a sua home page e, sistematicamente, seguem os links encontrados nesta página inicial. Usam algoritmos próprios para determinar que links devem seguir. Por exemplo, alguns recuperam os documentos da hierarquia superior de um grande número de servidores (abordagem breadth-first), enquanto outros capturam todos os documentos em links de um mesmo servidor (abordagem depth-first ).

(...)

Os documentos encontrados pelos robôs são encaminhados aos indexadores que extraem a informação
das páginas HTML e as armazenam em uma base de dados. Esta base de dados do motor de busca consiste de
informações julgadas importantes como os URLs ou endereços das páginas HTML, títulos, resumos, tamanho
e as palavras contidas nos documentos.

A interface, normalmente uma página Web, é utilizada pelos usuários para efetuar a pesquisa na base de dados.
Fornece meios para que o usuário formule a sua consulta, que é recebida e transmitida para o software de busca ou motor de busca propriamente dito. Este é um programa que localiza, entre os milhões de itens na base de dados, aqueles que devem constituir a resposta. O programa também é responsável pela ordenação dos resultado (continua...) Citação

Existem dois tipos de ferramentas de busca na Web os motores de busca e os diretórios... Citação