J’ai acheté une série de noms de domaines. Certains ont été activés, la plupart non. Je me suis fait un p’tit truc pour pour étudier les bots, crawler et autres spiders que les outils de recherche utilisent pour remplir leurs bases de données. Rappelez-vous, on fait dans les statistiques Web après tout. Il y a deux constats frappants :
Google knows everything
Google est passé sur mes sites actifs plusieurs fois. Mais Google est aussi passé sur mes sites inactifs, c’est-à-dire qui n’ont aucun liens vers eux et dont je n’ai pas soumis l’URL. Merde, comment il fait ça?
Personne n’est au courant de ces domaines, sauf GoDaddy. Je me dis que c’est peut-être des services de Whois publics, mais ils ne doivent pas être a jour aussi rapidement. Et de toute façon, la plupart ne listent pas les domaines. Il faut les rechercher. Ce que Google ne fait pas. Enfin, je pense.
Google is alone on the search planet
Mon fichier de logs de crawlers est plein. Plein des traces des bots de Google. Les autres? Rien. Niet. Nada. Pas de Yahoo! ou de MSN. Ha non, MSN est là. Mais timide parmi tout ce Google. Comment espèrent-ils devenir une alternative à Google s’ils ne sont pas aussi agressifs dans l’indexation de nouveau contenu?
Bref, c’est surprenant oui et non. On connaît Google pour la qualité de ses produits et ses innovations. Ils ne sont pas l’outil de recherche #1 pour rien. Mais qu’ils découvrent des trucs invisible au commun des mortels, it’s spooky comme ils disent.
