Vous êtes ici : Accueil » INTERNET » C’est quoi un Crawler ?

C’est quoi un Crawler ?


agrandir

Un crawler est un logiciel robot en charge d’explorer les sites web et les contenus des publications sur internet afin de les reférencer dans les moteurs de recherches. Un crawler est aussi désigné par les termes de web crawler, web spider, robot d’indexation, araignée du Web.

Il a pour fonction de collecter les ressources, comme des images, des vidéos, des documents, des pages web. Ces contenus seront ensuite analysés puis indexés par un moteur de recherche, soit par soumission de requête, soit à partir d’une liste ou suivant un lien organique. Sur le principe, un robot d’indexation on connais par exemple Googlebot qui est le robot logiciel pour le Moteur de recherches Google, chaque Moteur de recherche a son propre Crawler comme Bing le moteur de recherche de Microsoft par exemple.

  • Rechercher

    VOIR AUSSI