Un robot d'exploration, également appelé araignée ou robot d'exploration Web, est un logiciel qui parcourt systématiquement Internet ou un site Web spécifique pour indexer et recueillir des informations, telles que des pages Web, des images ou des documents. Les robots d'exploration sont couramment utilisés par les moteurs de recherche pour créer et mettre à jour leurs index.
Exemple : les robots des moteurs de recherche tels que Googlebot explorent le Web pour découvrir et indexer les pages Web et le contenu. Ils suivent les liens d'une page Web et collectent des informations, qui sont ensuite utilisées pour renseigner les résultats des moteurs de recherche.
