En crawler, også kendt som en spider eller web crawler, er et softwareprogram, der systematisk surfer på internettet eller et bestemt websted for at indeksere og indsamle oplysninger, såsom websider, billeder eller dokumenter. Crawlers bruges ofte af søgemaskiner til at opbygge og opdatere deres indekser.
Eksempel: Søgemaskinercrawlere som Googlebot gennemsøger internettet for at finde og indeksere websider og indhold. De følger links på en webside og indsamler oplysninger, som derefter bruges til at udfylde søgemaskineresultater.
