Onze crawler

Domilista leest openbare prijsinformatie uit bij Nederlandse webwinkels, zodat bezoekers prijzen kunnen vergelijken. Deze pagina legt uit hoe onze crawler werkt en hoe je hem tegenhoudt.

Herkennen

• User-Agent: DomilistaBot/0.1 (+https://domilista.com/crawler)
• Token voor robots.txt: DomilistaBot
• Vast IP-adres: 37.97.128.33, met reverse DNS op crawler.domilista.com. We wisselen nooit van IP-adres of User-Agent.

Wat we ophalen

• robots.txt, de sitemap en productpagina's. Geen winkelwagen, account of afrekenpagina's.
• Van een productpagina gebruiken we alleen feitelijke aanbodgegevens: prijs, voorraad, levertijd, de link naar de pagina en de EAN-code. Productteksten, foto's en logo's van de winkel nemen we niet over.
• Hoogstens één verzoek per 5 seconden en hoogstens 300 pagina's per dag per winkel. Een Crawl-delay die hoger is, volgen we.

Tegenhouden

We lezen robots.txt bij elke ronde opnieuw. We volgen zowel de regels voor ons eigen token als die voor *; de strengste wint. Ons helemaal weren:

User-agent: DomilistaBot
Disallow: /

Ook een TDM-voorbehoud (TDMRep, tdm-reservation) en noai volgen we: dan halen we niets meer op. Bij een blokkade of foutmeldingen stoppen we; we proberen een blokkade nooit te omzeilen.

Opt-out

Wil je als winkel niet op Domilista staan? Mail naar crawler@domilista.com vanaf een adres op je eigen domein, of met een andere manier waaruit blijkt dat je namens de winkel spreekt. Dezelfde dag halen we alle aanbiedingen van je winkel van de site en stopt de crawler. Je hoeft geen reden te geven.

Verwerkte opt-outs staan in het opt-out-register.