Voor website-eigenaren
ValidShopBot
ValidShopBot is de crawler achter ValidShop. De bot bezoekt een website alleen als iemand ons vraagt die webshop te controleren, en leest alleen openbare pagina's. Hij logt niet in, verstuurt geen formulieren, legt geen producten in een winkelwagen en crawlt niet de hele site.
Wat de bot opvraagt
- De homepage van de webshop die een bezoeker ons liet controleren
- robots.txt en sitemap.xml
- De openbare pagina's over retourneren, verzending, privacy, voorwaarden, contact en over ons waar de homepage naar linkt
- Een TLS-handshake om het SSL-certificaat te lezen en een openbare opzoeking van de domeinregistratie (RDAP)
Een check doet hooguit enkele tientallen verzoeken en het resultaat wordt 24 uur hergebruikt.
Hoe je hem herkent
Elk verzoek meldt zich met deze user agent:
ValidShopBot/1.0 (+https://validshop.org/bot)Hoe je hem blokkeert
ValidShopBot volgt je robots.txt. Wil je niet dat je webshop wordt gecontroleerd, voeg dan dit toe aan https://jouw-webshop.nl/robots.txt en we scannen je niet:
User-agent: ValidShopBot
Disallow: /Botbescherming en firewalls
We proberen botbescherming zoals Cloudflare niet te omzeilen. Toont je site ons een controlepagina, dan melden we dat we de site niet konden lezen en publiceren we geen score op basis van die pagina. Wil je ValidShopBot doorlaten, sta dan de user agent hierboven toe in je firewallregels.