Lipperhey spider
Om erachter te komen hoe websites in elkaar zitten, welke techniek gebruikt is en wat de onderwerpen zijn, downloaden en analyseren onze Lipperhey spiders dagelijks duizenden websites.
De Lipperhey spider is een speciaal ontwikkeld computerprogramma en werkt als volgt:
- bij het opstarten wordt er een verbinding gemaakt met de Lipperhey server
- de spider ontvangt instellingen en een lijst met te analyseren websites
- de spider analyseert de opgegeven website
- de resultaten worden door de spider aan Lipperhey gerapporteerd
Lipperhey spider User Agent
De Lipperhey spiders identificeren zich met een speciale 'user agent'. Hierdoor zijn onze spiders als robot zichtbaar in statistiekenprogramma's. Onze spiders zijn te herkennen aan de onderstaande user agent:
Mozilla/5.0 (compatible; Lipperhey Spider; http://www.lipperhey.com/)
Robot Exclusion Protocol
Lipperhey houdt zich aan het robot exclusion protocol. Het robot exclusion protocol is bedoeld om delen van een website af te schermen voor (bepaalde) spiders. Het robot exclusion protocol wordt met name gebruikt om te voorkomen dat een website ongevraagd wordt gedownload.
Het robot exclusion protocol maakt gebruik van het robots.txt-bestand. Dit bestand moet in de rootdirectory van een website worden gezet. Als alternatief voor dit bestand kan in pagina ook het META-attribuut robots worden opgenomen.
<meta name="robots" content="index,nofollow" />
Met het META-attribuut robots kan een robot de instructie krijgen om een bepaalde webpagina wel of niet te indexeren en wel of niet de links te volgen naar een andere webpagina.
Snelheid en belasting
Om de belasting van een website zo laag mogelijk te houden vraagt een Lipperhey spider maximaal elke 300 ms een pagina op. Een spider downloadt niet meer dan 250 pagina's per website. Om bandbreedte te besparen worden afbeeldingen en bestanden genegeerd. Pagina's groter dan 147 Kb worden niet gelezen.
