Met Screaming Frog ontdek je in minuten waar je website SEO-kansen laat liggen. In deze gids ga je van installatie naar je eerste inzichten, zonder ruis. Zo vind je snel technische fouten, contentgaten en optimalisaties die impact maken.
Kort stappenplan:
- Installeer de SEO Spider en zet de basis goed.
- Baken de scope af: start-URL, subdomeinen, uitsluitingen.
- Start de crawl met een veilige snelheid voor je server.
- Filter de output op statuscodes, redirects en canonicals.
- Controleer titels, meta, duplicaten en hreflang.
Wil je weten wat dit voor jouw website betekent?
Leg via de contactpagina kort je situatie uit. Dan wordt snel duidelijk welke kansen, keuzes of vervolgstappen voor jou het meest relevant zijn.
Wat is Screaming frog en wanneer gebruik je het
Screaming Frog is een desktoptool die je website op dezelfde manier doorloopt als een zoekmachinebot, zodat je razendsnel ziet wat er technisch en on-page gebeurt. Je haalt in één crawl inzichten op over statuscodes en kapotte links, redirects en ketens, canonicals (de voorkeurs-URL), titels en meta descriptions, headings, afbeeldingen zonder alt-tekst, hreflang voor taal- en regiaversies, pagination en interne linkstructuur. Je gebruikt het wanneer je een technische SEO-audit doet, vlak voor en na een migratie of redesign, om regressies te voorkomen, of als je structureel issues wilt opsporen zoals dubbele content, dunne pagina’s, trage templates of orphan pages die geen interne links krijgen.
Het is ook ideaal voor het bouwen of valideren van XML-sitemaps, het testen van robots.txt en noindex-regels, en het controleren of analytics- en structured-data-tags overal staan. Met de betaalde licentie ga je verder: je rendert JavaScript om SPA’s te crawlen, koppelt data uit Google Analytics, Search Console en PageSpeed, plant periodieke crawls in en doet custom extraction met CSS-selectors, XPath of regex om precies die velden te scrapen die je nodig hebt. Voor kleine tot middelgrote sites werkt de gratis versie prima tot 500 URL’s; voor grotere sites of diepere analyses kies je de licentie en stel je crawl-snelheid en limieten slim in zodat je server niet onnodig wordt belast.
Wat de Seo spider doet in simpele woorden
De SEO Spider van Screaming Frog is in simpele woorden een slim robotje dat je site naloopt zoals een zoekmachine dat doet. Je geeft één start-URL, de tool volgt alle interne links en verzamelt per pagina basisinfo: titels, meta descriptions, headings, statuscodes (zoals 200 of 404), canonicals (de voorkeurspagina), noindex-tags en meer. Onderweg markeert hij problemen zoals kapotte links, te lange of dubbele titels, ontbrekende alt-teksten bij afbeeldingen, zware bestanden en redirectketens.
Je krijgt daarmee een compleet overzicht van je structuur en vindt snel waar je SEO-lekken zitten. Alles is te filteren en te exporteren naar CSV of Excel, zodat je meteen lijstjes met actiepunten maakt. Gebruik je JavaScript-rendering, dan checkt hij ook content die via scripts wordt geladen.
Wanneer een crawl de meeste waarde geeft
Een crawl levert de meeste waarde op als je aan de voor- en achterkant van grote veranderingen zit. Voor een migratie naar een nieuw domein, HTTPS, een ander CMS of nieuwe templates gebruik je Screaming Frog om een nulmeting te maken, URL-mapping te controleren en te checken of canonicals, noindex en robots-regels kloppen. Direct na livegang valideer je of redirects werken, of er 404’s of redirectketens zijn, en of hreflang, structured data en analytics-tags overal staan.
Ook bij grote contentreleases of herstructureringen helpt een crawl om interne links, klikdiepte en duplicaten snel te spotten. Plan daarnaast periodieke crawls (wekelijks of maandelijks) om regressies op te pikken, zoals nieuwe kapotte links of verdwenen meta-tags. Werk je met JavaScript-rendering of filters, dan voorkom je met een crawl onzichtbare content en crawl traps.
Voordelen ten opzichte van cloudcrawlers
Screaming Frog draait lokaal op je eigen machine, waardoor je volledige controle hebt over snelheid, threads en verzoeken, en je niet vastzit aan crawl-wachtrijen of projectlimieten. Je crawlt moeiteloos stagingomgevingen, intranets of sites achter VPN of basic auth zonder data te delen met een externe dienst. Alle gegevens staan meteen bij jou, zodat je filters, exports en custom extraction realtime uitvoert en snel iteraties maakt.
Je stelt user-agents, headers, cookies en robotsregels precies in, test redirects, canonicals en noindex één op één, en rendert JavaScript om de situatie van echte bezoekers te benaderen. De kosten zijn voorspelbaar met een vaste licentie in plaats van per-URL, terwijl je serverbelasting zelf te sturen is met throttling en pauzeren of hervatten wanneer het jou uitkomt.
Wil je weten wat bij Screaming frog nu het slimst is?
Krijg eerst scherp welke route past bij jouw situatie, zodat je niet investeert in de verkeerde vervolgstap.
Snel aan de slag: installatie, instellingen en je eerste crawl
Download en installeer Screaming Frog voor Windows, macOS of Linux, start de app en kies of je met de gratis versie (tot 500 URL’s) of met een licentie werkt. Voor je eerste crawl vul je je start-URL in en zet je in Configuratie de basis goed: kies Spider-modus voor een hele site of List-modus als je een lijst met URL’s wilt controleren, bepaal of je robots.txt volgt, en stel het aantal threads en de crawl-snelheid in zodat je server niet onnodig wordt belast. Werk je site met JavaScript, schakel dan rendering in om content die via scripts geladen wordt mee te nemen.
Beperk desnoods de scope door subdomeinen of parameters uit te sluiten, en voeg eventueel inloggegevens, cookies of een aangepaste user-agent toe als dat nodig is. Start de crawl, volg de voortgang live en gebruik filters om snel 404’s, redirectketens, ontbrekende titels of zware afbeeldingen te spotten. Sla je project op, exporteer relevante tabellen naar CSV of Excel, en bewaar een crawlbestand zodat je later kunt vergelijken of issues zijn opgelost.
Installeren en basisinstellingen
Je downloadt Screaming Frog voor Windows, macOS of Linux, installeert het en start de app. Werk je zonder licentie, dan kun je tot 500 URL’s crawlen; met een licentie voer je je sleutel in en ontgrendel je alle functies. Ga naar Configuratie en zet de basis goed: kies Spider-modus voor een hele site of List-modus als je een lijst met URL’s wilt controleren, volg robots.txt (het bestand met crawlregels) en stel de user-agent in (de naam waarmee je crawler zich meldt).
Bepaal snelheid en aantal threads, of gebruik throttle om je server te ontzien. Schakel JavaScript-rendering in als je site content via scripts laadt, sluit onnodige parameters of subdomeinen uit, en sla je instellingen op als standaard.
Je site crawlen: modus, snelheid en serverbelasting
Kies eerst de juiste modus: in Spider-modus laat je Screaming Frog je hele site volgen vanaf een start-URL, terwijl je in List-modus een eigen lijst met URL’s controleert voor gerichte checks. Daarna bepaal je hoe snel je gaat: stel het aantal gelijktijdige threads en het maximum aantal URL’s per seconde in, en gebruik auto-throttle of een crawl-delay om piekbelasting te voorkomen.
Pauzeren en hervatten helpt als je merkt dat de server traag wordt of als je tijdens daluren wilt crawlen. Render je JavaScript, verlaag dan bewust de snelheid omdat elke pagina zwaarder is. Beperk de scope met include/exclude-regels, respecteer robots.txt en check response-tijden, 5xx-fouten en 429-rate limits om je crawl soepel én vriendelijk voor je server te houden.
Data exporteren en bewaren
Met Screaming Frog exporteer je resultaten direct uit elk tabblad of via Bulk Export naar CSV of XLSX, inclusief inlinks en outlinks, statuscodes, redirectketens en overzichtsrapporten. Je kiest of je alleen gefilterde rijen of alle data meeneemt en stelt kolommen zo in dat je zonder extra schoonmaakwerk aan de slag kunt. Wil je later verder, sla dan de crawl op als .seospider of werk in Database Storage met projecten, zodat je grote crawls veilig bewaart en zonder dataverlies opnieuw kunt openen.
Je kunt ook geplande crawls met automatische exports naar een map instellen, zodat je periodiek verse bestanden krijgt. Door versies te dateren en consistent te bewaren kun je met Crawl Comparison veranderingen meten, regressies vinden en aantonen wat er sinds de vorige audit is opgelost.
Belangrijkste inzichten die je uit een crawl haalt
Een crawl met Screaming Frog laat razendsnel zien waar je site technisch en inhoudelijk kan verbeteren. Dit zijn de inzichten die je het vaakst oplevert.
- Techniek: statuscodes en kapotte links opsporen (4xx/5xx), redirectketens en -lussen inkorten, en canonicals controleren zodat er geen dubbele of concurrerende URL’s ranken. Je ziet direct welke pagina’s noindex hebben, door robots.txt of X-Robots-Tag geblokkeerd zijn, of juist onbedoeld indexeerbaar zijn.
- Content en on-page: ontbrekende, te lange/korte of dubbele titles, meta descriptions en H1’s; afbeeldingen zonder alt-tekst; contentproblemen zoals near-duplicates en dunne pagina’s; en een volledige hreflang-check met ontbrekende retourtags en missende taal-/landparen.
- Interne links: inzicht in klikdiepte, orphan pages (niet gelinkte URL’s) en waar belangrijke pagina’s te diep liggen. Je vindt kansen om interne links te versterken en linkwaarde beter te verdelen, zodat cruciale content sneller wordt gevonden en beter kan ranken.
Met deze inzichten prioriteer je snel je backlog en pak je de grootste SEO-winst eerst. Zo wordt elke volgende crawl meetbaar effectiever.
Techniek: statuscodes, redirects en canonicals
Met Screaming Frog zie je razendsnel of je technische basis klopt. In Response Codes check je welke URL’s 200 teruggeven en welke 3xx, 4xx of 5xx opleveren, zodat je kapotte links en serverfouten direct kunt fixen. Voor omleidingen gebruik je het Redirect Chains-rapport om ketens en loops te vinden en terug te brengen naar één schone 301 naar een 200-eindpunt. Vergelijk ook varianten zoals http/https, www/non-www en trailing slash om inconsistenties op te ruimen.
In het Canonicals-tab zie je of elke pagina een logische, zelfverwijzende canonical heeft, of juist naar een andere voorkeurs-URL wijst. Spot conflicten zoals een canonical naar een niet-indexeerbare pagina of een canonical die niet aansluit op paginatie. Met Inlinks vind je snel de herkomst van fouten en los je ze gericht op.
Content en on-page: titels, meta, duplicaten en HREFLANG
Met Screaming Frog zie je per pagina meteen of je on-page basis klopt. In Page Titles en Meta Description check je of velden ontbreken, dubbel zijn of te lang/te kort zijn; je ziet ook de pixelbreedte, zodat je snippets niet afkappen. In H1/H2 vind je ontbrekende of dubbele headings en templatefouten. Voor duplicaten gebruik je de Content- en Duplicates-filters: exact dezelfde inhoud wordt via een hash herkend, en met Near Duplicates (licentie) spot je sterk lijkende teksten die kannibalisatie kunnen veroorzaken.
Het hreflang-rapport controleert taal- en regiacodes (ISO 639-1 en 3166-1), ontbrekende return-tags, verkeerde doel-URL’s en conflicten met canonicals. Met inlinks en exports maak je snel een gerichte fixlijst per template of sectie.
Interne links, klikdiepte en orphan pages
Screaming Frog laat je precies zien hoe je interne linknetwerk werkt en waar je kansen laat liggen. In de kolommen Inlinks en Outlinks zie je per URL hoeveel interne verwijzingen er zijn en met welke anchorteksten, zodat je belangrijke pagina’s gericht extra interne autoriteit kunt geven. De Crawl Depth-kolom toont hoeveel klikken een pagina van je startpunt verwijderd is; cruciale URL’s wil je zo dicht mogelijk bij de homepage houden door ze in navigatie, categorieën of breadcrumbs op te nemen.
Orphan pages zijn pagina’s zonder interne links naar zich toe en dus onvindbaar voor zowel gebruikers als crawlers. Die spoor je op via de Orphan-rapporten door XML-sitemaps, Search Console of Analytics te koppelen of door een losse URL-lijst te crawlen en te vergelijken met de gevonden structuur.
Geavanceerde functies en praktische workflows
Met de geavanceerde functies van Screaming Frog bouw je moeiteloos een schaalbare SEO-workflow. Met Custom Extraction haal je precies de velden op die je nodig hebt via CSS-selectors, XPath of regex, ideaal om schema.org-data, prijzen of noindex-regels per template te controleren. Koppel GA4, Search Console en PageSpeed Insights zodat je per URL engagement, klikken, vertoningen en Core Web Vitals kunt zien en technische issues kunt prioriteren op echte impact. Dankzij JavaScript-rendering (Chromium) crawlt je SPA of dynamische content zoals een zoekmachine, terwijl je met include/exclude-regels en parameterbeperkingen ruis wegfiltert.
In List-modus valideer je URL-mappings bij een migratie en test je redirects en canonicals één op één. Met Scheduling draai je periodieke, headless crawls met automatische exports naar CSV of Google Sheets, zodat je team altijd verse actielijsten heeft. Gebruik Crawl Comparison om verschillen tussen twee crawls te spotten en regressies direct te vangen. Visualisaties van de sitestructuur helpen je diepe of zwakke secties te vinden en interne links te versterken. Zo vertaal je ruwe crawldata naar heldere prioriteiten en een vaste verbetercyclus die je site steeds sneller, schoner en beter vindbaar maakt.
Custom extraction met CSS-selectors, XPATH en REGEX
Onderstaande vergelijking helpt je snel de juiste methodiek te kiezen voor Custom Extraction in Screaming Frog: CSS-selectors, XPath of Regex – met typische use-cases, sterke punten en concrete voorbeelden.
| Methode | Beste inzet in Screaming Frog | Sterke punten | Voorbeeld (selector/patroon -> resultaat) |
|---|---|---|---|
| CSS-selectors | Snel elementen met klassen/IDs of simpele attributen pakken (titels, meta-tags, prijzen, breadcrumbs). | Leesbaar, kort; robuust wanneer markup consistente classes/IDs heeft; ideaal voor attribuutextractie. | meta[name=’description’] -> attribuut: content (meta description); .product-price -> tekst (prijs) |
| XPath | Complexe of inconsistente DOM-structuren; selecties op positie, hiërarchie of tekstnodes; JSON-LD uit |
Met Custom Extraction haal je precies die velden uit je pagina’s die je standaardrapporten niet tonen. In Configuratie voeg je extracties toe en kies je per veld voor CSS-selectors, XPath of regex. Met CSS-selectors pak je snel elementen en attributen zoals meta[name=”robots”], link[rel=”canonical”] of og:-tags, handig voor templates met voorspelbare klassen. XPath is sterker voor complexe, geneste structuren, JSON-LD in script-tags of hreflang-links met meerdere attributen.
Regex gebruik je om waarden uit tekst te trekken of te normaliseren, bijvoorbeeld prijzen, ID’s of parameters in URL’s. Werk je site met JavaScript, kies dan Rendered HTML als bron zodat dynamische content wordt meegenomen. Test je selectors direct, draai de crawl en exporteer resultaten; lege of afwijkende waarden wijzen je feilloos op ontbrekende tags en inconsistenties per template.
Integraties met Google analytics, Search console en Pagespeed
Met de integraties van Screaming Frog verrijk je je crawl met echte prestatie- en gebruikersdata. Koppel GA4 om per landingspagina sessies, gebruikers en engagement te zien, zodat je technische issues kunt prioriteren op pagina’s die er toe doen. Via Search Console haal je klikken, vertoningen, CTR en gemiddelde positie per URL binnen, eventueel samengevoegd op queryniveau, waardoor je direct ziet waar technische fouten ranking en verkeer remmen.
Met PageSpeed Insights trek je Core Web Vitals (zoals LCP, CLS en INP) en Lighthouse-scores per device op, ideaal om trage of onstabiele templates te spotten. Je stelt datumranges, property-selecties en het aantal gelijktijdige API-verzoeken in om quota te respecteren. Dankzij exports combineer je alles tot één impactlijst: veel verkeer, duidelijke fouten, hoogste prioriteit.
Javascript-rendering en SPA’s effectief crawlen
Om JavaScript-gedreven sites en SPA’s goed te crawlen zet je in Screaming Frog de rendering op JavaScript via Configuratie > Spider > Rendering, zodat de ingebouwde Chromium-browser de pagina echt laadt. Stel een render-wachttijd in zodat XHR/AJAX-content kan verschijnen, en schakel het volgen van nieuwe links die in JavaScript worden ontdekt in. Check de tab met Rendered HTML om te zien wat een zoekmachinebot waarschijnlijk ziet en vergelijk die met de originele bron om ontbrekende meta, canonicals of content te vinden.
Beperk snelheid en threads, want renderen is zwaarder voor je server. Voor SPA’s waarbij navigatie pas na user-events gebeurt, laad je extra ingangen in List-modus via je sitemap, logbestanden of Search Console-export. Controleer ook viewport, cookies en geblokkeerde resources, zodat scripts, fonts en API-calls niet onbedoeld worden tegengehouden.
Veelgestelde vragen over Screaming Frog
Wanneer levert een crawl met Screaming Frog de meeste waarde op?
Gebruik Screaming Frog wanneer je snel technische SEO-inzichten nodig hebt: controleer statuscodes, redirects en canonicals over je site of een specifieke sectie. Het levert de meeste waarde op bij gerichte, afgebakende crawls. Desktopcrawl biedt directe exports en volledige controle, handig tegenover cloudcrawlers.
Welke instelling verdient als eerste prioriteit bij je eerste crawl?
Geef eerst prioriteit aan crawlomvang en -snelheid. Kies Spider-modus voor een volledige site en beperk snelheid om serverbelasting te voorkomen. Stel threadlimiet en delays af op je hostingcapaciteit. Begin klein (sectie of submap), valideer resultaten, schaal daarna op voor een volledige crawl.
Welke valkuil vraagt extra aandacht tijdens technische analyses?
Let op verkeerde interpretatie van canonicals en redirectketens. Een 200-pagina met een canonical naar elders hoort vaak niet geïndexeerd te worden; dubbele 301-hops maskeren eindbestemmingen. Filter op statuscodes en controleer de rapporten Redirect Chains en Canonical Link Element vóór je conclusies trekt of exporteert.
Wil je hier gericht advies over?
Bespreek jouw situatie rond Screaming frog en krijg helder welke aanpak het meeste oplevert.
Over de auteur
