SEO Bureau
Profiteer van de eerste schakel in het werven van verkeer door uw SEO toe te vertrouwen aan een digitaal bureau met ervaring in SEO.
Social media ads
Optimaliseer uw advertentiecampagnes op sociale media om uw prestaties te verbeteren.
Het online bureau
Keyweo is ontstaan uit de wens om een bureau te creëren dat voldoet aan de principes van transparantie, vertrouwen, ervaring en prestatie.
SEO Bureau
Profiteer van de eerste schakel in het werven van verkeer door uw SEO toe te vertrouwen aan een digitaal bureau met ervaring in SEO.
Social media ads
Optimaliseer uw advertentiecampagnes op sociale media om uw prestaties te verbeteren.
Het online bureau
Keyweo is ontstaan uit de wens om een bureau te creëren dat voldoet aan de principes van transparantie, vertrouwen, ervaring en prestatie.
Het Robots.txt-bestand, ook bekend als het Robots Exclusion Standard Protocol, voorkomt dat zoekmachine crawlers bepaalde bestanden op je website bereiken. Het dient als een gids voor zoekmachinebots, zoals Googlebots, Bingbots of Yandex bots, en beperkt hun toegang tot specifieke URL’s tijdens het crawlen van je website. Dit bestand moet je toevoegen aan je website als je wilt dat het in de ranglijst verschijnt.
Dit bestand wordt bovenaan een website geplaatst. Het is daarom een van de eerste bestanden die door de crawlers worden geanalyseerd. Om te controleren of het bestaat, voer je het adres van je website in de zoekbalk in en voeg je er “/robots.txt” aan toe. Als deze niet aanwezig is, verschijnt er een 404 foutmelding.
op deze pagina
Dit bestand maakt het mogelijk om crawlen en dus indexeren te voorkomen:
Bovendien informeert het robots.txt bestand zoekmachine crawlers over je sitemap, zodat ze deze eenvoudig kunnen vinden.
Het correct gebruik van het robots.txt-bestand kan de SEO van je website bevorderen. Het maakt namelijk mogelijk:
Het is een veelgebruikt bestand, vooral voor e-commercesites, omdat het kan helpen bij het oplossen van problemen met dubbele inhoud als gevolg van gefilterde zoekopdrachten. Deze zoekmethode, vaak aanwezig op e-commercesites, stelt gebruikers in staat om snel te vinden wat ze zoeken door de verschillende producten op de site te filteren. Echter, dit kan leiden tot het ontstaan van veel pagina’s met zeer vergelijkbare inhoud, vanwege de vele mogelijke combinaties tussen verschillende filters en categorieën. Deze pagina’s kunnen dan met elkaar concurreren en de PageRank van je belangrijkste pagina’s verzwakken.
Hier komt het robots.txt bestand in het spel. Je kunt dit bestand gebruiken om te voorkomen dat deze pagina’s worden gecrawld door zoekmachinerobots, terwijl ze nog steeds toegankelijk blijven voor gebruikers.
Het robots.txt bestand wordt ook gebruikt om te voorkomen dat Google bepaalde pagina’s op je site crawlt:
Dit komt doordat deze pagina’s meestal bedoeld zijn om leads te genereren. Bijvoorbeeld, als je gebruikersgegevens wilt verzamelen voordat je toegang verleent tot deze documenten, kun je het robots.txt-bestand gebruiken om de toegang te beperken voor degenen die de vereiste informatie niet hebben verstrekt.
Als webmaster zijn er waarschijnlijk bepaalde delen van je site die je privé wilt houden, zoals bepaalde persoonlijke bestanden of URL-parameters.
Ten slotte kan het robots.txt bestand worden gebruikt om een crawl vertraging in te stellen, zodat je servers niet worden overweldigd door crawlers van zoekmachines. Als de crawlers meerdere inhoud op je website tegelijkertijd onderzoeken, kan dit de servers overbelasten, aangezien ze niet de capaciteit hebben om zoveel inhoud tegelijkertijd te laden.
Het robots.txt-bestand wordt handmatig gemaakt of automatisch gegenereerd door de meeste CMS, zoals WordPress, en moet in de hoofdmap, ook wel de root, van een site worden gevonden. Maar je kan ook online tools gebruiken om dit bestand te maken.
Als je handmatig een robots.txt-bestand wilt maken, kun je elke teksteditor gebruiken en bepaalde richtlijnen volgen:
Let op, je robots.txt bestand mag niet groter zijn dan 512 Kb
Het maken van je robots.txt bestand is zeer eenvoudig. Ga naar het tabblad ‘Algemene instellingen’ van de plug-in en klik op ‘Robots.txt bewerken’. Hier kun je direct in de plug-in het bestand bewerken, wat automatisch geïntegreerd wordt in je website.
Let op dat als je al een robots.txt bestand aan je site had toegevoegd voordat je de Rank Math plug-in installeerde en je het nu via de plug-in wilt beheren, je het bestand van je site moet verwijderen voordat je het in Rank Math kunt bewerken.
Met de Yoast plug-in kun je ook je robots.txt bestand beheren. Net als bij Rank Math is de manier waarop het werkt vrij eenvoudig. Klik op ‘SEO’ in je dashboard van de plug-in, daarna navigeer je naar ‘Tools’ en vervolgens op ‘Bestand bewerken’. Als je het bestand nog niet aan de plug-in hebt toegevoegd, maak je het gewoon aan door op de bijbehorende knop te klikken. Voer de gewenste wijzigingen door en klik op ‘Opslaan’.
Het Robots.txt bestand maakt gebruik van een specifieke taal met enkele reguliere expressies, ook wel Regex genoemd, om het schrijven van robots.txt eenvoudiger te maken. Hier zijn enkele veelvoorkomende uitdrukkingen.
Deze opdracht stelt je in staat specifieke zoekmachines te targeten. Het Robots.txt bestand is het eerste bestand dat de zoekmachinerobots controleren. Ze controleren vervolgens of ze in dit bestand vermeld staan. Als hun naam daar staat, dan lezen ze de instructies die aan hen zijn toegewezen.
Om een zoekmachine te vermelden, voeg je eenvoudig de naam ervan toe na het User-agent commando. Bijvoorbeeld, als je Google wilt vermelden, schrijf je “User-agent: Googlebot”. Als je alle commando’s die op zoekmachines zijn gericht centraal wilt stellen door ze allemaal tegelijk te identificeren, hoef je alleen het volgende commando te schrijven: “User-agent: *”.
Deze opdracht voorkomt dat crawlers bepaalde delen van je website crawlen. Je kunt echter slechts één opdracht per regel toevoegen. Daarom zijn er meerdere regels met “disallow” opdrachten op rij in robots.txt bestanden.
Als je bijvoorbeeld “Disallow: */catalog/” achter het commando “User-agent: Googlebot” plaatst, sta je de robots van Google niet toe om al de cataloguspagina’s te bezoeken.
Deze opdracht is specifiek voor een Google-crawler genaamd Googlebot en staat deze toe toegang te krijgen tot een pagina of submap, zelfs als de toegang tot de bovenliggende pagina is geweigerd.
Als je bijvoorbeeld het commando “Allow: /wp-admin/admin-ajax.php” toevoegt na het “Disallow: /wp-admin/”, geef je de Googlebot toegang tot de submap “admin-ajax.php”, maar niet om de “wp-admin” pagina te doorzoeken.
Met de Crawl-Delay opdracht kun je crawlers verzoeken om een paar seconden te wachten voordat ze je site crawlen. Als je bijvoorbeeld “Crawl-Delay: 20” invoert, vraag je de robots van de desbetreffende zoekmachine(s) om 20 seconden te wachten voordat ze je site betreden.
Zoals je je kunt voorstellen, kun je met deze opdracht je sitemap rechtstreeks aan de crawlers doorgeven. Om dit te doen, voeg je de URL van je sitemap in na de opdracht “Sitemap”.
Er zijn enkele syntax elementen die specifiek zijn voor robots.txt bestanden en die belangrijk zijn om te weten:
Om het robots.txt bestand te optimaliseren, is het belangrijk om enkele goede praktijken toe te passen:
Test je robots.txt bestand om ervoor te zorgen dat alle belangrijke URL’s door Google kunnen worde geïndexeerd. Registreer hiervoor je site bij Google Search Console, ga naar Crawlen in het menu en selecteer vervolgens de Robots.txt Testing Tool.
Het gebruik van een robots.txt bestand heeft echter ook enkele beperkingen:
Vegroot uw zichtbaarheid
Twijfel niet en contacteer ons voor een gratis en gepersonaliseerde offerte op maat.
