Instellingen tab

Log eerst in op de front-end editor in bewerk modus. In de bovenste blauwe balk is dan de knop voor de instellingen tab zichtbaar. Klik hier op.

Wijzig de robots.txt inhoud

Klik binnen de tab met instellingen ngo een keer op het linkje "Instellingen". Vervolgens kan je in het instellingsveld onder "Extra Robots.txt regels" de gewenste aaanpassingen doen in robots.txt. Klik vervolgens op Opslaan.

Standaard is elke website in Webanizr voorzien van een robots.txt die alle bots toegang verleent. Het kan soms voorkomen dat je specifiek een bepaalde bot wilt voorkomen dat deze teveel indexeert, of specifieke gedeeltes of de volledige website niet mag analyseren. Op dat moment kan robots.txt worden gebruikt om hiervoor een uitzondering te schrijven.

Als je wilt testen of jouw robots.txt voldoet aan de technische eisen, maak dan gebruik van de robots.txt tester van Google. Deze tool is erg makkelijk om te simuleren hoe een bot omgaat met de verschillende regels uit robots.txt.