Sådan opretter du en Robots.txt-fil

Hvad er robots.txt?

Robots.txt er en tekstfil, som webmastere opretter for at instruere webrobotter (typisk søgemaskinerobotter) om, hvordan de skal gennemsøge siderne på deres websted.

robots.txt-filen giver direktiver til søgemaskinernes robotter om, hvilke sider der skal følges, og hvilke der ikke skal følges (f.eks. ønsker du ikke, at dit administrationspanel følges, da det kan blive indekseret i Google, hvilket gør det lettere at blive hacket osv...).

Hvordan opretter jeg robots.txt?

Du kan enten bruge en online generator som denne eller oprette din egen med følgende format:

Her er et par eksempler på robots.txt i praksis:

Vi starter med at uploade en Robots.txt-fil til vores rodmappe, så den vises her: yourdomain.com/robots.txt

Sådan blokerer du alle webcrawlere for alt indhold

Bruger-agent: *
Disallow: /

Hvis vi bruger denne syntaks i vores robots.txt-fil, får alle webcrawlere besked på ikke at gennemsøge nogen sider overhovedet. Du ønsker sandsynligvis ikke at bruge denne mulighed.

Sådan giver du alle webcrawlere adgang til dit indhold

Bruger-agent: *
Disallow:

Ved at bruge denne syntaks får webcrawlere besked om at gennemsøge alle sider på ditdomæne.com, herunder forsiden.

Blokering af en bestemt webcrawler fra en bestemt mappe

Bruger-agent: Googlebot
Forbyde: /eksempel-undermappe/

Denne syntaks fortæller kun Googles crawler (brugeragent Googlebot), at den ikke skal gennemsøge sider, der indeholder URL-strengen yourdomain.com/example-subfolder/.

Blokering af en bestemt webcrawler fra en bestemt webside

Bruger-agent: Bingbot
Udelad: /example-subfolder/blocked-page.html

Denne syntaks fortæller kun Bing's crawler (brugeragentnavn Bing), at den skal undgå at crawle den specifikke side på yourdomain.com/example-subfolder/blocked-page.