Definisjon
Robots.txt er en tekstfil i roten som gir instruksjoner til crawlere.
Syntaks
User-agent, Allow, Disallow, Sitemap. Pek til XML sitemap.
Vanlige feil
Ikke blokker CSS/JS. Bruk noindex for skjuling, ikke robots.txt.
Viktig
Robots.txt er en forespørsel, ikke sperring. Teknisk SEO-guide →