En robots.txt fil ska du endast använda om du vill tala om för google att:
- Du inte vill att vissa sidor ska bli indexerad.
- Du inte vill att Google ska läsa länkar från din sida.
- Du inte vill att Google ska spara en cachad version av sidan.
Ett vanligt användningsområde är att man i sin robots.txt-fil anger att Google inte ska indexera till exempel sidor med hög säkerhet, så som inloggningssidor, varukorgar (i en webshop) eller sidor där transaktioner och känslig data (så som kreditkortsnummer) används. När man exkluderar vissa oviktiga sidor med sin robots.txt-fil så låter man dessutom Google koncentrera sig på de sidor som har viktigt innehåll.
I robots.txt kan man även visa Google vart man har sin sitemap.
Nyutexaminerad inom marknadsföring, försäljning och affärsutveckling. Intresserad av internetmarknadsföring med sökmotoroptimering som huvudintresse. Arbetar till vardags med just SEO, på heltid.