robots.txt innehåller instruktioner för robotars hämtning av en webbplats. För att använda filen rätt behöver ni skilja mellan sökning, modellträning och besök som sker på en användares begäran. Ni behöver också kontrollera att andra delar av webbplatsens teknik följer samma avsikt.
Vad gör robots.txt – och vad gör den inte?
robots.txt styr hämtning för robotar som följer instruktionerna. En spärrad adress kan ändå förekomma i Googles index om den upptäcks på annat sätt. Filen är därför inte ett säkert sätt att hålla en sida borta från sökresultat. Googles introduktion till robots.txt.
Om en sida ska uteslutas ur index kan en noindex-instruktion vara relevant, men sökroboten måste kunna läsa instruktionen. Information som ska vara privat behöver faktisk åtkomstkontroll, exempelvis inloggning. En offentlig textfil ersätter inte det skyddet.
För webbplatsansvarig betyder det att tre frågor ska behandlas var för sig: får roboten hämta sidan, ska sidan kunna visas i sök och vem får över huvud taget läsa informationen? Vår guide till llms.txt beskriver en annan typ av fil, avsedd som vägvisare till dokumentation.
Förstå OpenAI-robotarnas olika uppgifter
OpenAI beskriver separata robotar och användaragenter för olika ändamål:
| Namn | Huvuduppgift enligt dokumentationen |
|---|---|
| OAI-SearchBot | Hämta innehåll för sökfunktioner i ChatGPT |
| GPTBot | Hämta innehåll som kan användas för träning av grundmodeller |
| ChatGPT-User | Vissa besök som sker på en användares begäran |
Inställningarna för sökning och träning är separata. ChatGPT-User styr inte om innehåll får visas i sök, och vid användarinitierade besök kan robots.txt-regler sakna tillämpning. OpenAI:s dokumentation om robotarna.
Använd därför den aktuella dokumentationen när ni bestämmer reglerna. Ett allmänt beslut att ”blockera AI” är för otydligt för att någon ska kunna genomföra det utan följdfrågor.
Beskriv det önskade beteendet först
Skriv ned vilka publika delar av webbplatsen som ska kunna hittas via sökningar och hur ni vill hantera träning. Bestäm därefter vem som ansvarar för att ändra och kontrollera reglerna.
Ett avgränsat exempel är att tillåta OAI-SearchBot och neka GPTBot:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Detta är en illustration av just de två valen, inte en komplett robots.txt för er webbplats. Den som inför reglerna behöver ta hänsyn till befintliga instruktioner och delar som inte ska hämtas. Exemplet styr inte alla AI-tjänster och utlovar ingen exponering i ChatGPT.
Kontrollera brandväggen och de viktiga sidorna
robots.txt kan tillåta en robot samtidigt som en säkerhetstjänst stoppar besöket. Be webbleverantören undersöka om de aktuella robotarna får fungerande svar på era publika tjänstesidor.
En människa som har loggat in eller accepterat en kontrollruta kan se något annat än en automatisk besökare. Testa därför inte bara med den egna webbläsaren. Serverloggar och robotens dokumenterade identitet kan ge underlag för att se vad som faktiskt händer. Utgå inte enbart från ett namn som visas i en besökslogg.
Välj sidor som representerar olika typer av innehåll: en tjänst, en artikel och en sida med dokumentation. Kontrollera text, länkar och eventuella felmeddelanden. Spara resultaten tillsammans med datum och vilken regel som ändrades.
Följ upp det ni ändrar
Efter en ändring behöver ni kontrollera att den publicerade filen innehåller rätt regler och att åtkomsten fungerar som avsett. Ge sedan tjänsterna tid att hämta uppdaterade instruktioner; en ändring syns inte nödvändigtvis i alla system direkt.
Om åtkomsten nu fungerar men företaget fortfarande inte nämns i ett visst svar kan frågan gälla innehåll eller urval av källor. En fungerande hämtning bevisar inte att sidan kommer att väljas. Den här skillnaden är central för att inte felsöka samma tekniska inställning om och om igen. Läs hur ni kan undersöka företagets synlighet i ChatGPT när den tekniska åtkomsten fungerar.
Läs mer om vad AEO omfattar och vanliga tekniska problem på B2B-webbplatser.
Ett underlag att ge webbleverantören
Be om en kort redovisning av vilka robotar som tillåts, vilka regler som påverkar dem, vilka sidor som testats och vad testerna visade. Lägg till vem som ska granska reglerna efter nästa större ändring av webbplatsen eller säkerhetstjänsten.
Boka ett samtal med SiteDGTL om ni behöver hjälp att bedöma om era inställningar stödjer den synlighet ni vill ha.
