Canonical, noindex och robots.txt: när används vad?

En canonical tag pekar ut vilken version av en sida som är originalet, noindex ber Google hålla sidan utanför sökresultaten, och robots.txt styr vad sökmotorer får hämta. Tre verktyg med tre olika jobb, som blandas ihop hela tiden. Fel verktyg på fel ställe gör att sidor försvinner ur Google, eller aldrig kommer in.

Vad gör en canonical tag?

Den är en rad i sidans head som säger: av alla varianter av den här sidan är det den här adressen som räknas. Googles egen guide till kanonisering går igenom samtliga sätt att ange den. Typiska användningsfall är URL:er med spårningsparametrar, filtrerade produktlistor och sidor som av tekniska skäl finns på flera adresser. Viktigt att veta är att canonical är ett önskemål, inte en order. Google väger in den men kan välja en annan adress om övriga signaler pekar åt annat håll. Båda sidorna förblir hämtbara för Google; canonical styr bara vilken av dem som visas i sökresultaten.

Vad är en självrefererande canonical?

En sida som pekar ut sig själv som original. Det låter onödigt, men det är standard i de flesta system i dag och det är bra: adressen med spårningsparametrar på slutet pekar då tillbaka på den rena adressen, och en delad länk från Facebook blir inte en egen sida i Googles ögon.

Tre saker gör att den ändå går fel. Den ska peka på en adress som svarar direkt, inte på en omdirigering. Den ska använda exakt den form du valt, alltså rätt protokoll, rätt www-val och samma avslutande snedstreck som resten av sajten. Och den ska aldrig peka alla sidor mot startsidan, vilket händer när någon fyller i ett fält en gång och pluginet tillämpar det överallt. Då säger sajten att den bara har en enda sida, och Google tar den på orden.

När ska jag använda noindex?

När en sida ska finnas för besökare men inte i Google. Tacksidor efter formulär, interna sökresultat, tunna taggarkiv och testsidor är klassikerna. Taggen sätts i sidans head, oftast via SEO-pluginet, och Google plockar bort sidan ur indexet nästa gång den hämtas. Googles dokumentation om noindex visar de två sätten att ange den. Notera ordet hämtas; det blir viktigt om en stund.

Vad är robots.txt till för?

Att styra genomsökningen, inget annat. Filen ligger i sajtens rot och talar om vilka kataloger och adresser sökmotorer inte ska hämta. Syntaxen och vad Google faktiskt respekterar står i Googles robots.txt-dokumentation. Rimliga användningsfall är adminytor, oändliga filterkombinationer i en webbshop och stora sajter där genomsökningen behöver styras. Två varningar hör till. Robots.txt är ingen sekretess; filen kan läsas av vem som helst, så lägg aldrig känsliga sökvägar där. Och en blockerad sida kan ändå dyka upp i Google utan innehåll om andra sidor länkar till den; hur interna länkar styr det upptäckandet hittar du i intern länkning i praktiken.

Varför fungerar inte robots.txt och noindex ihop?

Det här är den klassiska tabben, och jag hittar den i förvånansvärt många granskningar. Logiken känns rimlig: sidan ska bort, så vi både blockerar den i robots.txt och sätter noindex. Men noindex ligger i sidans kod, och robots.txt förbjuder Google att hämta koden. Google ser alltså aldrig taggen, och adressen kan ligga kvar i indexet på obestämd tid. Ska en sida ut ur Google måste den vara hämtbar tills taggen är läst; först därefter kan du blockera den om du verkligen vill. Ligger en sida kvar i Google eller vägrar komma in trots att allt ser rätt ut, följ stegen i sidan indexeras inte.

Hur ser jag vad som gäller på en enskild sida?

Tre kontroller, i den ordningen.

Öppna sidans källkod i webbläsaren och sök efter canonical och robots. Där ser du vad sajten säger om sig själv, förutsatt att taggarna ligger i HTML:en och inte skjuts in med skript i efterhand.

Kör sedan adressen genom URL-inspektionen i Search Console. Den visar det källkoden inte kan visa: vilken adress Google själv har valt som kanonisk. Väljer Google en annan än den du pekat ut betyder det att andra signaler väger tyngre, oftast interna länkar och sitemapen.

Öppna till sist robots.txt och läs den uppifrån och ner. En Disallow-rad som ser harmlös ut kan täcka mer än den som skrev den tänkte sig, och en regel som skrevs för en enskild katalog kan råka blockera en hel sidtyp.

Vilket verktyg väljer jag när?

Min beslutsregel ser ut så här:

Är du osäker väljer du canonical eller noindex; robots.txt är det verktyg som oftast används fel. Kontrollen av alla tre ingår i min tekniska SEO-checklista, och som SEO-konsult städar jag regelbundet upp i precis det här. Kör de tre kontrollerna ovan innan du ändrar något, och anteckna vad som faktiskt gäller i dag. Hälften av felen jag hittar beror på regler som ingen visste fanns.