Što je sitemap i zašto je potreban na web stranici

Sitemap (mapa web stranice) je datoteka koja pretraživačima poput Googlea navodi popis svih važnih URL-ova na web stranici, zajedno s osnovnim podacima o svakoj stranici — primjerice kada je zadnji put sadržajno promijenjena. Postoje dvije vrste sitemapa: XML sitemap, strojno čitljiva datoteka namijenjena isključivo pretraživačima, i HTML sitemap, obična stranica s popisom poveznica namijenjena posjetiteljima. Kad se u SEO kontekstu kaže „sitemap”, gotovo uvijek se misli na XML inačicu, jer nju pretraživači koriste za indeksiranje.

Pretraživači čitaju sitemap.xml datoteku kako bi lakše i brže pronašli i indeksirali sadržaj na web stranici. Sitemap pretraživaču govori koji sadržaj postoji na stranici i kada je zadnji put ažuriran, ali ne određuje koliko je neka stranica važna — o tome pretraživač odlučuje na temelju drugih signala, poput unutarnjeg povezivanja i kvalitete samog sadržaja.

Osim za obične stranice i objave, sitemap se može koristiti i za slike i video zapise — moguće je navesti duljinu videa, kategoriju i dobnu skupinu kojoj je video namijenjen, kao i informacije o slikama poput teme ili autora.

Da — svaka web stranica bi trebala imati sitemap, bez obzira na broj stranica. Sitemap pretraživačima olakšava da razumiju strukturu stranice i pronađu sav sadržaj, uključujući stranice koje nemaju puno unutarnjih poveznica prema sebi. To se izravno odražava na vidljivost u rezultatima pretraživanja — u kombinaciji s kvalitetnom SEO optimizacijom sadržaja, sitemap pomaže Googleu da brže otkrije novi ili izmijenjeni sadržaj.

Hoće, najvjerojatnije. Ako stranica ima nekoliko poveznica prema svakoj podstranici i razumljivu strukturu, Googlebot će je pronaći i bez sitemapa. Problem nastaje na većim ili slabije povezanim stranicama, gdje neke podstranice bez sitemapa jednostavno ostanu neotkrivene — a to izravno utječe na vidljivost u tražilicama i posjećenost.

Prije nego što nešto poduzimate, provjerite ne postoji li sitemap već na stranici. Najbrži način je upisati vasadomena.hr/sitemap_index.xml izravno u preglednik — to je zadana lokacija koju automatski koriste i Rank Math i Yoast SEO, dva najkorištenija SEO dodatka za WordPress. Ako taj URL vraća grešku, provjerite i vasadomena.hr/wp-sitemap.xml, koji WordPress generira sam kad nema aktivan SEO dodatak. Primjer možete vidjeti na sitemapu ove stranice. Postoji li sitemap, provjerite i u Google Search Consoleu — u izborniku „Sitemapi” navedeni su svi sitemapi koje je Google zaprimio za vašu stranicu.

Ako web stranicu vodite u WordPressu, sitemap gotovo sigurno već generira dodatak koji koristite za SEO, ili sam WordPress. Ručno kreiranje sitemapa i prijenos datoteke na server putem FTP-a danas više nema smisla — dodaci to rade automatski i ažuriraju sitemap svaki put kad objavite ili izmijenite sadržaj.

Ako koristite Rank Math, dovoljno je uključiti modul Sitemap: Rank Math → Sitemap Settings → uključite modul ako već nije aktivan. Rank Math zatim sam generira sitemap na adresi vasadomena.hr/sitemap_index.xml i po potrebi ga dijeli na više manjih sitemapa (za objave, stranice, kategorije…). Rank Math u vlastitoj dokumentaciji izričito navodi da je Google prestao koristiti podatke o prioritetu i učestalosti promjena (priority i changefreq), pa ih ni ne uključuje u sitemap — dok podatak o zadnjoj izmjeni (lastmod) generira automatski, jer ga Google i dalje koristi kao signal kada ponovno posjetiti stranicu, pod uvjetom da taj datum stvarno odgovara stvarnoj izmjeni sadržaja.

Yoast SEO radi na isti način: u postavkama, pod SEO → Postavke, uključite XML sitemap, a dodatak dinamički generira sitemap na istoj standardnoj adresi, vasadomena.hr/sitemap_index.xml. Sitemap se automatski ažurira čim objavite ili izmijenite stranicu ili objavu, bez ikakve ručne intervencije.

Ako ne koristite ni Rank Math ni Yoast SEO, WordPress od verzije 5.5 (srpanj 2020.) sam generira osnovni sitemap na adresi vasadomena.hr/wp-sitemap.xml, bez potrebe za bilo kakvim dodatkom. Taj je sitemap jednostavniji — nema podršku za slike i video zapise kao prošireni sitemapi SEO dodataka — ali je funkcionalan i dovoljan za manje stranice. Čim instalirate Rank Math ili Yoast SEO i uključite njihov sitemap, dodatak automatski isključuje ugrađeni WordPress sitemap kako ne bi na istoj stranici postojala dva paralelna, sukobljena sitemapa.

Kad otvorite sitemap_index.xml, umjesto popisa stranica vidjet ćete popis drugih sitemapa. To je sitemap indeks: datoteka koja ne sadrži adrese vaših stranica, nego adrese pojedinačnih sitemapa, po jedan za svaku vrstu sadržaja. Na ovoj stranici to su četiri — post-sitemap.xml s objavama, page-sitemap.xml sa stranicama, avada_portfolio-sitemap.xml s portfolio radovima i local-sitemap.xml koji dodaje Rank Mathov modul za lokalni SEO.

Ta podjela ima praktičnu svrhu. Kad Google prijavi grešku u sitemapu, prijavljuje je za točno određenu datoteku, pa odmah znate je li problem u objavama ili u stranicama — umjesto da grešku tražite kroz popis od nekoliko stotina adresa. Podjela je ujedno i način na koji se zaobilazi ograničenje od 50.000 URL-ova, jer se svaka datoteka broji zasebno.

Za vas to u praksi znači jedno: u Google Search Console šaljete samo adresu indeksa, dakle sitemap_index.xml. Google zatim sam otvara sve sitemape navedene u njemu, pa ih ne morate prijavljivati jedan po jedan.

Nekoliko grešaka redovito se ponavlja, neovisno o tome je li sitemap generiran ručno ili automatski.

• URL-ovi koji vraćaju grešku 404. Ako je stranica obrisana ili premještena, treba je ukloniti iz sitemapa — u suprotnom Google troši vrijeme na pokušaje indeksiranja stranice koja više ne postoji.
• Nekanonski, dupli ili preusmjereni URL-ovi. Sitemap treba sadržavati isključivo konačne, kanonske adrese, nikad verzije koje se 301 preusmjeravaju na neku drugu stranicu.
• URL-ovi s noindex oznakom u sitemapu. Google izričito navodi da u sitemap idu URL-ovi koje želite vidjeti u rezultatima pretraživanja — a stranica s noindex oznakom je po definiciji ona koju ondje ne želite. Sitemapom tako tražite indeksiranje onoga što ste drugom oznakom zabranili. Google će poslušati noindex, ali ćete u izvještaju o indeksiranju u Search Consoleu gomilati stavke „Isključeno oznakom noindex” i teže uočiti stvarne probleme. Odlučite se za jedno: ako stranica treba u rezultate, maknite noindex; ako ne treba, izbacite je iz sitemapa.
• Sitemap ili URL-ovi u njemu blokirani u robots.txt datoteci. Ako je blokiran sam sitemap, Google ga ne može dohvatiti i u Search Consoleu ćete umjesto broja otkrivenih stranica vidjeti status greške. Ako su blokirani URL-ovi navedeni u sitemapu, šaljete dva suprotna naloga: sitemap kaže „obiđi ovu stranicu”, robots.txt kaže „ne obilazi je”. Takav URL se, prema Googleu, i dalje može pojaviti u rezultatima, samo bez opisa. Blokada u robots.txt usto sprječava da Google uopće vidi noindex oznaku na toj stranici — ako do stranice ne smije doći, do oznake na njoj nikad ne dođe.
• Predugačak sitemap. Google i sam protokol sitemap.xml ograničavaju jedan sitemap na najviše 50.000 URL-ova i 50 MB nekompresirane veličine; veće stranice moraju sitemap podijeliti na više datoteka povezanih preko sitemap indeksa.
• Relativni umjesto apsolutnih URL-ova. Svaki URL u sitemapu mora biti potpuna adresa, s https:// i cijelom domenom, inače ga pretraživač neće moći ispravno pročitati.

Dodavanje sitemapa u Google Search Console jednostavan je postupak čim je sitemap gotov.

1. Prijavite se u Google Search Console i odaberite vlasništvo (property) za svoju stranicu.
2. U izborniku s lijeve strane kliknite na „Sitemapi”.
3. U polje upišite putanju do sitemapa — najčešće je to sitemap_index.xml — i kliknite „Pošalji”.
4. Google sitemap obrađuje od nekoliko sati do nekoliko dana; status obrade i broj otkrivenih URL-ova provjeravate na istoj stranici.

Prijava sitemapa ne jamči trenutno indeksiranje svih stranica, ali Googleu daje jasan popis adresa koje treba provjeriti, umjesto da ih sam mora tražiti kroz poveznice.

Nakon slanja Google u popisu prikazuje status sitemapa i broj otkrivenih stranica. U engleskoj verziji sučelja statusi izgledaju ovako:

• Success — Google je datoteku uspješno dohvatio i pročitao, bez grešaka. To znači samo da je sitemap ispravan, ne i da su stranice iz njega indeksirane.
• Couldn’t fetch — Google do datoteke uopće nije došao. Provjerite otvara li se adresa sitemapa kad je upišete u preglednik i nije li blokirana u robots.txt datoteci.
• Has errors — datoteku je pročitao, ali je u njoj naišao na neispravne zapise. Adrese koje je uspio pročitati svejedno ulaze u red za crawlanje — posjet Googlebota koji dohvaća stranicu prije nego je uvrsti u indeks.

Najviše zabune stvara stupac Discovered pages. To je broj adresa koje je Google pročitao iz sitemapa, a ne broj indeksiranih stranica. Google to izričito navodi: nema jamstva da će adresa otkrivena u sitemapu biti posjećena ni indeksirana. Ako želite vidjeti koliko je stranica stvarno u indeksu, otvorite izvještaj Page indexing i filtrirajte ga po sitemapu — tek ta brojka govori o indeksiranosti.

Robots.txt je mala tekstualna datoteka na vrhu domene kojom se tražilicama daju osnovne upute o tome što smiju, a što ne smiju posjećivati. U njoj se jednim retkom može navesti i gdje se sitemap nalazi:

Sitemap: https://vasadomena.hr/sitemap_index.xml

Time sitemap pronalaze i tražilice u kojima nemate otvoren račun, kao i SEO alati koji čitaju robots.txt, a nemaju pristup vašem Search Consoleu.

Provjera traje pola minute:

1. U preglednik upišite adresu svoje stranice i na kraj dodajte /robots.txt — na primjer vasadomena.hr/robots.txt.
2. Otvorit će se nekoliko redaka običnog teksta. Potražite redak koji počinje riječju Sitemap:.
3. Ako taj redak postoji i adresa iza njega se otvara u pregledniku, gotovi ste — ništa ne treba mijenjati.
4. Ako ga nema, dopišite ga. U WordPressu s Rank Mathom idite na Rank Math → General Settings → Edit robots.txt, upišite redak na kraj i spremite.

Dvije stvari koje ovdje zbunjuju. Prvo, redak sa sitemapom ne pripada nijednom pravilu iznad sebe i vrijedi za sve tražilice, pa nije važno na kojem se mjestu u datoteci nalazi. Drugo, ako na serveru ne pronađete datoteku robots.txt, to ne znači da je nemate — WordPress je stvara sam i vidljiva je samo kroz preglednik. Ako pak Rank Math ne dopušta uređivanje, znači da fizička datoteka ipak postoji na serveru i redak treba dopisati u nju.

Sitemap ne funkcionira izolirano, nego zajedno s kanonskim URL-ovima i 301 preusmjeravanjima čini jedan sustav signala koji Googleu govori koja je adresa „prava”. Ako sitemap sadrži URL koji se 301 preusmjerava na neku drugu adresu, Googleu šaljete proturječan signal: sitemap kaže da je ta adresa važna i da je treba indeksirati, a preusmjeravanje kaže suprotno. Isto vrijedi i za stranice koje imaju kanonski URL postavljen na neku drugu adresu — u sitemapu smije biti navedena isključivo kanonska verzija, nikad duplikat. Kad mijenjate URL objave ili stranice, obavezno postavite 301 preusmjeravanje sa stare adrese i uklonite staru adresu iz sitemapa čim novi URL postane aktivan — dodaci poput Rank Matha to najčešće rade automatski, ali svakako vrijedi provjeriti.