Čo je X-Robots-Tag?
X-Robots-Tag je voliteľnou súčasťou HTTP hlavičky a teda odpoveďou na URL. Podobne ako meta robots tag, informuje vyhľadávače o tom, ako prehľadávať a indexovať webovú stránku.
Existujú však niektoré kľúčové rozdiely medzi nimi:
Na rozdiel od robots meta tagu (ktorý je vyhradený pre HTML stránky) sa X-Robots-Tagy používajú v hlavičkách odpovedí HTTP protokolu a môžu byť preto použité aj pre ne-HTML súbory – ako napríklad obrázky, textové súbory a dokumenty vo formáte PDF.
Tu je, ako by mohla vyzerať HTTP odpoveď s X-Robots-Tag:
HTTP/1.1 200 OK
Date: Tue, 09 Jan 2024 11:38:17 GMT
Content-encoding: gzip
(…)
X-Robots-Tag: noindex
(…)
X-Robots-Tag môže špecifikovať používateľského agenta (crawlera) a môže obsahovať zoznam oddelený čiarkami.
Príklad:
HTTP/1.1 200 OK
Date: Tue, 09 Jan 2024 11:38:17 GMT
Content-encoding: gzip
(…)
X-Robots-Tag: googlebot: noarchive, nofollow
(…)
Google prvýkrát oznámil, že zahrnul podporu pre direktívu X-Robots-Tag v roku 2007 a jasne uviedol, že akákoľvek direktíva použitá ako robots meta tag môže byť použitá aj ako X-Robots-Tag.
Prečo je dôležitý X-Robots-Tag?
X-Robots-Tag je dôležitý, pretože umožňuje používanie regulárnych výrazov, vykonávanie direktív crawlera na ne-HTML súbory a aplikovanie parametrov na globálnej úrovni celej stránky. Je tak flexibilnejšou voľbou v porovnaní s meta robots tagom. Stojí za zmienku, že používanie X-Robots-Tagu nie je všeobecne tak priamočiare ako používanie meta robots tagov, ale pretože vám umožňuje usmerňovať vyhľadávače, ako indexovať a prehľadávať iné typy súborov, kde má zmysel použiť X-Robots-Tag.
Tu je príklad:
Najbežnejším spôsobom, ako nariadiť crawlerom Google, aby neprehliadali alebo neindexovali obsah stránky, je použitie meta robots tagu nájdeného v HTML kóde. Ale ak chcete nariadiť Google, aby neindexoval konkrétne textové dokumenty a ďalšie ne-HTML súbory, X-Robots-Tag je vašou jedinou možnosťou.
V podstate sú X-Robots-Tagy lepšou voľbou, ak:
Chcete použiť konkrétne direktívy, ktoré sa vzťahujú na ne-HTML súbory – vrátane PDF súborov a obrázkov
Chcete použiť direktívy v širokom meradle a deindexovať celú poddoménu alebo viacero webových stránok, ktoré sa zhodujú s určitým parametrom.