Čo je crawl rozpočet (budget)?
Crawl budget je množstvo času a zdrojov, ktoré má vyhľadávací robot pridelený na prehliadanie určitej webovej stránky. Inými slovami, je to maximálny počet stránok, ktoré vyhľadávací robot môže prehliadať na vašej stránke v určitom časovom rozmedzí. Crawl budget sa môže líšiť pre rôzne vyhľadávače (alebo roboty).
Google tvrdí, že by ste sa nemali trápiť crawl rozpočtom, pokiaľ má vaša stránka má viac ako 1 milión unikátnych stránok s obsahom, ktorý sa mení približne raz týždenne. Alebo máte stredne veľkú webovú stránku, t.j. okolo 10 tisíc stránok, a často meníte obsah (každý deň). Prípadne prevádzkujete spravodajský web.
Search Console môže väčšinu URL adries vašej stránky klasifikuje ako objavené – momentálne nie sú indexované.
Každá webová stránka dostane iný crawl rozpočet na základe týchto dvoch faktorov:
Crawl dopyt – Definuje ho počet stránok, frekvencia pridávania/aktualizovania obsahu a popularita stránok.
Obmedzenie rýchlosti prehliadania – To ovplyvňuje schopnosti servera, nastavené obmedzenie prehliadania (v Search Console) majiteľom stránky, obmedzenie prehliadania vyhľadávačom a podobne. Google môže tiež automaticky prispôsobiť rýchlosť prehliadania, keď je server pomalý a naopak.
Prečo je crawl budget dôležitý? Crawl budget je dôležitý, pretože ovplyvňuje, koľko stránok Googlebot môže prehliadať na vašej stránke. Okrem toho ovplyvňuje aj to, ako často môže Googlebot prehliadať vaše webové stránky, aby aktualizoval svoj index. Google má obrovské zdroje, ale nemôže prehliadať (a hlavne pravidelne prehliadať) všetky stránky na internete. Preto Google prideľuje webovým stránkam crawl budget. Nemusíte sa obávať crawl rozpočtu, ak prevádzkujete štandardný blog alebo malú webovú stránku.