Seo Center - Keresooptimalizalas

A legfontosabb keresőmotorok (a Google , Yahoo és az MSN ) úgynevezett crawlereket használnak a feltérképezendő weboldalak beindexelésére. Ezek a robotok a hivatkozások mentén, egyfajta robotizált böngészőként járják a webet és regisztrálják a talált oldalak tartalmát, hivatkozásait, illetve gyűjtik össze az új weboldalakat. Ez azt jelenti, hogy azok az oldalak, melyekre  a keresőkben megtalálható bármely oldalról mutat legalább egy hivatkozás, automatikusan belekerülnek a keresők adatbázisába,. Velük kapcsolatban semmilyen további teendő sincs. Vannak azonban olyan weboldalak, különösen a régi szerkesztővel készültek között, melyeket a keresők nem indexelik be. Ennek oka lehet, ha a crawler nem tudja felmérni, hogy a generált dinamikus lapok száma mekkora lehet. Miután nem akar végtelen ciklusba kerülni, adott mélység után megáll.