Sider

Robots.txt filen der blokere

Robots.txt filen kan blokere for det du ikke ønsker skal være offentligt tilgængelig. På nettet er der mange finurligheder, Robots.txt er en af disse små finurligheder. Robots.txt er en lille tekstfil man placerer i bunden (root) af sit webhotel som kan give søgemaskinerne en ide om hvad man ønsker, at de ikke skal medtage i deres indeks. Det betyder ikke altid at de retter sig derefter.