154. weboldal készítés hiba – indexelés tiltása robots.txt-vel

Írtam már arról, hogy miért rossz, ha nincs és miért nem jó, ha túl “megengedő” a robots.txt fájl. Most ennek az ellenkezője van soron, amikor az egész weboldal indexelése meg van tiltva a Google és más keresőmotorok számára.

Mi az a robots.txt?
Ez a fájl arra jó, hogy tudassuk velük: a weboldalról mely tartalmakat szeretnénk indexeltetni (ez azt jelenti, hogy be fog kerülni a találati listára, pl.: a Google-ben), illetve melyeket nem (pl.: admin felület). A weboldalra beérkező keresőmotorok ezt a fájlt (is) keresik, amikor egy weboldalra érkeznek.

Miről is szól a címben jelzett hiba?
Ha ez a robots.txt fájl úgy van beállítva, hogy ne indexeljen semmit, az olyan, mintha egy utca bejáratánál kitennénk egy sorompót, amely soha nem nyit ki. Ekkor a Google NEM fogja indexelni a weboldalunkat, azaz soha nem lesz látogatónk a keresőkből!

Példa hibás robots.txt-re:

robots-1

Mikor érdemes erre figyelni?
Tipikusan akkor fordul elő a hiba, ha már fejlesztés elkészítjük a robots.txt-t. Ne felejtsük el átállítani a fejlesztés végeztével!

Példa jó robots.txt-re:

robots-2

Mit érünk el hasonló robots.txt beállításokkal?
A mint robots.txt WordPress alapú weboldalhoz készült. Minden tartalom indexelve lesz, kivéve a wp-admin, wp-includes és wp-content/plugins mappákat. Valamint meghatároztuk (utolsó sor), hol található az oldalhoz tartozó – Google számára készített – oldaltérkép.

Cikkértesítő

Ha nem szeretne lemaradni az új cikkekről, akkor iratkozzon fel az értesítőre!

Szólj hozzá!

*

code