11. hiba: A robots.txt fájl hiánya

Miért hiba?

Régen, amikor a Google robotjai amikor megérkeztek egy weboldalra, automatikusan lekérdezték a /robots.txt fájlt, és eszerint folytatták/fejezték be az útjukat. Manapság már nem feltétlenül az indexelendő mappák miatt kell robots.txt fájlt létrehozni, hanem éppen az ellenkezője miatt: a robots.txt fájlban lehet definiálni, hogy mely aloldalakat, mappákat ne indexelje a Google. Ma már a megfelelően kiépített belső linkstruktúra és a sitemap.xml fájl segítségével könnyedén végigjárja az összes aloldalt a kereső.

A feljebb említett tiltólistán kívül érdemes még egy sort elhelyezni a robots.txt fájlban, amely tartalmazza a sitemap.xml helyét, ilyen formában:

Sitemap: https://olcsoweboldal.hu/sitemap.xml

Szólj hozzá!

A honlap cookie-kat használ. Részletek

A hatályos jogszabályok alapján kötelező tájékoztatni a látogatókat, hogy a weboldal ún. cookie-kat használ és tárol a számítógépén. Ha ezt nem szeretné, akkor a böngészője megfelelő beállításait használva tiltsa le a cookie-k tárolását, vagy zárja be a weboldalt. Mik azok a cookie-k? Hogyan tudja tiltani a tárolásukat? Hogyan kezelem a személyes adatokat? Mindenre választ ad a részletes adatvédelmi és cookie tájékoztatóm.

Bezárás