Miért hiba?

Régen, amikor a Google robotjai amikor megérkeztek egy weboldalra, automatikusan lekérdezték a /robots.txt fájlt, és eszerint folytatták/fejezték be az útjukat. Manapság már nem feltétlenül az indexelendő mappák miatt kell robots.txt fájlt létrehozni, hanem éppen az ellenkezője miatt: a robots.txt fájlban lehet definiálni, hogy mely aloldalakat, mappákat ne indexelje a Google. Ma már a megfelelően kiépített belső linkstruktúra és a sitemap.xml fájl segítségével könnyedén végigjárja az összes aloldalt a kereső.

A feljebb említett tiltólistán kívül érdemes még egy sort elhelyezni a robots.txt fájlban, amely tartalmazza a sitemap.xml helyét, ilyen formában:

Sitemap: https://olcsoweboldal.hu/sitemap.xml

Elolvasná a legújabb cikkeimet? Iratkozzon fel a bejegyzés értesítőmre!