Miért hiba?
Régen, amikor a Google robotjai amikor megérkeztek egy weboldalra, automatikusan lekérdezték a /robots.txt fájlt, és eszerint folytatták/fejezték be az útjukat. Manapság már nem feltétlenül az indexelendő mappák miatt kell robots.txt fájlt létrehozni, hanem éppen az ellenkezője miatt: a robots.txt fájlban lehet definiálni, hogy mely aloldalakat, mappákat ne indexelje a Google. Ma már a megfelelően kiépített belső linkstruktúra és a sitemap.xml fájl segítségével könnyedén végigjárja az összes aloldalt a kereső.
A feljebb említett tiltólistán kívül érdemes még egy sort elhelyezni a robots.txt fájlban, amely tartalmazza a sitemap.xml helyét, ilyen formában:
Sitemap: https://olcsoweboldal.hu/sitemap.xml
